Astribot의 SmoothRL, 고난도 로봇 과제에서 성공률을 3배로 높이다

'SmoothRL'이라는 훈련 파이프라인 개선 방안 덕분에, Astribot의 S1 휴머노이드는 새로운 하드웨어를 추가하지 않고도 까다로운 조작 과제에서 성공률을 39%에서 94%까지 끌어올릴 수 있었다.

martti
2분 소요Posted: 2026년 9월 5일
Astribot의 SmoothRL, 고난도 로봇 과제에서 성공률을 3배로 높이다

아스트리봇의 동적 던지기 성공률은 39%에서 94%로 급증했다. 펜 뚜껑 놓기 과제의 성공률은 8%에서 83%로, 포장 개봉 성공률은 30%에서 90%로 상승했다. 이러한 성과는 새로운 하드웨어, 더 큰 모델, 또는 추가 훈련 데이터 덕분이 아니었습니다. 이는 로봇의 강화 학습 알고리즘이 자체 행동을 계산하는 방식에 있던 기록 오류를 수정한 결과였으며, 심천에 본사를 둔 이 회사는 이 수정 사항을 ‘SmoothRL’이라고 명명하고 이번 주에 발표했습니다.

2022년 12월에 설립되어 심천에 본사를 둔 아스트리봇(Astribot)은 이족 보행보다는 이동형 조작을 위해 설계된 바퀴 달린 양팔 휴머노이드 ‘S1’을 개발하고 있으며, 안정적인 구동 기반이 다리보다 더 빨리 로봇을 상업적으로 유용한 신뢰성 수준에 도달하게 할 것이라고 내다보고 있다. SmoothRL은 새로운 로봇이나 모델이 아닙니다. 이는 시스템이 훈련되는 방식과 실제 배포 후 작동 방식 간의 불일치를 바로잡은 것으로, 그 결과 나타난 성능 향상 폭은 신체 기반 AI 분야에서 훈련 방법론이 이를 감싸고 있는 하드웨어만큼이나 중요할 수 있음을 잘 보여줍니다.

로봇의 훈련 방식과 실제 작동 방식 간의 격차

대부분의 로봇 강화 학습 설정은 깔끔하고 동기화된 루프를 가정합니다. 즉, 모델이 행동을 생성하고, 로봇이 이를 완전히 실행하며, 모델이 결과를 관찰한 후에야 비로소 다음 행동을 계산합니다. 실제로 배치된 로봇들은 그렇게 가만히 기다리지 않습니다. 생각할 시간을 갖는 것은 작업이 요구하는 속도보다 더 느리기 때문입니다. 대신 로봇은 비동기적으로 작동합니다. 즉, 모델이 백그라운드에서 다음 동작을 계산하는 동안 로봇은 현재 동작을 계속 수행하므로, 동작 사이에 지연 시간이 발생하지 않습니다. 연구자 왕 지아난(Wang Jianan)이 이끄는 아스트리봇(Astribot)의 엔지니어들은 이러한 효율성 기법이 강화 학습이 의존하는 가정을 은연중에 무너뜨린다는 사실을 밝혀냈습니다. 로봇이 ‘액션 청크(action chunk)’라고 불리는 일련의 계획된 동작을 생성하지만, 이를 부분적으로만 완료한 상태에서 더 새롭고 업데이트된 청크가 나머지 부분을 덮어쓸 때, 표준

강화 학습은 여전히 버려진 부분에 대해 마치 실제로 일어난 것처럼 공로나 책임을 부여합니다. 결국 모델은 결코 발생하지 않았던 일련의 사건들을 바탕으로 학습하게 됩니다.

SmoothRL의 해결책은 모든 행동 청크 내에서 세 가지 별개의 영역을 추적하는 것입니다: ‘확정 영역(committed region)’은 이전 추론 주기에서 이미 확정된 행동들, ‘실행 영역(execution region)’은 로봇이 실제로 수행한 행동들, 그리고 ‘제외 영역(discarded region)’은 계획되었으나 더 새로운 청크로 대체되어 실행되지 않은 움직임들입니다. 이 프레임워크는 기울기 업데이트를 실행 영역에만 적용하므로, 모델은 로봇이 단순히 의도했던 행동이 아니라 실제로 수행한 행동만을 통해 학습하게 됩니다. Astribot은 이를 ‘Reinforce in Deployment’라고 부르는 기술과 결합합니다. 이 기술은 깨끗한 동기식 시뮬레이션에서 정책을 훈련시킨 후 그 행동이 실제 환경으로 이전되기를 기대하는 대신, 현장에서 직면하게 될 것과 동일한 비동기 조건 하에서 정책을 훈련시킵니다.

왜 개선 효과가 ‘큰 실수’의 감소로 나타나는가

표면적인 백분율 수치를 보고하는 것은 쉬운 부분입니다. 더 유익한 세부 정보는 그 이면에서 무엇이 바뀌었는지에 있습니다. Astribot이 S1을 대상으로 실시한 내부 테스트에 따르면, SmoothRL 수정 후 발생한 실패 사례의 성격이 완전히 달라졌습니다. 로봇이 잘못된 물체를 잡거나 목표물을 크게 빗나가는 근본적인 오류에서 벗어나, 후속 조정으로 훨씬 쉽게 수정할 수 있는 밀리미터 수준의 배치 오차로 전환된 것입니다. 이러한 차이는 단순한 성공률의 상승보다 시스템 통합업체에게 더 중요합니다. 몇 밀리미터 차이로 실패하는 로봇은 펌웨어 업데이트를 통해 조정할 수 있는 반면, 완전히 잘못된 물체를 잡는 등 근본적인 오류를 범하는 로봇은 생산 라인에서 제외해야 하기 때문입니다.

SmoothRL이 가장 큰 성과를 거둔 과제인 ‘동적 투척(dynamic throwing)’은 의도적으로 난이도가 높게 설정된 벤치마크입니다. 이 과제는 로봇이 동작 도중 정확히 적절한 순간에 물체를 놓아야 하며, 일단 놓은 후에는 수정할 기회가 전혀 없기 때문에

이는 제어 정책이 단순히 훈련 데이터와의 패턴 일치에 그치는 것이 아니라, 행동이 초래하는 물리적 결과를 실제로 이해하고 있는지 여부를 가늠하는 유난히 민감한 테스트입니다. 타이밍 오류를 이토록 엄격하게 처벌하는 과제에서 성공률이 거의 3배나 증가한 것은, 속도가 더 느리고 실수에 대한 허용 범위가 더 넓은 픽 앤 플레이스(pick-and-place) 과제에서 나타난 유사한 개선과는 의미 있게 다른 성과라고 할 수 있습니다.

이것이 구매자에게 실제로 어떤 변화를 가져오는가

이 모든 내용은 Astribot의 자체 테스트 외에는 독립적으로 검증된 바가 없으며, 해당 회사는 평가 데이터 세트의 규모나 다양성을 공개하지 않았으므로, 구체적인 수치는 동료 심사를 거친 결과라기보다는 회사가 보고한 벤치마크로 받아들여야 한다. 이 주장이 일반적인 공급업체 벤치마크보다 더 신뢰할 만한 이유는, 여기서 설명하는 실패 모드, 즉 비동기 실행이 강화 학습의 크레딧 할당을 방해하는 현상이, 특정 회사의 하드웨어를 돋보이게 하기 위해 좁게 설계된 해결책이 아니라, 실제 속도로 추론을 수행하는 모든 휴머노이드 플랫폼에 영향을 미칠 구조적인 문제이기 때문이다. SmoothRL의 핵심 통찰이 일반화된다면, 경쟁사들은 아스트리봇(Astribot)의 구체적인 접근 방식을 라이선스하든, 독자적으로 유사한 해결책을 도출하든, 결국 어떤 형태로든 이러한 방법론적 개선을 채택해야 할 것입니다.

조작 신뢰성을 기준으로 휴머노이드 공급업체를 평가하는 조달 팀의 경우, 실질적인 교훈은 “성공률은 얼마인가”라는 질문보다 더 구체적인 질문을 던지는 것이다. 대신, 공급업체의 훈련 파이프라인이 실시간 추론 중 계획된 동작과 실행된 동작 간의 격차를 어떻게 처리하는지 물어보아야 합니다. 이 격차는 브랜드와 관계없이 모든 비동기식 배포 환경에서 존재하며, 이를 해결하지 못한 공급업체들은 스스로도 정확히 측정하지 못하고 있을지도 모르는 신뢰성 손실을 조용히 감수하고 있기 때문입니다. 이 질문에 전혀 답하지 못하는 공급업체는, 자사 하드웨어가 실행될 때마다 위반하는 동기식 가정을 바탕으로 여전히 훈련을 진행하고 있는 업체입니다.

범위는 좁지만 파급력은 광범위한 해결책

Astribot은 아직

SmoothRL이 기존 S1 배포 환경에 대한 고객 대상 업데이트로 제공될지, 아니면 더 넓은 연구 분야를 위해 회사가 발표하는 연구 성과물로 제공될지, 그리고 그 시기는 언제인지에 대해서는 아직 발표되지 않았다. 어느 쪽이든 중요합니다. 만약 전체 플릿에 적용되는 소프트웨어 업데이트가 된다면, 기존 Astribot 고객들은 새로운 하드웨어 비용을 들이지 않고도 상당한 신뢰성 향상을 얻을 수 있을 것이며, 이는 바로 로봇 공학 공급업체와의 구독 또는 서비스 계약 관계를 맺을 가치가 있게 만드는 소프트웨어 기반의 이점입니다. 만약 단순히 발표된 방법론으로 남는다면, 진정한 시험대는 독립 연구소나 경쟁 휴머노이드 기업들이 자체 하드웨어에서 보고된 성능 향상을 재현할 수 있는지 여부일 것이다. 이를 통해 해당 수정 사항이 Astribot의 제어 스택에 특화된 일시적인 문제가 아니라, 업계 전반에 걸친 진정한 사각지대를 해결했음을 확인할 수 있을 것이다.

어느 쪽이든, 이 결과는 휴머노이드 로봇 관련 보도에서 흔히 볼 수 있는 ‘진보는 주로 더 큰 모델이나 더 나은 액추에이터에서 비롯된다’는 통념에 대한 유용한 반박이 됩니다. 때로는 훈련 모델이 로봇의 실제 동작과 조용히 일치하지 않게 된 점을 발견하고, 그 불일치를 수정하는 것에서 진보가 비롯되기도 합니다.

중국 휴머노이드 분야의 광범위한 추세

아스트리봇의 타이밍은 우연이 아닙니다. 중국 휴머노이드 제조사들은 2026년 한 해 동안 시장이 포화 상태에 이르면서 차별화된 기술 주장을 발표하기 위해 경쟁을 벌여왔으며, 이러한 경쟁의 비중은 순수한 하드웨어 사양, 자유도, 토크 수치, 최고 속도에서 벗어나 로봇이 실제로 시연 부스를 벗어나도 충분히 신뢰할 수 있는지 여부를 결정하는 소프트웨어 및 훈련 계층으로 점차 이동하고 있다. SmoothRL은 이러한 패턴에 정확히 부합합니다. 이는 S1이 물리적으로 무엇을 할 수 있는지에 대한 주장이 아니라, 이미 할 수 있었던 일을 얼마나 더 일관성 있게 수행할 수 있는지에 대한 주장입니다. 이는 설득력 있게 위조하기 더 어렵고, 진정성 있는 경우 사양서보다 더 지속적인 경쟁 우위를 제공합니다.

이러한 변화는 구매자가 공급업체를 평가할 때 요구해야 할 증거의 성격도 바꾸고 있습니다. A

자유도 수나 토크 정격은 사양서만 있으면 몇 분 만에 확인할 수 있습니다. 반면, 훈련 방법론, 크레딧 할당, 비동기 실행에 대한 주장은 독립적인 재현 실험을 통해 검증되어야 하거나, 공급업체에 대한 일정 수준의 기술적 신뢰를 필요로 하는데, 대부분의 조달 프로세스는 아직 이러한 신뢰도를 평가할 수 있도록 구축되어 있지 않습니다. Astribot이 전문 언론이 3개 영역 액션 청크 메커니즘을 설명할 수 있을 만큼 충분히 상세하게 자사의 방법론을 공개한 것은, 그 이유를 설명하지 않고 단순히 신뢰성 향상을 주장하는 기업보다 훨씬 더 검증 가능한 정보 공개라고 할 수 있습니다. 올해 휴머노이드 공급업체의 신뢰성 주장을 평가하는 구매자들은 백분율 수치를 그대로 받아들이기 전에, 이와 동일한 수준의 메커니즘 세부 정보를 요청해야 합니다.

이 분석은 아스트리봇(Astribot)이 공개한 SmoothRL 프레임워크에 대한 기술 정보와 2026년 9월 발표에 관한 중국어권 독립 기술 보도를 바탕으로 합니다. 이 기사는 일반적인 정보 제공을 목적으로 하며, 투자, 금융 또는 법률 자문을 구성하지 않습니다.