자신의 숙제를 스스로 채점하는 로봇, 이것이 바로 베이징이 제시한 ‘시뮬레이션 격차’ 해결책이다

정교한 조작 기술을 추구하는 모든 로봇공학 연구실은 똑같은 난관에 부딪히곤 합니다. 시뮬레이션이나 인간의 시연 영상을 통해 훈련된 모델은 실험실에서는 우수한 성능을 보이지만, 훈련 데이터가 예측한 것과는 약간 다르게 행동하는 실제 물체를 마주하는 순간 성능이 급격히 저하되는 것입니다. Vidu 모델로 가장 잘 알려져 있으며 알리바바와 앤트 그룹의 투자를 받고 있는 AI 영상 생성 스타트업인 베이징 셩슈 테크놀로지(Beijing Shengshu Technology)는 9월 10일 상하이에서 열린 번드 서밋(Bund Summit)에서 이에 대한 해결책을 제안했다: 칭화대학교와 공동 개발한 ‘모터스2(Motus2)’는 로봇의 동작이 어떤 결과를 초래할지 예측하는 데 그치지 않고, 예측된 결과가 실제로 좋은지 평가하며, 팔이 움직이기 전에 자체 전략을 업데이트하는 월드 모델입니다.

2023년에 설립되어 지금까지 주로 디자인, 광고, 엔터테인먼트 스튜디오를 대상으로 한 텍스트-비디오 생성 기술로 알려져 온 셩슈는 현재 경쟁하고 있는 휴머노이드 로봇 및 로봇 모델 전문 기업들에 비해 체화형 인공지능 분야에 비교적 늦게 진출한 신생 기업이며, ‘모터스2’는 ‘비두(Vidu)’를 위해 구축한 영상 생성 기술을 로봇 팔의 동작이 물리적 공간에서 어떻게 전개될지 예측하는 데 직접 적용할 수 있다는 점을 가장 명확히 보여주는 시도입니다. 공을 놓기, 여러 손가락을 이용한 조작, 지우개 부착, 전구 조이기, 휴대폰 놓기 등 5가지 조작 과제에 걸친 검증된 실제 로봇 테스트에서, Motus2는 평균 84%의 성공률을 기록했으며, 회사는 자사의 계획 접근 방식과 모델 기반 강화 학습을 결합한 버전이 별도의 벤치마크에서 성공률을 기준치인 65%에서 72.5%로 끌어올렸다고 밝혔습니다.

시행착오를 대체하는 루프

대부분의 로봇 학습 시스템은 두 가지 유형으로 나뉩니다. 하나는 특정 동작이 주어졌을 때 다음에 일어날 일을 예측하는 모델이고, 다른 하나는 어떤 동작을 취할지 결정하는 별도의 정책이며, 훈련 과정에서 인간 연구원이나 고정된 보상 함수가 이 두 가지를 결합합니다. Motus2는 이러한 분리를 해소하여, 공유된 매개변수를 가진 단일 모델로 통합함으로써 세 가지 기능을 수행합니다.

이 모델은 순차적으로 작동하여, 후보 행동을 생성하고, 해당 행동의 물리적 결과를 예측하며, 예측된 결과가 실제로 과제 수행을 진전시키는지 평가한 뒤, 그 평가 결과를 다음 단계에서 제안할 행동에 다시 반영합니다. 쉔슈는 이러한 결과를 ‘폐쇄 루프 재귀적 자기 개선’이라고 부르며, 이것이 모델 이름에 붙은 “자가 진화”라는 수식어의 배경이 되는 메커니즘이다. 즉, 로봇이 낯선 물체를 마주할 때마다 인간이 라벨링한 새로운 훈련 데이터를 매번 필요로 하는 대신, Motus2는 자체적인 결과 평가를 훈련 신호로 활용하여 다음 시도를 정교화합니다.

이러한 아키텍처는 상업적으로도 중요한 의미를 지닙니다. 라벨링된 로봇 시연 데이터는 체화형 AI 개발에서 가장 비용이 많이 드는 단일 입력 요소이며, 정교한 조작 모델을 개발하는 모든 연구실은 시스템이 과제 수행 능력 단위당 필요로 하는 데이터 양을 줄이기 위해 경쟁하고 있기 때문입니다. 반면 Motus2의 훈련 방식은 비정상적으로 방대하지만 비교적 저렴한 데이터 소스에 의존합니다: 13만 시간 분량의 인간 1인칭 시점 영상, 즉 머리에 장착된 카메라로 촬영된 영상 자료로, Shengshu는 이를 활용해 실제 로봇 팔을 다루기 전에 인간 손이 물체를 조작하는 방식을 모델에 사전 학습시킵니다. 단독으로 볼 때, 순수하게 해당 인간 영상 데이터만으로 훈련된 모델은 실제 로봇으로 이전되었을 때 51%의 작업 성공률을 기록했습니다. 로봇 하드웨어 고유의 역학 특성에 모델을 적응시키는 두 번째 훈련 단계를 추가함으로써, 셩슈가 ‘도메인 적응’이라고 부르는 이 과정을 통해 성공률은 84%로 상승했으며, 이는 33%포인트나 상승한 수치로, 회사는 이를 통해 인간 영상 사전 훈련이 기계식 그리퍼에 일반화되지 않는 인간 특유의 동작 패턴을 암기하는 것이 아니라 실제 조작 지식을 전이하고 있음을 입증했다고 주장한다.

비전이 메울 수 없는 간극을 터치가 메운다

Motus2의 또 다른 중요한 추가 기능은 촉각 감지입니다. 이는 센서 융합을 완전히 재설계하는 대신 경량 전문가 모듈을 통해 통합되었으며, 모델의 기존 구조 위에 계층적으로 적용되었습니다.

카메라 기반 인식. 시각적 정렬보다는 접촉 힘에 의존하는 조작 작업(예: 전구 나사 조이기나 공차가 엄격한 소형 부품 부착)에서, 촉각 피드백을 추가했을 때 시각만 사용하는 구성에 비해 성공률이 12.5% 포인트 향상되었습니다. 이러한 성과는 지난 1년 동안 광범위한 체화형 AI(embodied-AI) 분야에서 형성된 패턴과 일치합니다. 시각 정보만으로는 로봇에게 물체의 위치를 알려줄 수 있지만, 정밀한 힘 제어가 필요한 조작 작업(커넥터 장착, 패스너 나사 끼우기 등)은 특히 카메라가 그리퍼가 실제로 얼마나 세게 누르고 있는지 제어기에 전달할 수 없기 때문에 시각 정보만 사용하는 시스템에서는 실패하는 경향이 있습니다. 셩슈는 Motus2의 촉각 기능을 두 가지 정교한 핸드 플랫폼, 즉 22자유도의 ‘샤르파 웨이브(Sharpa Wave)’와 20자유도의 ‘우지 핸드 2(WUJI Hand 2)’에 적용했다. 이 두 플랫폼은 현재 대부분의 산업용 코봇에서 여전히 흔히 사용되는 단순한 두또는 3개의 손가락으로 구성된 그리퍼보다 훨씬 복잡한 엔드 이펙터로, 이는 셩슈가 Motus2를 기존 자동화 시스템이 이미 충분히 처리하고 있는 단순한 집어 놓기 작업보다는, 휴머노이드 로봇 공학 분야가 빠르게 추구하고 있는 더 정교하고 인간의 손과 유사한 조작 작업에 포지셔닝하고 있음을 시사합니다.

또 다른 결과는 완전히 다른 한계, 즉 ‘기억’ 문제를 보여준다. 여러 단계에 걸쳐 진행되는 작업을 수행하는 로봇은 초기 지시와 후속 단계 사이에 충분한 시간이 경과하면 이전 맥락을 놓치기 쉬워, 동작을 반복하거나 다단계 작업의 흐름을 잃어버리는 경향이 있다. 셩슈가 ‘완전한 이력 기억’이라고 설명하는 Motus2의 구성은 장기적인 맥락 유지를 필요로 하도록 특별히 설계된 작업에서 57.5%의 성공률을 달성했는데, 회사는 이 결과를 문제가 해결되었다기보다는 진전으로 평가하며, 이는 짧은 과제에 대한 조작 정확도가 향상되고 있음에도 불구하고, 기억력과 장기적 추론이 여전히 체화된 AI 분야의 난제 중 하나로 남아 있다는 점과 일치하는 결과입니다.

이 성과가 자금력이 더 풍부한 경쟁사들에 비해 쉔슈에게 어떤 이점을 주는가

경쟁사

셩슈는 Motus2를 자사가 공개적으로 제시한 5단계 세계 모델 계층 구조의 3단계와 4단계로 진화하고 있는 것으로 설명하며, 최상위 단계는 특정 작업에 대한 재훈련 없이도 임의의 작업과 구현 형태 전반에 걸쳐 결과를 예측하고 평가할 수 있을 만큼 포괄적인 모델을 의미한다. 이러한 프레임은 의도적인 포지셔닝 전략이다. 이는 중국과 미국의 규모가 더 크고 자본력이 풍부한 연구소들이 자사의 체화형 AI 로드맵의 핵심으로 삼고 있는 세계 모델 연구 의제와 비교를 유도하며, 또한 회의론자들이 로봇공학의 핵심이 아니라 주변 분야로 치부할 수도 있는 영상 생성 분야의 배경을 바탕으로, 그 경쟁에서 쉔슈가 갖는 관련성을 강조하고 있습니다. 인간 영상 데이터로 상당 부분 훈련된 자가 진화형 월드 모델이, 쉔슈가 결과를 발표한 선별된 5가지 과제 벤치마크가 아닌, 실제 공장이나 창고 현장의 더 복잡하고 통제력이 떨어지는 실제 공장이나 창고 현장의 환경으로 확장될 수 있을지가 관건이다. 이는 Motus2가 다른 기업들의 휴머노이드 및 산업용 로봇 스택 내에서 라이선스된 구성 요소가 될지, 아니면 셩슈의 자체 시연에만 머무르는 매력적인 연구 결과로 남을지를 결정할 것이다.

주장의 배후에 있는 학술적 협력

Shengshu는 Motus2를 단독으로 개발하지 않았다. 이 모델은 칭화대학교와의 공동 연구 성과로, 이러한 협력 관계는 결과의 신뢰도를 평가하는 데 중요한 요소가 됩니다. 즉, 자체 모델에 대한 벤치마크 수치를 발표하는 스타트업은, 보고된 수치의 정확성과 학문적 명성이 직결된 교수진이 공동 저자로 참여한 대학 소속 연구팀보다 더 많은 검증을 받게 마련입니다. 이러한 학술적 공동 저자 관계는 또한 자금력이 부족한 소규모 연구실들이 자금 지원이 더 풍부한 경쟁자들과 경쟁하기 위해 점점 더 의존하고 있는 인재 유치 및 검증 채널이기도 합니다. 대학과의 파트너십은 연구 인력과 독립적인 동료 심사를 확보할 수 있는 기회를 제공하는데, 이는 단독으로 운영되는 스타트업이 그렇지 않으면 훨씬 더 많은 비용을 들여 사내에서 구축해야 할 요소들이기 때문입니다.

더 큰 비용. 지난 1년 동안 중국에서 가장 빠르게 진행된 내장형 AI 관련 발표 중 상당수는 모두 동일한 패턴을 따랐는데, 상업 연구소가 컴퓨팅, 데이터 인프라, 제품 구상을 제공하고, 대학 연구소가 이를 뒷받침하는 엄격한 연구를 제공하는 방식이며, Motus2도 이 틀에 매우 부합한다.

Shengshu가 발표한 5가지 과제 벤치마크 역시 마케팅 프레임워크가 시사하는 것보다 범위가 좁으므로, 구매자들은 이를 유념하여 읽어야 한다. 공을 놓거나, 지우개를 붙이거나, 전구를 끼우는 작업은 손재주를 측정하는 데 유용한 지표이긴 하지만, 실제 창고 피킹 스테이션이나 수십 개의 재고 관리 단위(SKU)를 처리하는 조립 라인에서 나타나는 다양한 기하학적 구조, 조명 조건, 복잡한 환경과는 거리가 멀다. 쉔슈는 84%라는 수치가 광범위한 산업용 벤치마크가 아닌 이 특정 5가지 작업 세트에서 도출된 것임을 투명하게 밝혔습니다. 이는 올바른 공개이지만, 동시에 이 수치를 임의의 작업에 적용 가능한 일반적인 조작 성공률로 해석해서는 안 된다는 의미이기도 합니다. 이 회사의 자체 5단계 세계 모델 프레임워크는 이를 암묵적으로 인정하고 있으며, Motus2를 단일 모델이 과제별 조정 없이 임의의 과제를 처리하는 최상위 단계에 도달했다고 주장하기보다는 3~4단계에 위치시키고 있다.

이 모델의 아키텍처와 연구 논문은 공개되어 있으며, Shengshu는 기술 자료와 함께 실제 로봇 시연 영상도 제공된다고 밝혔습니다. 이러한 투명성 확보를 통해 외부 연구소들은 84%라는 수치를 맹신하지 않고 직접 재현해 볼 수 있게 되었습니다. 향후 2년 동안 어떤 월드 모델 접근 방식을 기반으로 시스템을 구축할지 평가 중인 자동화 구매자나 로봇 플랫폼 통합 업체의 입장에서 볼 때, Motus2의 단기적 활용 범위는 헤드라인에서 주장하는 것보다 더 좁습니다. 이는 출시된 제품이 아닌 연구 결과물일 뿐이며, 13만 시간 분량의 인간 영상 사전 훈련 코퍼스에서 신뢰할 수 있는 공장 현장 배포로 이어지는 과정은 여전히 비용이 많이 드는 바로 그 종류의 도메인 특정 적응 데이터를 거쳐야 하기 때문입니다.

주목할 점은, 이 회사가 휴머노이드나 산업용 팔을 개발하는 하드웨어 파트너사에 Motus2의 월드 모델 코어를 라이선스할지 여부다. 만약 그렇게 한다면, Shengshu가 단순히 벤치마크 결과를 발표하는 연구소 수준에 머무르지 않고, 체화된 AI 스택 분야의 인프라 공급업체로서 경쟁할 의도가 있음을 시사하는 단계가 될 것이다.

이 분석은 ShengShu Technology의 공개 연구 자료와 2026 번드 서밋(Bund Summit)에서 발표된 성명을 바탕으로 작성되었습니다. 본 내용은 일반적인 정보 제공을 목적으로 하며, 투자, 금융 또는 법률 자문을 구성하지 않습니다.

메인 이미지 출처: 셩슈 테크놀로지.