다목적 로봇에 대한 현실 점검: RoboDojo 벤치마크가 신체 기반 AI에 대해 밝혀주는 것
최근 공개된 ‘RoboDojo’ 벤치마크는 현재 범용 로봇 조작 모델의 냉혹한 현실을 여실히 드러내며, 성공률이 한 자릿수에 그치고, 상용화 가능한 신체 기반 AI 개발에 대한 업계의 일정 달성이 쉽지 않음을 보여주고 있다.

수년 동안 로봇 산업은 편안하고 시각적으로 강렬한 환상 속에 운영되어 왔습니다. 기업들은 휴머노이드 로봇이 빨래를 접거나, 물건을 분류하거나, 커피를 내리는 모습을 담은 인상적이고 과장된 편집 영상을 일상적으로 선보이며, 다목적 로봇 조작 기술이 곧 광범위한 상용화 단계에 접어들 것임을 시사해 왔습니다. 투자자와 대중 모두 이러한 시연에 매료되어, 물리적 형태의 인공 일반 지능(AGI)이 곧 등장할 것이라고 약속하는 스타트업에 자금을 쏟아부어 왔다. 그러나 그 기반이 되는 평가 방법을 자세히 살펴보면, 평가 환경이 파편화되어 있고 종종 관대한 기준이 적용되고 있음을 알 수 있다. 마케팅적 포장만 벗겨낸 현실은, 현재 모델들이 여전히 신뢰성, 일반화 가능성, 상용화 가능성 면에서 한참 멀었다는 것이다. 새롭고 엄격한 테스트 기준의 도입으로 우리가 아직 가야 할 길이 정확히 어느 정도인지 수치화되었으며, 그 수치는 업계 전체에 대한 냉철한 경종이 되고 있다.
로보도조(RoboDojo) 벤치마크란 무엇인가?
로보도조(RoboDojo)는 범용 로봇 조작 정책을 종합적으로 평가하기 위해 설계된 통합 시뮬레이션 및 실세계 벤치마크입니다. 2026년 7월에 공개된 이 벤치마크는 세 가지 서로 다른 로봇 구현체를 사용하여 42개의 시뮬레이션 과제와 18개의 실세계 과제를 통해 모델을 테스트하며, 신체화된 AI의 진전을 정확하게 측정할 수 있는 표준화된 프레임워크를 제공합니다.
출시 관련 핵심 사실
2026년 7월 초, 세계 유수의 대학 소속 연구자들로 구성된 대규모 연합이 로봇 공학계에 로보도조를 소개했습니다. 기초 연구 논문은 2026년 7월 5일 arXiv에 제출되었으며, 2026년 7월 8일 발표된 상세 보고서를 계기로 이 프로젝트는 업계에서 더 큰 주목을 받게 되었습니다. 이 벤치마크는 30개의 대표적인 로봇 조작 정책을 통합 및 평가하여 현재 최첨단 기술의 현황을 폭넓게 파악할 수 있게 해줍니다. 테스트된 모델에는 Hy-Embodied-0.5-VLA, Spatial Forcing, Pi_05, X-VLA, X-WAM, Xiaomi-Robotics-0, StarVLA, GigaWorld-Policy 등 저명한 모델들이 포함되어 있습니다.
GalaxeaVLA 및 LingBot-VLA.이러한 평가에서 도출된 주요 결과는 냉철한 현실을 보여주며, 업계에 만연한 낙관적인 주장에 직접적인 의문을 제기한다. 시뮬레이션 환경에서 가장 우수한 성능을 보인 모델인 Hy-Embodied-0.5-VLA는 평균 성공률이 8.80%에 그쳤다. 실제 테스트 단계에서, 한 보고서에 따르면 최고 성능 모델인 π0.5가 12.8%의 성공률을 기록했다고 한다. 이러한 수치를 제대로 이해하기 위해, 같은 보고서는 인간 전문가가 실제 환경에서는 100%, 시뮬레이션 환경에서는 76.03%의 성공률을 달성한다고 언급하고 있다. AI 모델의 이러한 한 자릿수 및 낮은 두 자릿수 성공률은 현재 능력과 상용화 가능한 범용 로봇에 요구되는 수준 사이의 엄청난 격차를 여실히 보여준다.
신체 기반 AI의 진전이라는 환상
로봇 공학 분야는 오랫동안 측정 문제로 어려움을 겪어왔다. 인공지능 분야의 진보는 대개 엄격하고 표준화된 벤치마크에 의해 주도된다. 자연어 처리 분야에서는 MMLU나 HumanEval과 같은 벤치마크가 명확한 목표를 제시하여 신속한 반복과 개선을 이끌어냈다. 그러나 로봇 공학 분야에서는 평가가 역사적으로 분절화되어 있고, 일관성이 없으며, 과적합에 취약한 경향이 있었다.
많은 연구팀과 기업들은 기능의 극히 일부만을 평가하는 독자적인 테스트 환경이나 벤치마크에 의존해 왔다. 물리 법칙을 단순화하고 예기치 못한 변수를 제거할 수 있는 시뮬레이션 환경에서만 모델을 테스트하는 것이 일반적인 관행이었다. 반면, 실제 환경 테스트는 종종 매우 제한적인 실험실 환경에서 수행되는데, 이때 물체는 정확한 시작 위치에 배치되고 조명은 세심하게 제어됩니다. 로봇이 이러한 구체적이고 미리 연습된 시나리오에서 성공하면, 그 성공을 일반적인 능력으로 쉽게 일반화하기 쉽습니다.
이러한 단편적인 접근 방식은 급속한 진전이 이루어지고 있다는 착각을 불러일으켰습니다. 모든 기업이 각자의 잣대로 성공을 측정한다면, 누구나 이 경쟁에서 앞서가고 있다고 주장할 수 있기 때문입니다. RoboDojo는 이러한 관행을 뒤엎습니다.
이 연구는 광범위한 작업과 구현 형태에 걸쳐 범용 로봇 조작 정책을 평가하는 통합된 시뮬레이션 및 실제 벤치마크를 도입함으로써 이러한 역학을 분석합니다. RoboDojo는 모델이 시뮬레이션 환경과 실제 환경 모두에서, 그리고 다양한 유형의 로봇 하드웨어를 아우르며 성능을 발휘하도록 함으로써 과적합의 이점을 제거하고 현재 기술의 진정한 기준선을 드러냅니다.평가 차원의 분석
성공률이 왜 이토록 낮은지 이해하려면, RoboDojo가 평가하는 구체적인 차원들을 살펴볼 필요가 있습니다. 이 시뮬레이션 벤치마크는 로봇 조작의 다섯 가지 핵심 영역을 테스트하도록 설계되었으며, 각 영역은 실제 환경에서의 배포를 위한 기본 요건을 나타냅니다.
첫째, 일반화 능력은 모델이 훈련 과정에서 접하지 못했던 새로운 물체, 환경, 작업을 처리할 수 있는 능력을 평가합니다. 진정한 범용 로봇은 한 번도 본 적 없는 주방에서 다양한 모양과 크기의 주방 도구를 다루며 작동할 수 있어야 합니다. RoboDojo에서 나타난 낮은 점수는 현재 모델들이 훈련 분포를 벗어나면 상당한 어려움을 겪는다는 것을 시사합니다.
둘째, 기억력은 로봇이 시간이 지나도 정보를 유지하고 이를 향후 행동에 활용할 수 있는지 평가합니다. 예를 들어, 로봇이 도구를 찾기 위해 서랍을 열었다면, 나중에 다시 필요할 때 서랍이 열려 있다는 사실과 도구가 있는 위치를 기억해야 합니다. 현재의 정책은 복잡하고 여러 단계로 구성된 작업에 필요한 지속적인 기억력을 종종 갖추지 못하고 있습니다.
셋째, 정밀도는 구멍에 못을 끼우거나 섬세한 물체를 으깨지 않고 집는 등 정교한 운동 능력이 필요한 작업에 있어 매우 중요합니다. 대규모 비전-언어-행동 모델은 고수준 명령을 이해하는 데는 뛰어나지만, 이러한 명령을 밀리미터 단위의 정밀한 물리적 움직임으로 변환하는 것은 여전히 큰 과제입니다.
넷째, 장기적 실행은 장기간에 걸쳐 일련의 상호 의존적인 동작을 요구하는 작업을 완료하는 로봇의 능력을 시험합니다.
커피 한 잔을 만드는 과정은 머그잔을 찾아서 커피 머신 아래에 놓고, 캡슐을 넣은 뒤 버튼을 누르는 것으로 이루어집니다. 모델이 이 단계 중 어느 하나라도 실패하면 전체 작업이 실패로 끝납니다. 장기간에 걸쳐 오류가 누적되는 확률은 전반적인 성공률이 낮은 주된 원인입니다.마지막으로, 오픈 어휘 지시(open-vocabulary instruction) 평가에서는 로봇이 자연스럽고 구조화되지 않은 언어로 표현된 명령을 이해하고 실행할 수 있는지 여부를 평가합니다. 로봇은 미리 프로그래밍된 명령에 의존하는 대신, 다양한 표현 방식에서 사용자의 의도를 해석해야 합니다. 대규모 언어 모델이 이러한 능력을 향상시켰지만, 언어적 이해를 물리적 행동으로 연결하는 문제는 여전히 해결되지 않은 과제입니다.
생산 일정에 대한 현실 점검
RoboDojo 벤치마크가 시사하는 바는 단순한 학문적 호기심을 훨씬 뛰어넘어, 신체화된 AI의 상용화 일정에 직접적인 영향을 미칩니다. 지난 2년 동안 업계에서는 대규모 언어 모델을 로봇 제어 시스템에 통합하면 조작 문제를 신속하게 해결할 수 있어, 가정과 공장에 범용 로봇이 조만간 도입될 것이라는 전망이 지배적이었습니다.
RoboDojo의 데이터는 이러한 일정에 필요한 수정점을 제시한다. 시뮬레이션에서 8.80%의 성공률과 실제 환경에서 보고된 12.8%의 성공률은 현재 모델들이 제품화의 최종 단계가 아니라 여전히 기초 연구의 초기 단계에 있음을 시사한다. 벤치마크 결과는 현재 모델들이 신뢰할 수 있고, 일반화 가능하며, 배치 가능한 범용 로봇 조작 기술과는 아직 거리가 멀다는 것을 보여준다.
이는 양산 준비가 된 범용 로봇이 아직 상당한 거리에 있다는 것을 의미합니다. 향후 1~2년 내에 소비자용 자율 주행 범용 휴머노이드를 제공하겠다고 약속하는 기업들은 남아 있는 기술적 난관을 과소평가하고 있을 가능성이 높습니다. 상용화를 위한 길에는 모델 아키텍처, 데이터 수집, 물리적
단순히 기존 접근 방식을 확대하는 것이 아니라, 논리적 근거를 바탕으로 한 접근 방식입니다.평가 프레임워크의 표준화
RoboDojo가 등장하기 전까지 업계는 각각 고유한 장점과 한계를 지닌 다양한 벤치마크를 뒤섞어 사용해 왔습니다. 이러한 현황을 이해하는 것은 새로운 통합 표준이 기여하는 바를 제대로 파악하는 데 매우 중요합니다.
기존 벤치마크들은 범용 로봇 조작 정책을 체계적으로 평가하는 데 종종 한계가 있었습니다. 이들은 주로 단순한 작업에 의존하며, 일반적으로 시뮬레이션 환경이나 실제 환경 중 한 곳에서만 수행됩니다. 예를 들어, LIBERO는 다중 작업 및 평생 로봇 학습 문제에서 지식 전이를 연구하기 위해 특별히 설계된, 널리 인정받는 벤치마크입니다. 특정 분야에 초점을 맞춘다는 점에서 가치가 있지만, 전적으로 시뮬레이션 환경에서만 운영됩니다.
마찬가지로, SimplerEnv는 일반적인 실제 로봇 조작 설정을 위한 일련의 오픈소스 시뮬레이션 평가 환경을 제공합니다. 이는 연구자들이 표준화된 가상 환경에서 정책을 테스트할 수 있도록 하는 데 중요한 역할을 해왔지만, 물리적 하드웨어와의 격차를 해소하지는 못합니다. BEHAVIOR는 1,000가지의 일상적인 가정 활동을 포함하는, 인간 중심 로봇공학을 위한 또 다른 포괄적인 시뮬레이션 벤치마크입니다. 그 규모는 인상적이지만, 이 역시 가상 세계에 국한되어 있습니다.
RoboDojo의 주요 혁신은 통합된 접근 방식에 있습니다. 3가지 로봇 구현체에 걸쳐 42개의 시뮬레이션 과제와 18개의 실제 과제를 제공함으로써, 모델이 두 영역 모두에서 그 능력을 입증하도록 요구합니다. 이러한 이중 요구 사항은 시뮬레이션에서의 성공이 실제 세계에서의 성공으로 직접 이어지는 경우가 드물기 때문에 필수적입니다. 이는 ‘시뮬레이션-실제 간 격차(sim-to-real gap)’로 알려진 현상입니다. 두 영역을 동시에 측정함으로써, RoboDojo는 모델의 진정한 유용성에 대해 훨씬 더 정확한 그림을 제공합니다.
벤치마크 현황 비교
전략적 조달 및
도입 시 고려 사항
로봇 조작 플랫폼을 평가하는 엔지니어링 리더, 조달 담당자 및 벤처 캐피털리스트에게 RoboDojo의 결과는 현실을 가늠하는 중요한 기준이 됩니다. 공급업체가 높은 성공률이나 흠잡을 데 없는 시연 영상을 제시할 때, 그러한 지표가 고립되고 과적합된 환경에서 달성된 것인지, 아니면 RoboDojo와 같은 엄격하고 통일된 벤치마크를 기준으로 달성된 것인지 반드시 확인해야 합니다. 일반화된 시뮬레이션 과제에서 한 자릿수에 그친 성공률은 현재의 비전-언어-행동 모델이 실제 생산 환경에서 안정적으로 작동하기 위해서는 상당한 맞춤형 엔지니어링, 제한된 환경, 그리고 광범위한 현장 맞춤형 훈련이 필요함을 시사합니다.
조직은 이에 따라 도입 일정과 예산을 조정해야 합니다. 바로 사용할 수 있는 범용 기능에만 의존하는 것은 시기상조이며 상당한 운영 위험을 수반합니다. 대신, 전략적 투자는 강력한 데이터 수집 기능, 효율적인 미세 조정 파이프라인, 그리고 예외 사례를 처리하기 위한 명확한 경로를 제공하는 플랫폼에 집중되어야 합니다. 자율적이고 개방형 어휘를 활용한 조작 기술로 나아가는 과정이 반복적이며 지속적인 검증이 필요하다는 점을 인식하는 것은 지속 가능한 로봇 공학 프로그램을 구축하는 데 필수적이다.
벤치마크에 대한 전문가들의 견해
한 로봇 산업 분석가는 “RoboDojo의 등장은 업계로 하여금 범용 조작 기술의 실제 현황을 직시하도록 강요하며, 정교하게 꾸며진 시연의 화려한 외관을 벗겨내고 현재 기술적 한계를 정의하는 원시적인 한 자릿수 성공률을 드러내고 있다”고 지적합니다. 이러한 수준의 투명성은 바로 이 분야가 과대광고 주기를 넘어, 물리적 상호작용이라는 어렵고 화려하지 않은 문제 해결에 집중하기 위해 필요한 것입니다.
RoboDojo를 이끄는 협력의 힘
RoboDojo만큼 포괄적인 벤치마크를 구축하려면 대부분의 개별 연구실 역량을 뛰어넘는 자원과 전문 지식이 필요합니다. 따라서 이 프로젝트는 대규모 협업의 산물입니다.
전 세계 유수의 학술 기관 소속 연구자들 사이에서.이 연구팀의 구성은 홍콩대학교 MMLab, 캘리포니아 대학교 버클리, 칭화대학교, 베이징대학교, 스탠퍼드 대학교, MIT, 노스캐롤라이나 대학교 채플힐, 프린스턴 대학교, 카네기 멜론 대학교, 싱가포르 국립대학교, 난양 기술대학교, 홍콩중문대학교, 임페리얼 칼리지 런던, 상하이 교통대학교, 노스웨스턴 대학교, 홍콩과학기술대학교(광저우), 저장대학교, 예일 대학교의 연구자들이 참여하고 있습니다.
이 이니셔티브를 주도하는 핵심 인물로는 홍콩대학교 MMLab의 천셴(Tianxing Chen)과 베이징대학교의 첸위(Yue Chen)를 비롯해 리지쉰(Zixuan Li), 탕쥔위안(Junyuan Tang), 수카이룬(Kailun Su), 루하오란(Haoran Lu), 완웨이지에(Weijie Wan), 첸바이준(Baijun Chen), 류송링(Songling Liu) 등이 있습니다. 이 팀은 이전에 ‘RoboTwin’ 시리즈 벤치마크를 개발한 바 있어 이 프로젝트에 상당한 경험을 가지고 있습니다. 그들의 초기 연구 성과인 ‘RoboTwin 2.0’은 양손 로봇 조작 분야의 데이터 생성 및 벤치마킹을 위한 확장 가능한 프레임워크 역할을 하며, ‘RoboDojo’에서 구현된 보다 광범위한 시뮬레이션-실제 통합 접근법의 토대를 마련했습니다.
이러한 협업의 규모는 문제의 난이도를 여실히 보여준다. 물리적 설비를 구축하고, 시뮬레이션 환경을 설계하며, 30가지의 서로 다른 조작 정책을 통합하고, 평가를 수행하는 데에는 막대한 협력이 필요하다. 이 벤치마크를 구축하는 데 18개 일류 대학이 참여해야 했다는 사실은, 개별 기업들이 독자적으로 객관적인 평가 기준을 마련하는 데 어려움을 겪어 온 이유를 잘 보여준다.
로봇 산업이 범용 기계 개발을 향해 계속 나아감에 따라, RoboDojo와 같은 벤치마크가 진전의 진정한 척도가 될 것입니다. 이러한 벤치마크는 발전 상황을 정확히 측정하고 현재 모델의 단점을 파악하는 데 필요한 표준화되고 재현 가능하며 포괄적인 평가 프레임워크를 제공합니다. 이 엄격한 테스트에서 성공률이 한 자릿수를 벗어나기 전까지는, 실제 현장에 배치 가능한 범용 로봇에 대한 꿈은
여전히 미래의 일로 남아 있다.출처
1. RoboDojo 벤치마크 프로젝트 페이지: https://robodojo-benchmark.com/
2. RoboDojo 논문 (arXiv 2607.04434): https://arxiv.org/abs/2607.04434
3. RoboDojo GitHub 저장소: https://github.com/robodojo-benchmark/RoboDojo
4. 벤치마크 결과에 대한 36Kr 분석 (중국어): https://36kr.com/p/3886887316500745
5. RoboTwin 프로젝트 페이지: https://robotwin-platform.github.io/
6. LIBERO 벤치마크 프로젝트 페이지: https://libero-project.github.io/main.html
7. SimplerEnv 프로젝트 페이지: https://simpler-env.github.io/
8. 스탠포드 BEHAVIOR 벤치마크: https://behavior.stanford.edu/index.html












