AGIBOT, 로봇에게 ‘어떻게’뿐만 아니라 ‘왜’를 가르치는 데이터셋을 오픈소스로 공개
AGIBOT은 ‘AGIBOT WORLD 2026’ 데이터 프로그램의 네 번째 릴리스인 ‘Physical Reasoning’을 오픈소스로 공개했습니다. 이 프로그램은 신체 기반 AI 모델이 단순히 미리 정해진 조작 경로를 반복하는 데 그치지 않고, 변화하는 상황을 판단하고 오류 상태를 인식할 수 있도록 훈련하기 위해 개발되었습니다.

상하이에 본사를 둔 휴머노이드 로봇 및 체화형 AI 제조사인 AGIBOT(공식 등록명: AGIBOT Innovation (상하이) 테크놀로지 유한공사로 공식 등록된 이 기업은 2026년 10월 23일, 로봇이 단순히 미리 정해진 동작을 수행하는 방법을 배우는 것이 아니라 변화하는 상황에서 어떤 행동을 선택해야 하는지 가르치기 위해 구축된 새로운 훈련 데이터셋을 오픈소스로 공개했습니다. ‘Physical Reasoning’이라 명명된 이번 데이터셋은 해당 기업의 ‘AGIBOT WORLD 2026’ 데이터 프로그램의 네 번째 시리즈로, 현재 Hugging Face와 AGIBOT WORLD 프로젝트 사이트를 통해 다운로드할 수 있다.
체화형 AI 공급업체를 평가하는 조달 팀에게 이번 공개는 상업적으로 중요한 특정 취약점을 겨냥하고 있다는 점에서 의미가 있습니다. 데모에서 안정적으로 물건을 잡는 동작을 수행할 수 있는 로봇 팔이나 휴머노이드라도, 가득 찬 서랍과 빈 서랍을 구분하지 못하거나 작업이 이미 부분적으로 성공했음을 인식하지 못하는 경우가 흔하기 때문입니다. ‘Physical Reasoning’은 이러한 판단 과정 자체에 주석을 달아줄 뿐만 아니라, 그 판단에 뒤따르는 동작에만 국한되지 않습니다.
행동을 ‘보는 것’과 ‘선택하는 것’ 사이의 간극
대부분의 로봇 조작 데이터셋은 ‘컵을 집어 선반에 올려놓기’와 같은 단일 작업에 대해 하나의 올바른 궤적만을 기록합니다. 이러한 접근 방식은 모방을 가르치지만, 훈련 데이터에서 보여주지 않았던 방식으로 환경이 변화하는 순간 모방은 무용지물이 됩니다. 비어 있어야 할 서랍이 가득 차 있는 경우처럼 말이죠. 물건이 세 개 있어야 할 선반에 하나만 놓여 있다. 어떤 각도에서는 완료된 것처럼 보이는 작업도 다른 각도에서는 한 단계가 누락되어 있다.
AGIBOT은 바로 이러한 실패 양상을 중심으로 물리적 추론(Physical Reasoning)을 설계했습니다. 조작 난이도를 높이는 대신, 이 데이터셋은 작업 목표를 일정하게 유지하고 그 주변의 상태와 제약 조건을 변화시킴으로써, 기본 기술이 변하지 않더라도 올바른 결정이 어떻게 달라지는지를 포착합니다. 각 샘플은 고수준 지시와 동작에 대한 상세한 자연어 설명인 ‘밀도 높은 프롬프트(Dense Prompt)’를, 저수준 동작 궤적, 바운딩 박스·점·궤적선을 포함한 공간 주석, 그리고 명시적인 하위 작업 분할과 결합합니다.
이 구조는 개발자가 동일한 주석이 달린 에피소드를 바탕으로 고수준 의사결정 모델과 저수준 행동 정책을 함께 훈련할 수 있도록 설계되었으며, 지각, 계획, 제어를 서로 별개의 문제로 취급하는 대신 AGIBOT이 내부적으로 ‘의사결정-실행 공동 훈련’이라고 부르는 과정을 수행할 수 있게 합니다.이러한 구분은 실제 작업 현장에 적용되기 전까지는 학문적인 논의로만 들릴 수 있습니다. 창고 피킹 작업과 호텔 턴다운 작업은 ‘잡기’, ‘옮기기’, ‘놓기’와 같은 거의 동일한 조작 기술을 공유할 수 있지만, 무엇을 먼저 할지, 무엇을 건너뛸지, 무엇이 완료된 것으로 간주될지에 대해서는 완전히 다른 판단이 필요합니다. 오늘날 시중에 나와 있는 대부분의 로봇 정책은 공유된 기술 면에서는 뛰어나지만 판단 단계에서는 취약한데, 이는 판단을 가르치는 데이터가 단일하고 명확한 궤적을 가르치는 데이터보다 수집하기 더 어렵고 비용도 더 많이 들기 때문이다.
평범한 집안일 속에 숨겨진 9가지 추론 테스트
이 데이터셋은 9가지 서로 다른 추론 기술을 중심으로 구성되어 있습니다. 어떤 테스트는 로봇이 물체의 속성이나 주변 맥락을 바탕으로 올바른 물체를 집어낼 수 있는지 평가하고, 다른 테스트는 조작이 물리적으로 가능한지 판단하거나, 특정 행동이 의존하는 전제 조건을 인식할 수 있는지 평가합니다. 나머지 능력들은 계획 수립 단계로 더 깊이 들어갑니다. 목표를 향해 탐색하고, 시간에 따른 수량과 상태를 추적하며, 긴 일련의 단계를 순서대로 유지하고, 이미 일어난 일을 기억하며, 하위 작업을 올바르게 순서대로 배열하는 능력 등이 포함됩니다. 이 9가지 능력은 10가지 이상의 시나리오 유형을 아우르며, 실제 상황에서 반복적으로 발생하는 네 가지 복잡한 상황—물체의 개수, 물체가 부분적으로 가려져 있는지 여부, 이미 차지된 공간의 양, 로봇이 작업을 접했을 때 이미 진행된 정도—에 대해 극한 테스트를 거쳤습니다.
예시 작업들은 의도적으로 화려하지 않은 것들로 구성되어 있는데, 이는 데모 영상보다는 실제 도입 준비 상태를 평가하려는 구매자에게 중요한 요소이기 때문이다. 여기에는 호텔 미니바 재고 보충, 여러 서랍에서 특정 세면도구를 찾는 작업 등이 포함된다.
물건 찾기, 장애물 뒤에 있는 열쇠 회수, 객실 청소, 식탁 정리, 매장 진열대 재보충 등입니다. 각 작업은 ‘쉬움’, ‘중간’, ‘어려움’으로 등급이 매겨지며, ‘어려움’ 등급의 작업은 여러 하위 목표, 장기적인 상태 추적, 그리고 여러 제약 조건을 동시에 결합한 것으로, 단일 기술만 보여주는 데모 영상에서는 결코 다루지 않는 복합적인 판단이 필요한 유형입니다.호텔업과 소규모 소매업은 의도적으로 선택된 시험장입니다. 두 환경 모두 자동화하기에 충분히 구조화되어 있으면서도 재고 수준, 객실 배치, 투숙객 행동 등에서 변동성이 커서, 순수하게 정제된 조작 데이터만으로 훈련된 모델은 조용히 실패하는 경향이 있습니다. 즉, 모델은 동작을 완료하지만 그 동작이 잘못된 문제를 해결했다는 사실을 알아차리지 못합니다. 순수한 손재주 수준이 아닌 복합적인 난이도에 따라 과제를 평가함으로써, 외부 개발자들은 단순히 그립 성공률만을 벤치마킹하는 대신 바로 그 실패 모드를 정확히 측정할 수 있는 방법을 얻게 됩니다.
AGIBOT은 데이터셋의 규모, 에피소드 수, 영상 촬영 시간, 사용된 로봇 플랫폼 또는 장면 수를 공개하지 않았는데, 이는 간과하기보다는 지적할 가치가 있는 부분이다. 이전 AGIBOT WORLD 발표들은 규모를 주요 판매 포인트로 내세웠으나, 이번 발표는 대신 과제 설계와 주석 부착의 깊이를 강조하고 있다. Physical Reasoning을 경쟁사의 체화형 AI 데이터셋과 비교하는 구매자나 연구 파트너는, 추론의 다양성이 데이터 양을 대체한다고 가정하기보다는 누락된 규모 수치를 직접 요청해야 합니다. 훈련된 정책이 제시된 시나리오를 넘어 어느 정도까지 일반화되는지에 있어 두 요소 모두 중요하기 때문입니다.
모델에게 ‘하지 말아야 할 일’ 가르치기
Physical Reasoning에서 구조적으로 더 중요한 선택은 AGIBOT이 실패를 어떻게 처리했는지에 있습니다. 주석이 달린 각 에피소드에는 “성공 세그먼트”와 “적대적 세그먼트”가 모두 포함되어 있습니다. 즉, 이 데이터셋은 올바른 의사결정 순서뿐만 아니라, 잘못된 항목을 선택하거나 잘못된 수량을 배치하는 등 잘못된 결과로 이어지는 의사결정 순서도 기록하고 있습니다. AGIBOT은 성공 사례와 오류 사례에 가중치를 부여하여
주석 부여 과정에서 실패 사례를 무시할 수 있는 잡음으로 취급하기보다는, 모든 샘플을 동등하게 고려합니다.이는 로봇이 무엇을 할 수 있는지 보여주기 위해 순수하게 구축된 데이터셋과는 의미 있게 다른 설계 철학입니다. 성공적인 궤적만으로 훈련된 모델은 대체 행동이 왜 잘못되었는지에 대한 신호를 가지고 있지 않은데, 이는 로봇이 훈련 영상과 정확히 똑같이 보이지 않는 창고 통로, 호텔 복도 또는 소매점 뒷방에서 작동해야 할 때 조달 또는 통합 팀이 필요로 하는 바로 그 정보입니다. 적절하게 주석이 달린 부정 사례는 모델이 경로를 암기하는 대신 규칙을 일반화할 수 있게 해주는 요소이며, 동시에 대부분의 상업용 데이터 공급업체가 수집하기를 가장 꺼리는 사례이기도 합니다. 실패한 궤적은 시연에 활용할 만한 영상도, 명백한 수익도 창출하지 못하기 때문입니다.
이러한 데이터를 내부 차별화 요소로 간직하기보다 오픈소스로 공개하는 것 자체가 상업적인 신호입니다. 이는 AGIBOT이 자사의 경쟁 우위가 원시 주석 처리 영상 자체가 아니라 로봇 하드웨어, 배포 파트너십, 또는 이번 및 이전 버전을 기반으로 훈련된 차세대 모델에 있다고 믿고 있음을 시장에 알리는 것입니다.
데이터가 이미 활용되고 있는 곳
AGIBOT은 이 데이터셋이 차세대 파운데이션 모델과 출시 예정인 에이전트 프레임워크를 지원하기 위해 이미 내부적으로 사용되었다고 밝혔으나, 두 프로젝트 모두에 대한 출시일이나 벤치마크 결과는 공개하지 않았습니다. 훈련된 모델보다 먼저 훈련 데이터를 공개하는 이러한 순서는 AGIBOT이 올해 AGIBOT WORLD 릴리스 전반에 걸쳐 따르던 패턴과 일치하며, 외부 개발자와 학술 연구소는 동일한 데이터를 직접 확보한 후 회사의 논리적 주장을 독립적으로 검증하거나 반박할 수 있는 기회를 얻게 됩니다.
이에는 체화형 AI 공급업체를 평가하는 조달 팀이 간과해서는 안 될 상업적 함의가 담겨 있다. 데모 영상은 이상적인 조건 하에서 로봇이 한 번 무엇을 할 수 있는지만 보여줄 뿐이다. 반면, [...],에 기반한 추론 벤치마크는
난이도 단계별 분류, 명시적인 실패 주석 및 다중 제약 조건이 적용된 장기 과제 수행 능력은, 단일 통제된 시범 운영에 적합한 시스템과 실제 시설의 변동성을 감당할 수 있는 신뢰할 만한 시스템을 구분하는 증거에 더 가깝습니다. 이것이 바로 올해 휴머노이드 업계 전반에서 공급업체들의 주장을 계속해서 무색하게 만들고 있는, 데모용 시스템과 실제 배포 가능한 시스템 간의 차이점입니다.그 결과, 공급업체 비교 평가를 진행하는 구매자들은 구체적인 새로운 질문을 제기할 수 있게 되었다. 즉, 후보 로봇이 기술 시연에서 어떻게 수행하는지뿐만 아니라, 공급업체가 ‘Physical Reasoning’이 이제 공개적으로 재현 가능하게 만든, 난이도가 단계별로 구분되고 상태가 다양한 과제에 대해 추론 성능을 보여줄 수 있는지 여부도 확인해야 한다. 자사의 동등한 벤치마크에서 비교 가능한 수치를 제시하지 못하는 공급업체는, 비록 조작 영상이 경쟁력이 있어 보일지라도 사실상 판단 단계에서 패배를 인정한 것이나 다름없습니다.
조달 실무 측면에서 얻을 수 있는 교훈은 “AGIBOT이 로봇 추론 문제를 해결했다”는 것보다 더 좁은 범위입니다. 어떤 데이터셋이 공개된다고 해도, 그 데이터셋으로 훈련된 모델이 실제 시설에서 일반화 격차를 실제로 해소한다는 것을 증명하지는 못합니다. 이는 여전히 구매자 현장의 구체적인 SKU 구성, 매장 레이아웃, 인력 배치 패턴을 반영하여 시범 운영마다 개별적으로 입증되어야 합니다. 물리적 추론이 실제로 변화시키는 것은 요구할 수 있는 증명 책임의 기준입니다. 호텔 및 소매업 스타일의 과제에 대해 등급이 매겨지고 공개적으로 재현 가능한 추론 벤치마크가 일단 마련되면, AGIBOT을 포함한 모든 신체 기반 AI 공급업체를 평가하는 조달 팀은 공급업체가 선택한 데모 영상에만 의존하는 대신, 구체적이고 반복 가능한 테스트를 요청할 수 있게 됩니다.
AGIBOT은 올해 업계에서 가장 적극적인 오픈 데이터 공개 주기를 구축했는데, 이는 회사의 자체 훈련 투자를 나머지 업계가 평가받는 사실상의 벤치마크로 전환하는 전략인 동시에, 가장 진보된 사내 모델에 대해서는 여전히 독점권을 유지하는 방식입니다. ‘Physical Reasoning’이 이전 AGIBOT WORLD 릴리스들처럼 기준점이 될지는 외부 연구소들이 이를 얼마나 빨리
이에 대한 결과를 공개할 예정이다. 5차 릴리스, 즉 릴리스 4를 기반으로 한 최초의 외부 벤치마크 점수는 주목할 만한 다음 구체적인 신호가 될 것이다.이 내용은 데이터셋 제공업체가 직접 공개한 자료와 기술 문서를 바탕으로 작성되었습니다. 본 기사는 일반적인 정보 제공을 목적으로 하며, 투자, 조달, 법률 또는 엔지니어링 관련 조언을 구성하지 않습니다.












