휴머노이드 로봇에게 전구 교체를 시켰다. 엔비디아의 주력 AI는 아무것도 하지 않는 로봇과 동등한 성적을 기록했다.

휴머노이드 로봇 앞에 독립형 A자형 사다리를 놓으세요. 로봇에게 사다리를 올라가서 천장 조명 기구에서 타버린 전구를 풀고, 떨어뜨리지 않고 내려온 다음 새 전구를 끼우고 다시 내려오라고 지시하세요. 능숙한 성인이라면 별도의 훈련 없이도 2분도 채 걸리지 않고 이 작업을 해낼 수 있습니다. 이번 주 arXiv에 발표된 벤치마크에서는 로봇 공학 업계에서 공개된 최고의 기초 모델에 바로 이 작업을 수행하게 했더니, 그 모델은 통계적으로 아무런 명령도 내리지 않는 정책과 동등한 결과를 보였습니다.

이것이 바로 이 칼럼의 주장이다. 휴머노이드 업계는 여전히 데모가 얼마나 멋져 보이는지로 진전을 측정하고 있지만, 새로운 공개 벤치마크는 진정한 한계가 모두가 자금을 지원하는 AI 뇌가 아니라 그 아래에 있는 신체라는 사실을 방금 보여주었다. 아직까지 그 격차를 좁힌 사람은 아무도 없습니다. 선도적인 비전-언어-행동 모델도, 수작업으로 코딩된 컨트롤러도, 그리고 더 불편한 사실은, 원격 조종으로 같은 로봇을 조작하는 인간 전문가조차도 그 격차를 좁히지 못했습니다.

이 벤치마크는 ‘Fiatlux’라고 불리며, 5명의 연구원이 개발했다. 이 중 4명은 하와이 대학교 마노아 캠퍼스 소속이고, 1명은 퍼듀 대학교와 공동으로 참여했으며, NVIDIA의 Isaac Lab 시뮬레이터를 위한 네이티브 확장 기능으로 구축되었다. 이 모델은 유니트리(Unitree)가 이미 기본 가격 16,000달러에 판매 중인, 높이 1.3미터, 무게 약 35킬로그램의 휴머노이드 로봇 ‘유니트리 G1’을 대상으로 합니다. 이는 단순한 개념 증명용 로봇이 아닙니다. 오늘 당장 주문할 수 있는 실제 하드웨어로, 건물 유지보수 작업자들이 무의식적으로 수행하는 작업을 수행합니다.

숨겨진 격차를 드러내기 위해 설계된 테스트

대부분의 휴머노이드 벤치마크는 이동 능력과 조작 능력을 별도로 평가합니다. 휴머노이드벤치(HumanoidBench)는 61자유도 동작 공간에서 15가지 전신 조작 과제와 12가지 이동 과제를 평가하지만, 각 과제는 독립적으로 수행됩니다. RoboCasa와 그 확장 버전인 RoboCasa365는 150개 이상의 물체 범주와 100개의 평가 과제를 통해 주방 조작 능력을 평가하지만, 등반 요소는 전혀 포함하지 않습니다. 두 제품군 모두 로봇이 등반하는 동안 깨지기 쉬운 물건을 운반하도록 요구하지 않는데, 그 이유는

짐을 싣고 등반하는 것은 짐을 싣고 걷는 것과는 다른 제어 문제입니다.

Fiatlux는 이 두 가지를 하나로 융합합니다. 1,440초 동안 이어지는 하나의 연속적인 에피소드로, 순차적으로 점수가 매겨지는 12개의 원자적 하위 작업으로 구성됩니다: 사다리를 제 위치로 이동시키고, 사다리를 타고 올라가서, 오래된 전구를 제거하고, 전구를 들고 내려와, 폐기용 상자로 운반하고, 폐기하고, 새 전구에 다가가서, 집어 들고, 사다리로 다시 운반하고, 전구를 들고 올라가서, 나사를 조이고, 다시 내려오는 것입니다. 로봇의 손은 50 뉴턴 이상의 힘으로 닫힐 경우 전구를 부술 수 있도록 설계되어 있으므로, 이 벤치마크는 기계가 사다리를 오를 만큼 강하면서도 동시에 들고 있는 물건을 깨뜨리지 않을 만큼 섬세할 수 있는지 조용히 테스트하고 있는 셈입니다.

이 문장은 깊이 곰곰이 생각해 볼 가치가 있습니다. 하나의 시스템이 등반할 수 있을 만큼 강하면서도, 동시에 손에 든 물건을 깨뜨리지 않을 만큼 섬세해야 한다는 것입니다.

모든 휴머노이드 투자자가 우려해야 할 수치

NVIDIA의 GR00T N1.7은 이러한 벤치마크를 테스트하기에 가장 적합한 모델입니다. 이 모델은 2026년 7월에 정식 출시되었으며, 아파치 2.0 라이선스를 따르고, 양손 조작 및 휴머노이드 로봇 데이터셋과 함께 약 20,000시간 분량의 1인칭 인간 동영상으로 훈련되었습니다. 어떤 관점에서 보더라도, 이 모델은 현재 해당 분야에서 가장 검증된 공개용 비전-언어-행동 모델이다.

Fiatlux의 12가지 하위 과제에 대해 제로샷 테스트를 수행한 결과, GR00T N1.7은 가중 평균 0.0876을 기록했습니다. 모든 관절을 기본 위치에 고정하고 명령을 전혀 내리지 않는 기준 정책은 0.0861을 기록했습니다. 무작위 행동을 샘플링하는 정책은 0.0569를 기록했다. 이 플래그십 모델과 아예 아무것도 하지 않는 것 사이의 격차는 두 점수 각각의 표준편차보다 작다. 논문 저자들은 이 비교를 다음과 같이 직접적으로 언급한다: GR00T N1.7은 무행동 기준 모델과 구별되지 않는다.

완료 횟수 0회. 낮은 수치가 아닙니다. 0입니다. 12개의 하위 과제 전체에 걸쳐, 4개의 무작위 레이아웃 시드 각각에서 GR00T N1.7의 실제 성공률은 0.00이었습니다. 가중 점수에서 나타난 작은 양수 값들은

목표에 더 가까워진 것에 대해서는 부분적인 점수를 받을 수 있지만, 목표를 달성한 것에 대해서는 절대 점수를 받을 수 없다.

그 인간도 사다리를 오를 수 없었다

이것이 전체 이야기를 완전히 새롭게 바라보게 하는 연구 결과다. 연구진은 또한 숙련된 인간의 원격 조작도 기록했는데, 조작자는 PICO 4 헤드셋을 착용하고 역운동학을 통해 G1의 팔을 제어하는 한편, 전신 컨트롤러로 다리를 조작했다. 등반이 포함되지 않은 8개의 하위 과제에서 원격 조작은 거의 매번 성공 기준을 충족했으며, 가중 점수는 0.84였다. 등반이 필요한 4가지 하위 과제—사다리 오르기, 전구를 들고 내려오기, 새 전구를 들고 올라가기, 다시 내려오기—에서는 벤치마크 자체의 성공 기준을 충족하는 원격 조종 시도가 단 한 건도 기록되지 않았다. 단 한 건도 없었다.

동일한 하드웨어를 완전히 의도적으로 직접 제어하는 인간조차도, 벤치마크가 정한 안전 한계 내에서 깨지기 쉬운 물건을 들고 이 특정 로봇을 A자형 사다리를 오르내리게 하는 데 신뢰성 있게 성공할 수 없었다. 이는 AI 능력의 문제가 아니다. 이는 하드웨어 및 전신 제어의 문제이며, 아무리 뛰어난 언어 모델의 추론 능력만으로는 해결할 수 없는 문제입니다.

전구 교체에서 가장 어려운 부분은 결코 전구가 아니었습니다. 바로 사다리였습니다.

아세안(ASEAN) 구매자가 시뮬레이션 논문에 주목해야 하는 이유

저는 이 플랫폼과 관련된 휴머노이드 공급업체들의 프레젠테이션 자료를 많이 읽어보았는데, 거의 모든 자료가 평지에서의 작업에만 국한되어 있습니다: 창고 피킹, 대본에 따른 인사, 가이드가 동행하는 공장 견학 등입니다. 이는 소극적인 태도가 아닙니다. ‘Fiatlux’는 그 이유에 대한 상당히 정확한 설명입니다. 마닐라나 자카르타의 시설 유지보수 담당 구매자가, 이 벤치마크가 시뮬레이션하는 바로 그 종류의 작업—사다리가 필요한 천장 조명기구 정비—을 위해 휴머노이드를 평가한다면, 짐을 싣고 전신을 이용해 사다리를 오르는 능력을 다음 제품 주기에 추가될 기능이 아니라 아직 해결되지 않은 범주로 간주해야 합니다.

그렇다고 휴머노이드가 허상인 것은 아닙니다. ‘피아트룩스’에 포함된 등반이 포함되지 않은 8가지 하위 작업—방 내 이동, 물체 집기, 운반, 배치—는

정확히 말하자면, 원격 조작 환경에서는 상당히 우수한 성능을 보였으며, 현장 내 다른 구역에서는 자율 주행 정책에 따라 꾸준히 개선되고 있습니다. 여기서 고려해야 할 절충점은 명확합니다. 평지에서의 검사 및 분류 작업에 대해서는 공급업체의 로드맵을 신뢰하되, 계단, 사다리, 비계 등을 곧 도입할 것임을 암시하는 어떤 제안에 대해서는 벤치마크를 바탕으로 한 날카로운 질문을 던져야 합니다.

이 수치를 실제로 좌우하는 요인

이 업계의 본능은 더 큰 모델을 기다리며 점수가 저절로 올라갈 것이라고 가정하는 것입니다. 피아트럭스(Fiatlux)는 이러한 본능에 정면으로 반박합니다. 사전 훈련된 범용 비전-언어-행동 모델은 ‘아무것도 하지 말라’는 지시를 받은 로봇과 동등한 성능을 보였는데, 이는 더 많은 매개변수와 더 많은 영상 데이터만으로는 연구진 소속 전문 조종사조차 수동으로 해결할 수 없었던 제어 문제를 해결할 수 없음을 의미합니다. 부족한 것은 언어 이해 능력이 아닙니다. 바로 다중 사지 접촉 전환을 위해 특별히 설계된 전신 제어기입니다. 이 논문에서 다루는 사다리 발판 간 체중 이동, 질량 중심 관리, 그립력 조절과 같은 요소들은 대부분의 자금 지원 소식을 장식하는 비전-언어-행동 스택과는 별개로, 독자적이고 아직 해결되지 않은 연구 문제로 간주됩니다.

향후 12개월 동안은 지난 12개월보다 더 많은 휴머노이드 데모 영상이 공개될 것이며, 그 대부분은 타당한 이유로 평평하고 미끄러지지 않는 바닥에서 촬영될 것이다. 주목해야 할 수치는 다음 영상이 얼마나 세련되어 보이느냐가 아니다. 자율적이든 원격 조종 방식이든, 공개된 정책 중 Fiatlux의 네 가지 등반 하위 과제에 대해 0이 아닌 확실한 성공률을 기록하는 것이 있는지 여부다. 컴퓨팅 분야에서 가장 가치 있는 기업 중 하나가 지원하는 아파치(Apache) 라이선스 모델이, 아무것도 하지 않는 로봇과 동등한 성적을 기록했습니다. 그 구체적인 수치가 변하기 전까지는, 사다리에 올라선 휴머노이드를 보여주는 영업 프레젠테이션은 실제 능력이 아닌 단순한 쇼에 불과합니다.

이 분석은 게시일 기준 공개된 연구 및 제품 정보를 반영한 것이며, 투자, 금융 또는 전문적인 조언으로 해석되어서는 안 됩니다. 본 내용은 일반적인 정보 제공을 목적으로 합니다.

단순 참고용입니다.

메인 이미지: Unitree G1 휴머노이드 로봇, 공식 제품 사진, Unitree Robotics (unitree.com).