로봇도 볼 수 있다. 상하이의 한 연구소가 로봇에게 ‘느낌’을 가르치는 데 3만 시간을 투자한 연구 결과를 방금 발표했다.

로봇에게 셔츠를 접거나 커넥터를 소켓에 끼우라고 해보면, 지난 10년 동안 컴퓨터 비전 기술이 결코 해결하지 못한 문제가 무엇인지 알게 됩니다. 바로 중요한 순간이 카메라가 볼 수 없는 곳, 즉 손가락과 물체가 접촉하는 경계면에서 일어나며, 그곳에서 성공 여부는 힘, 미끄러짐, 질감에 달려 있다는 사실입니다. 7월 26일, 상하이의 한 스타트업과 중국 최고의 명문 대학 중 한 곳이 이 사각지대에 대한 해답을 발표했는데, 그 규모가 바로 이 이야기의 핵심이다.

영문명 NeoteAI로 활동하는 신지(Xinzhi) 체화 지능 기술(Xinzhi Embodied Intelligence Technology)은 푸단대학교(Fudan University)의 신뢰할 수 있는 체화 AI 연구소(Institute of Trustworthy Embodied AI)와 공동으로 세 건의 기술 보고서를 발표했는데, 이는 양측이 ‘NeoData’라고 명명한 코퍼스를 기반으로 합니다: 3만 시간 이상의 동기화된 시각-촉각 상호작용 영상과 약 140만 개의 조작 클립으로 구성된 이 코퍼스는, 빨래 개기부터 커넥터 꽂기 및 뽑기까지 450가지의 실제 장기적 과제들을 아우른다. 이번 발표를 다룬 보도에 따르면, 정렬된 RGB 및 촉각 프레임이 수십억 개에 달한다고 한다. 양측은 데이터와 이를 기반으로 훈련된 모델 모두를 오픈소스로 공개할 것이라고 밝혔습니다.

교정 과정에서, 생성형 AI 붐을 일으킨 비전-언어 데이터셋은 이미 존재하던 인터넷에서 수집되었습니다. 반면 촉각 데이터는 스크래핑할 인터넷이 없습니다. 매시간마다 센서가 장착된 로봇과 휴대용 수집 장비가 물체를 물리적으로 접촉하여 데이터를 생성해야 하기 때문에, 대부분의 학술용 촉각 데이터셋은 수십 시간에서 수백 시간에 그치는 것이 현실입니다. NeoData의 데이터 규모가 검증 과정을 견뎌낸다면, 이는 역대 최대 규모의 촉각 코퍼스 중 하나로 자리매김할 것이며, 이 데이터가 실리콘밸리 연구소가 아닌 설립된 지 1년 된 중국 스타트업에서 나왔다는 사실 자체가 체화형 AI 경쟁에서 중요한 지표가 될 것이다.

왜 촉각이 10년간의 로봇 학습을 이겼는가

잠시 다른 이야기를 통해 이 코퍼스가 왜 논의할 가치가 있는지 설명해 보겠습니다. 현대의 로봇 정책은 주로 카메라를 통해 학습됩니다

시야와 관절 위치만으로도 물체 잡기와 대략적인 픽 앤 플레이스 작업은 충분히 수행할 수 있습니다. 그러나 접촉이 빈번한 작업의 경우, 세 가지 복합적인 이유로 인해 이러한 방식이 통하지 않습니다. 첫째, 가림 현상: 접촉이 일어나는 순간, 로봇의 손가락 자체가 모든 카메라 각도에서 상호작용을 가려버립니다. 둘째, 역학: 힘은 밀리초 단위로 변하는데, 이는 비전 파이프라인이 프레임을 처리하는 속도보다 빠릅니다. 따라서 카메라가 물체가 미끄러지는 것을 감지할 때쯤이면, 접촉 시간상 실패는 이미 수 초 전에 발생한 상태입니다. 셋째, 보이지 않음: 성공 여부를 결정하는 특성인 마찰, 순응도, 케이블의 장력은 어떤 이미지에서도 전혀 나타나지 않습니다. 인간의 손은 약 17,000개의 기계수용체와 뇌가 개입하기도 전에 그립 힘을 교정하는 척추 반사 루프를 통해 이 세 가지 문제를 모두 해결합니다. 로봇에는 이에 필적할 만한 것이 없으며, 이를 학습할 수 있는 대규모 데이터셋은 지금까지 존재한 적이 없습니다. 바로 이 공백을 NeoData가 메우겠다고 주장합니다.

세 가지 모델과 하나의 주장

이번 발표에는 세 가지 기술적 접근 방식이 포함되어 있으며, 이 세 가지는 함께 하나의 주장을 형성합니다. 즉, 촉각은 시각의 부수적인 요소가 아니라, 고유한 확장 법칙을 지닌 일류 감각 모달리티로 취급되어야 한다는 것입니다.

첫 번째 보고서인 ‘NeoForce’는 수년 동안 촉각 연구를 분열시켜 온 문제, 즉 “각 센서가 서로 다른 언어를 사용한다”는 점을 다룹니다. 서로 다른 촉각 하드웨어에서 얻은 측정값은 호환되지 않기 때문에 데이터셋을 통합할 수 없습니다. NeoForce는 시간적 구조와 기기 간 호환성을 갖춘 통합된 촉각 표현 방식을 제안합니다. 이는 사실상 서로 다른 센서의 신호를 투영할 수 있는 공통 임베딩입니다. 설명된 대로 작동한다면, 이는 공유 토큰화기가 통합 텍스트 코퍼스를 가능하게 했던 방식과 마찬가지로, 해당 분야의 데이터 융합 병목 현상을 해결할 것입니다.

두 번째 보고서인 VTLA는 예측 기능을 추가합니다. 기존 접근 방식은 물리 현상에 비해 지연되는 현재의 촉각 측정값을 사용하는데, 즉 미끄러짐이 감지될 때쯤이면 물체는 이미 움직이고 있는 상태입니다. VTLA 모델은

터치 기능이 향후 최대 50단계까지 어떻게 진화할지 예측하고, 그 예측에 따라 동작을 결정합니다. 접촉이 빈번한 두 가지 벤치마크에서 보고된 결과, 즉 플러그 삽입 성공률 85%와 키 추출 성공률 99%는, 시각 정보만 사용하는 방식으로는 일상적으로 실패하는, 화려하지는 않지만 고정밀도가 요구되는 작업의 유형이며, 경쟁 연구실들이 가장 먼저 재현을 시도할 수치들이다.

세 번째 보고서인 TWAM은 촉각 세계 모델로, 로봇이 실제 동작을 수행하기 전에 시각적 및 촉각적 결과를 모두 시뮬레이션하여 작업을 상상 속에서 미리 연습하는 시스템이며, 평균 시뮬레이션 성공률은 84.5%로 보고되었다. 월드 모델은 엔비디아(Nvidia)의 ‘코스모스(Cosmos)’부터 구글 딥마인드(Google DeepMind)의 ‘지니(Genie)’ 라인에 이르기까지, 현재 신체 기반 AI 분야의 최전선이지만, 거의 모든 모델이 픽셀만을 예측한다. 촉각까지 예측하는 월드 모델은 정말 드문 사례이며, 만약 시뮬레이션된 연습 결과가 보고된 성공률에 근접한 수준으로 실제 하드웨어에 적용된다면, 로봇 훈련에서 가장 비용이 많이 드는 부분, 즉 실제 물체에서 실시간으로 발생하는 파손을 동반한 실패를 줄여줄 수 있을 것이다.

코퍼스를 개발한 기업

NeoteAI는 신생 기업으로 규모가 작으며, 의도적으로 풀스택(full-stack) 방식을 채택하고 있다. 푸단대학교(Fudan)의 신뢰할 수 있는 체화형 AI 연구소(Institute of Trustworthy Embodied AI)에서 인큐베이션을 거친 이 이 상하이 기업은 5월 말 약 1억 위안(약 1,400만 달러)에 달하는 엔젤 투자 라운드를 발표했으며, 푸단대 연구원 천원밍(Chen Wenming) 팀의 연구를 바탕으로 개발된 자체 시각-촉각 센서부터 데이터 수집, 촉각 파운데이션 모델에 이르기까지 포괄적인 전략을 펼치고 있습니다. 이 회사의 데이터 수집 파이프라인은 실제 로봇과 사람이 조작하는 휴대용 범용 조작 인터페이스 장치라는 두 가지 경로로 운영되며, 이를 통해 이 스타트업은 로봇 팔을 대량으로 보유하지 않고도 3만 시간 분량의 데이터를 축적할 수 있었다.

이러한 풀스택 접근 방식은 전략적으로 중요합니다. 미국 생태계에서는 촉각 감지가 여전히 대체로

센서를 타사의 로봇에 공급하는 기업들로 구성된 부품 사업 분야입니다. NeoteAI는 센서와 데이터 형식, 모델을 모두 보유한 주체가 기계의 ‘감각’에 대한 표준을 정하게 될 것이며, 이는 엔비디아가 시뮬레이션 분야에서 차지하고 있는 위치와 같을 것이라고 내다보고 있습니다. 오픈소스 약속은 이러한 관점에서 해석되어야 한다. 데이터와 모델을 공개함으로써 자사의 형식과 벤치마크를 생태계에 심어, 해당 분야의 툴링이 자사의 하드웨어를 중심으로 발전하도록 유도하는 것이다. 이는 유니트리(Unitree)가 저가형 하드웨어 분야에서 펼쳤던 전략과 동일하며, 에코백스(Ecovacs)도 이번 주말에 오픈소스화된 가정용 로봇 플랫폼을 통해 동일한 전략을 펼치고 있는데, 이에 대해서는 오늘 별도로 다룰 예정이다.

푸단(Fudan) 대학과의 연계는 또한 중국의 체화형 AI 연구 기반이 어떻게 심화되고 있는지에 대한 신호를 담고 있습니다. ‘신뢰할 수 있는 체화형 AI 연구소(Institute of Trustworthy Embodied AI)’는 상하이가 학술적 로봇 공학을 기업으로 전환하기 위해 설립한 일련의 대학 부설 연구소 중 하나이며, NeoteAI가 실험실 센서 개발에서 엔젤 투자 유치, 그리고 14개월 만에 헤드라인을 장식할 데이터셋 공개에 이르기까지 보여준 궤적은 계획대로 작동하는 성공 사례입니다. 같은 주말, 생태계 전반에서 이와 유사한 증거들이 동시에 나타났습니다. 에코백스(Ecovacs)가 쑤저우에서 가정용 로봇 플랫폼을 오픈소스로 공개한 것과 유명 인사들의 자금이 체화형 AI 벤처 기업으로 유입된 사례가 바로 그것이며, 이 두 가지 소식도 오늘 별도로 다뤘습니다. 단 한 주말 동안 신뢰할 만한 행보를 보인 독립 주체들의 밀집도는 그 자체로 중국 체화형 AI 생태계가 얼마나 성장했는지를 가늠하는 척도입니다.

회의적인 시각에서 살펴볼 체크리스트는 간단합니다. 보고서는 자체 발표된 것이며 아직 동료 심사를 거치지 않았고, 주목할 만한 성공률은 저자들이 직접 선정한 과제에서 나온 것이며, 세계 모델 내에서의 시뮬레이션 성공은 생산 라인에서의 실제 배포 성공을 의미하지 않습니다. 3만 시간의 정확한 구성, 즉 인간이 직접 수집한 데이터와 로봇이 경험한 데이터의 비율, 그리고 엄격한 정합성 품질 검사를 통과한 데이터의 양에 따라 이 데이터 코퍼스가 유망한 유전이 될지, 아니면 쓰레기 매립지가 될지가 결정될 것이다. 또한 스타트업들의 오픈소스 약속은 그들의 일정에 따라 이루어질 뿐,

커뮤니티의 몫입니다. 다운로드 링크가 활성화되기 전까지는 서약은 마케팅에 불과합니다. 기억해 둘 만한 선례는 바로 ‘비전-언어 로봇공학’ 분야인데, 이 분야에서는 데이터셋 발표가 실제 사용 가능한 버전의 출시보다 분기 단위로 앞서 나가는 경우가 종종 있었습니다.

왜 터치 기술이 차세대 데이터 경쟁의 중심이 되고 있는가

이 문제를 단순한 한 스타트업의 기술 보고서를 넘어서는 차원으로 끌어올리는 배경은, 본 매체가 한 달 내내 추적해 온 패턴입니다. 체화형 AI에서 희소 자원은 컴퓨팅 능력과 자본에서 체화형 데이터로 이동하고 있으며, 이는 물리적으로 생성되어야 하므로 스크래핑할 수 없는 유형의 데이터다. KAIST와 엔비디아는 7월 26일, 임상 등급의 인간 동작 데이터를 기반으로 파운데이션 모델을 구축하기 위한 센터 설립을 발표했으며, 이에 대해서는 오늘 별도로 보도되었다. 중국 국가통계국은 체화형 데이터 인프라를 구축해 왔으며, 베이징에서 선전까지 각 도시의 훈련 시설은 바로 로봇 경험을 대규모로 생성하기 위해 존재한다. 촉각은 논리적으로 다음 전선이 될 것이다. 이는 인간의 손재주가 로봇의 능력을 가장 크게 앞지르는 감각 모드이자, 전 세계 어디에서도 기존 데이터가 가장 부족한 분야이기 때문이다.

하드웨어 구매자들에게 주목할 만한 공급망적 함의도 있다. 만약 촉각 모델이 중국산 센서와 중국 데이터 형식을 기반으로 성숙해 간다면, 촉각 감지 기술은 로봇 관절의 궤적을 따를 수 있다. 로봇 관절 분야에서는 중국의 ‘4-in-1’ 액추에이터 모듈이 사실상 전 세계적인 표준이 된 바 있다. 서구와 일본의 센서 공급업체 및 정교한 손 제조사들(여기에는 힘-토크 감지 분야의 강력한 기존 기업들도 포함된다)은 NeoForce와 같은 통합 표현 방식을 단순한 논문으로만 치부하지 말고 표준화 전략의 일환으로 다뤄야 한다.

참여 여부를 검토 중인 로봇 공학 팀들에게 실질적인 절차는 명확합니다. 일반적인 호스팅 사이트에 약속된 저장소가 공개되는지 주시하고, 공개되면 먼저 NeoForce의 상호운용성 주장을 테스트해 보십시오. 왜냐하면 센서 간 진정한 가교 역할을 하는 표현 방식은

이러한 유형의 데이터는 자체적으로 소규모 촉각 데이터셋을 보유한 모든 연구실에 즉각적인 도움이 될 것입니다. VTLA의 플러그 삽입 및 키 추출 수치를 인용하기 전에, 독립적인 하드웨어에서 해당 수치를 직접 검증해 보시기 바랍니다. 또한 NeoData의 라이선스 조건을 전략적 정보로 간주하십시오. 상업적 사용이 허용되는지, 그리고 어떤 출처 표기 방식이 적용되는지에 따라 NeoteAI가 공유 자원을 구축하고 있는지, 아니면 자사 센서로 연결되는 통로를 만들고 있는지가 드러날 것입니다.

인용할 만한 요점은 다음과 같습니다. 로봇은 인터넷을 통해 보는 법을 배웠지만, ‘촉각의 인터넷’은 존재하지 않으므로 누군가는 한 시간 한 시간씩 이를 구축해야 하며, 푸단대학교에서 인큐베이팅된 한 스타트업이 지금까지 공개된 것 중 가장 큰 선두를 달리고 있다고 주장했습니다. NeoData가 신체화된 AI의 ‘ImageNet의 순간’이 될지, 아니면 과대평가된 데이터 세트에 그칠지는 언론 보도가 아닌 재현을 통해 결정될 것입니다. 어느 쪽이든, 기계에게 감각을 가르치기 위한 경쟁에는 이제 공식적인 벤치마크가 제시되었으며, 그 길이는 3만 시간에 달합니다.

면책 조항: 이 기사는 일반적인 정보 제공을 목적으로 하며, 투자, 법률 또는 조달에 대한 조언을 구성하지 않습니다. 독자는 비즈니스 결정을 내리기 전에 1차 출처를 통해 세부 사항을 확인해야 합니다.