노이톰 로보틱스, HiPHI 모션 데이터셋 공개 이틀 만에 휴머노이드에 프로 테니스 스타일을 가르쳐

모션 데이터셋 공개 이틀 만에, 노이톰이 휴머노이드 로봇을 테니스 코트에 세웠다

8월 21일 금요일, 노이톰 로보틱스(Noitom Robotics)와 연구 협력팀은 휴머노이드 로봇이 프로 테니스 선수의 스타일대로 랠리와 서브를 배우고 실제 하드웨어에서 해당 스트로크를 구사할 수 있게 해주는 시스템인 ‘AdaPT’를 공개했다. 이번 발표는 베이징에 본사를 둔 이 회사가 세계 로봇 컨퍼런스(World Robot Conference)에서 역대 최대 규모의 고정밀 인간 동작 데이터셋 중 하나인 ‘HiPHI’를 공개한 지 이틀 뒤, 그리고 이 연구가 발표될 예정인 일본 후쿠오카에서 열리는 인간-로봇 상호작용 컨퍼런스 ‘RO-MAN 2026’이 개막하기 일주일 전에 이루어졌다.

핵심은 바로 이 과정에 있다. 노이톰(Noitom)의 주력 사업은 동작 데이터이며, ‘아다PT(AdaPT)’는 이 데이터를 몇 달이 아닌 며칠 만에 실질적인 신체 기술로 전환할 수 있음을 보여주는 사례입니다. 테니스는 휴머노이드 로봇이 취약한 모든 요소—빠른 전신 협응력, 기계가 던지지 않은 물체에 대한 타이밍 조절, 스윙 후 균형 회복—를 가차 없이 드러내기 때문에 유용한 테스트 대상입니다.

AdaPT의 작동 원리

‘적응형 동작 계획 및 추적(Adaptive Motion Planning and Tracking)’의 약자인 AdaPT는 프로 선수들의 경기 영상을 통해 랠리와 서브 동작을 학습하고, 이를 휴머노이드 로봇이 실제로 재현합니다. 이 시스템은 Noitom Robotics가 상하이 AI 연구소, Dobot Robotics, 상하이 교통대학교와 공동으로 개발했으며, 연구진은 논문, 소스 코드, 영상이 프로젝트 페이지에서 확인할 수 있다고 밝혔습니다.

이 시스템이 재현하는 플레이 스타일은 구체적이다. 연구팀은 이 시스템이 공개된 중계 영상을 통해 라파엘 나달, 로저 페더러, 노박 조코비치 등 세 명의 프로 선수의 독특한 스트로크를 학습했으며, 모션 캡처 장비로 캡처한 네 번째 프로 선수의 스타일도 학습했다고 밝혔다. 이 방법은 두 대의 로봇을 통해 검증되었다. 하나는 중국에서 표준 연구 플랫폼으로 자리 잡은 소형 휴머노이드인 ‘유니트리 G1(Unitree G1)’이고, 다른 하나는 이 연구의 공동 저자인 선전(Shenzhen)의 협업 로봇 제조사가 개발한 풀사이즈 휴머노이드 ‘도봇 아톰(Dobot Atom)’이다.

실제 도입에 있어 가장 중요한 세부 사항은 서브 시연입니다. 연구팀은 모션 캡처 스튜디오 없이 카메라와 일반 소비자용 트래커만 사용하여 실제 환경에서 서브를 시연했다고 보고했습니다. 테니스에는 관심이 없더라도, 상용 센서만을 이용해 실험실 밖에서 학습한 전신 기술을 수행할 수 있는 휴머노이드야말로 모든 공장 및 물류 구매 담당자가 실제로 기다리고 있는 바로 그 것입니다.

동영상 기반 스타일 전이가 작동하는 방식

연구팀이 설명하는 파이프라인은 휴머노이드 동작 학습 분야에서 표준이 된 패턴을 따르지만, 한 가지 특이한 입력 요소가 있습니다. 먼저 선수의 중계 영상을 시간에 따른 선수의 신체 동작 추정값으로 변환하는데, 이 단계에서는 카메라 컷, 변화하는 촬영 각도, 네트나 다른 선수에 의한 부분적인 가림 현상 등을 처리해야 합니다. 이렇게 재구성된 동작은 이후 로봇의 신체에 리타겟팅되는데, 로봇은 인간 운동선수와는 사지 길이, 관절 가동 범위, 질량 분포가 다릅니다. 마지막으로, 시뮬레이션 내 강화 학습을 통해 컨트롤러를 훈련시켜, 로봇의 균형을 유지하면서 리타겟팅된 동작을 추적하고, 랠리 상황에서는 날아오는 공에 반응하도록 합니다.

각 단계마다 정확도가 떨어지는데, 연구팀이 이 시스템에 붙인 이름인 ‘적응형 동작 계획 및 추적(Adaptive Motion Planning and Tracking)’은 고정된 궤적을 재현하는 대신, 로봇과 상황에 맞게 계획을 조정하는 데 진전을 이루었다고 주장하는 부분을 시사합니다. HiPHI 시리즈 데이터로 사전 훈련된 동작 기반은 제어기에 인체의 전신 움직임이 어떻게 보여야 하는지에 대한 선행 지식을 제공하므로, 텔레비전 영상에서 추출된 희소하고 노이즈가 많은 신호만으로는 모든 부담을 감당할 필요가 없습니다.

서로 매우 다른 두 로봇을 대상으로 검증한 점도 주목할 만한 선택이다. Unitree G1은 높이가 약 1.3미터이며, 무게가 가벼워 과격한 동작에도 오류가 적게 발생한다. 반면 Dobot Atom은 관리해야 할 질량이 더 크고 활용할 수 있는 도달 범위가 더 넓은 풀사이즈 휴머노이드 로봇이다. 이 두 로봇 간에 어느 정도 전이 가능한 기술은

재조정 과정은 이 접근법이 단순히 한 대의 로봇에 대한 것이 아니라 테니스 자체에 대해 무언가를 배우고 있다는 증거입니다.

배경 데이터

AdaPT의 동작 기반은 Noitom이 ‘HiPHI 시리즈’라고 부르는 데이터의 일부를 사용하여 사전 훈련되었습니다. 8월 19일에 발표된 공개 HiPHI 데이터셋에는 총 617.5시간 분량의 데이터가 포함되어 있으며, 이는 371.8시간의 전신 인간 동작 데이터와 245.7시간의 인간-사물 상호작용 데이터로 나뉘어 있습니다. 이 데이터는 132명의 참가자를 대상으로 90Hz의 주파수로 서브밀리미터 수준의 마커 추적 기술을 통해 기록되었습니다. 이 데이터셋은 오픈 연구 라이선스 하에 Hugging Face에 호스팅되어 있으며, 상업적 라이선스는 회사의 ModalityNet 플랫폼을 통해 제공됩니다. 훨씬 더 방대한 코퍼스인 HiPHI-MOV는 상업적 라이선스로만 이용 가능합니다.

노이톰(Noitom)의 창립자이자 최고경영자인 트리스탄 루올리 다이(Tristan Ruoli Dai)는 이번 데이터셋 공개를 회사의 핵심 주장으로 자리 잡은 다음과 같은 명제를 바탕으로 설명했습니다. 즉, 물리적 AI의 병목 현상은 데이터의 양이 아니라 기계가 실제로 그 데이터에서 얼마나 많은 것을 학습할 수 있는지에 달려 있다는 것입니다. 이 회사의 연구개발 총괄 책임자인 레이 한(Lei Han)은 커버리지, 프레임별 품질, 그리고 객체의 상태가 휴머노이드가 동작 데이터로부터 학습할 수 있는지 여부를 결정한다고 말했다. AdaPT는 이 회사가 같은 주 내에 하드웨어를 통해 공개적으로 이 주장을 입증하려는 시도이다.

데이터 경제학

노이톰(Noitom)의 공개 전략은 다른 데이터 집약적 분야에서 성공을 거둔 방식과 유사합니다. 즉, 연구를 촉진하고 표준을 정립하기 위해 방대하고 고품질의 공개 하위 집합을 공개하고, 대규모 데이터가 필요한 기업들에게는 훨씬 더 방대한 상용 코퍼스를 라이선스 형태로 제공하는 것입니다. HiPHI의 617.5시간 분량은 공개된 모션 데이터셋으로서는 상당한 규모이며, 특히 서브밀리미터 수준의 정밀도를 고려할 때 더욱 그렇습니다. 하지만 상업적 파트너를 위해 연간 10만 시간 이상을 생산한다는 회사의 발표는 이 사업의 핵심이 어디에 있는지 분명히 보여줍니다. 공개 데이터셋은 명성과 연구 인용 횟수를 쌓아주고, 상업용 데이터셋은 촬영 스튜디오 운영 비용을 충당합니다.

로봇 제조사들에게 이러한 구분은 익숙한 의문을 제기합니다. 독점 모션 코퍼스로 훈련된 파운데이션 모델은

이는 라이선스를 취득하는 측에게는 이점이며, 이를 기반으로 개발하는 측에게는 필수 요소입니다. 노이톰(Noitom)의 데이터를 자체 기술의 토대로 채택하는 기업들은 파생 모델에 대한 라이선스 조건을 파악하고자 할 것이나, 이번 발표에는 이에 대한 설명이 포함되어 있지 않습니다.

왜 테니스인가, 그리고 왜 지금인가

휴머노이드 테니스는 짧지만 활발한 연구 역사를 가지고 있다. 올해 초, 중국의 또 다른 학술 연구팀은 불완전한 인간의 동작을 학습한 후 인간과 랠리를 펼치는 Unitree G1을 선보였으며, 이 스포츠 기술 벤치마크는 동작 학습 연구 그룹들이 공장 데모로는 보여줄 수 없는 진전—즉, 단일 과제에서 속도, 타이밍, 전신 운동 능력을—입증하는 수단이 되었습니다.

AdaPT의 차별점은 방송 영상으로부터의 스타일 전이입니다. 스튜디오에서 착용하는 모션 캡처 슈트 대신 텔레비전 영상에서 특정 선수의 포핸드를 학습한다는 것은, 이 파이프라인이 거의 모든 인간 활동에 대해 존재하는 방대한 일반 영상 아카이브를 활용할 수 있음을 의미합니다. 이러한 전이가 견고하다면, 실험실이 아닌 스마트폰으로 촬영된 창고 근로자의 물건 들어 올리기 기술이나 기술자의 조립 동작에도 동일한 접근 방식을 적용할 수 있습니다. 이것이 바로 테니스 영상 뒤에 숨겨진 상업적 논리입니다.

시기도 신중하게 선택된 것이다. 로봇과 인간의 상호작용 커뮤니케이션을 다루는 IEEE 컨퍼런스인 ‘RO-MAN 2026’이 다음 주 후쿠오카에서 개막하는데, 그곳에서 작동하는 시스템을 발표하면 이를 평가할 학계에 결과를 직접 선보일 수 있다. 데이터셋을 먼저 공개하고, 그 다음 기술을 공개한 뒤, 마지막으로 논문을 발표하는 순서는 노이톰(Noitom)의 데이터가 핵심 기반이 된다는 점을 입증하기 위해 고안된 것입니다.

노이톰(Noitom) 소개

노이톰(Noitom)은 베이징에 본사를 둔 모션 캡처 기업으로, 자사의 관성 캡처 시스템은 10년 넘게 영화, 게임, 스포츠 분석 분야에서 사용되어 왔다. HiPHI와 AdaPT를 개발한 자회사인 노이톰 로보틱스(Noitom Robotics)는 이러한 캡처 기술을 ‘물리적 AI를 위한 옴니모달 데이터’ 공급자로 재포지셔닝했습니다. 이 회사는 상업적 용도로 연간 10만 시간 이상의 모션 데이터를 생산한다고 밝혔습니다.

이 회사는 파트너들과 협력하여 HiPHI-MOV, HiPHI-OM, 그리고 실제 환경 데이터 세트 등 세 가지 코퍼스를 관리하고 있습니다. AdaPT 프로젝트에 참여한 협력 기관들은 이 연구에 학문적 및 하드웨어적 신뢰성을 더해줍니다. 상하이 AI 연구소는 중국에서 가장 많은 자금을 지원받는 AI 연구 기관 중 하나이며, 상하이 교통대학교는 로봇공학 분야의 선도적인 대학이고, Dobot은 실물 크기의 휴머노이드 로봇을 공급하고 있습니다.

아직 알려지지 않은 점

이번 발표는 벤치마크보다는 기능과 시연에 초점을 맞추고 있다. 연구팀은 랠리 지속 시간, 성공률, 서브 속도, 또는 실제 환경에서 서브를 성공시키기 위해 몇 번의 시도가 필요했는지에 대한 정보를 공개하지 않았는데, 이러한 수치야말로 설득력 있는 영상과 재현 가능한 결과를 구분 짓는 핵심 요소다. 논문이 발표되면 이러한 정보가 제공될 것으로 보인다.

다른 두 가지 의문점도 남아 있다. 재훈련 없이 두 로봇 간에 얼마나 많은 기술이 이전되는지는, 동작 기반이 일반적인지 아니면 플랫폼별로 맞춤화된 것인지 판단하는 기준이 될 것이다. 또한 카메라 각도와 선수의 신원이 일관된 프로 테니스 경기보다 촬영 조건이 열악한 활동에서도 방송 영상 파이프라인이 제대로 작동하는지 여부는, 상업적 타당성이 스포츠 분야를 넘어 확장될 수 있을지 여부를 결정할 것이다.

산업적 맥락

올해 휴머노이드 산업의 중심은 하드웨어 발표에서 하드웨어를 유용하게 만드는 데이터와 모델로 이동했으며, 세계 로봇 컨퍼런스(World Robot Conference)에는 모든 로봇 제조업체에 필수적인 기반이 되기 위해 경쟁하는 데이터 공급업체, 시뮬레이션 플랫폼, 동작 라이브러리 업체들이 대거 참여했다. 노이톰(Noitom)의 전략은 지도 제작 회사가 도로를 소유하듯이 고품질 인간 동작 데이터를 소유하는 것이다. 즉, 대규모로 수집하고, 상업적으로 라이선스를 부여하며, 연구 커뮤니티에 씨앗을 뿌릴 만큼 충분히 공개하고, 대중 앞에서 그 효과가 입증되는 것을 보여주는 것이다.

AdaPT는 바로 그러한 실증 사례입니다. 이 접근 방식이 통할지는 다음 주 후쿠오카에서 결정될 것이며, 그 후에는 휴머노이드가 실전 현장에서 그 가치를 입증해야 하는, 사진 찍기에는 그다지 매력적이지 않은 환경에서도 검증될 것입니다.

이미지: AdaPT가 검증된 두 플랫폼 중 하나인 Dobot Atom 휴머노이드. 출처:

Dobot.

면책 조항: 본 기사는 일반적인 정보 제공을 목적으로 하며, 투자, 법률 또는 조달에 관한 조언을 구성하지 않습니다. 독자는 비즈니스 결정을 내리기 전에 원본 자료를 통해 세부 사항을 확인해야 합니다.