물리 기반 AI, 모델에서 데이터 팩토리로 진화하다

물리적 AI 분야의 주요 제약 요인은 알고리즘 설계에서 신뢰할 수 있는 실제 상호작용 데이터의 수집 및 검증으로 전환되고 있다. 최근 심도 감지, 뇌-로봇 인터페이스, 엣지 추론, 시뮬레이션 분야에서 발표된 성과들은 업계가 유능한 체화형 시스템에 필요한 데이터 인프라를 구축하고 있음을 보여준다. 가장 지속 가능한 기술적 우위는 물리적 경험을 대규모로 포착, 라벨링, 시뮬레이션, 검증 및 재사용할 수 있는 능력에서 비롯될 것이다.

A
4분 소요Posted: 2026년 7월 19일
물리 기반 AI, 모델에서 데이터 팩토리로 진화하다

물리적 AI는 모델 발표의 가치가 그 배후에 있는 데이터와 검증 시스템에 달려 있는, 더욱 까다로운 단계로 접어들고 있습니다. 시장의 현실은 훈련 데이터에 깊이, 의도, 맥락 또는 복구 사례가 부족할 경우 로봇이 여전히 일상적인 작업에서 실패한다는 점입니다. 이러한 구조적 변화의 핵심은 인간의 시연을 포착하여 재사용 가능한 훈련 자료로 전환하는 전용 데이터 팩토리를 구축하는 것입니다. 이는 단순히 가장 큰 모델을 보유한다고 주장하는 기업이 아니라, 물리적 경험을 신뢰할 수 있고 확장 가능한 파이프라인으로 체계화하는 기업이 기술 분야의 선두주자가 될 것임을 시사합니다.

로봇 공학 및 산업용 AI에 깊이 카메라를 공급하는 중국 선전(Shenzhen) 소재 3D 비전 기업 ‘Orbbec’과, 신경 의도 해독 및 체화된 AI 데이터 캡처를 연구하는 매사추세츠주 소재 뇌-컴퓨터 인터페이스 개발사 ‘BrainCo’는 서로 다른 방향에서 이 새로운 파이프라인을 보여주고 있다. Orbbec은 공간적 상호작용을 기록하는 하드웨어를 개발하고 있다. BrainCo는 행동과 함께 인간의 운동 의도를 기록하기 위한 인터페이스를 개발하고 있다. 두 기업 모두 동일한 병목 현상을 해결하고 있다. 물리적 AI 시스템에는 단순히 작업 영상만으로는 부족하다. 환경, 행동, 맥락, 결과에 대한 구조화된 기록이 필요하다.

고정밀 데이터가 희소 자원이 되다

로봇 공학 분야에서는 종종 눈에 보이는 기계에 초점을 맞춥니다. 카메라는 창고를 걷는 휴머노이드, 천을 접는 로봇 팔, 복도를 이동하는 이동식 베이스 등을 포착합니다. 이러한 이미지는 기술적 가능성을 가시화한다는 점에서 유용합니다. 하지만 이러한 이미지는 해당 동작을 신뢰할 수 있게 만드는 데 필요한 구조화된 정보의 양을 보여주지는 않습니다.

로봇은 다음을 이해해야 합니다

물체가 어디에 있는지, 무엇으로 만들어졌는지, 만졌을 때 어떻게 움직이는지, 특정 작업을 수행하는 데 얼마나 많은 힘이 필요한지, 다음으로 어떤 행동을 취해야 하는지, 그리고 첫 번째 계획이 실패했을 때 어떻게 해야 하는지 등입니다. 하나의 동영상만으로는 그 결과를 기록할 수는 있어도, 그 결과를 만들어낸 물리적 관계는 기록하지 못할 수 있습니다. 평면 시각 데이터로 훈련된 모델은 광범위한 패턴을 학습할 수는 있지만, 투명한 컵, 반사되는 부품, 또는 부분적으로 가려진 도구를 처리하는 데 필요한 정확한 기하학적 구조는 파악하지 못할 수 있습니다.

이것이 바로 현재의 기술 경쟁이 데이터 인프라 경쟁으로 변모하고 있는 이유입니다. 업계는 원시 깊이 정보를 제공하는 센서, 사람의 시점을 포착하는 웨어러블 기기, 손 움직임을 기록하는 장갑, 의도를 감지하는 인터페이스, 그리고 드문 실제 관찰 사례를 증폭시키는 시뮬레이션 시스템에 투자하고 있습니다. 목표는 복잡한 물리적 세계를 다양한 작업과 로봇 형태에 걸쳐 재사용할 수 있는 훈련 자료로 전환하는 것입니다.

가치 있는 데이터셋은 단순히 규모가 큰 것만은 아닙니다. 대표성이 뛰어나고, 동기화되어 있으며, 결과와 연결되어 있어야 합니다. 여기에는 일반적인 사례, 극한 사례, 복구 상황, 그리고 정책이 의도된 환경에서 제대로 작동했다는 증거가 포함됩니다. 이러한 유형의 데이터셋을 구축할 수 있는 기업들은 단순히 새로운 아키텍처를 출시하는 것만으로는 따라잡을 수 없는 우위를 점하게 될 것입니다.

심도 감지 기술, 시연을 훈련 자료로 전환

Orbbec의 EGO RGB D 시리즈는 새로운 데이터 캡처 계층의 명확한 사례를 보여줍니다. 이 헤드 마운트 시스템은 물리적 AI 및 세계 모델 훈련을 위해 1인칭 시점에서 RGB, 깊이, 관성 측정 데이터를 수집하도록 설계되었습니다. 그 목적은 실용적입니다. 즉, 로봇이 궁극적으로 사용해야 할 공간 측정값을 유지하면서 인간 조작자의 시점을 포착하는 것입니다.

이 시스템은 해당 회사의 Gemini 330 카메라 시리즈와 온보드 깊이 계산 기능을 결합한 것으로, 수집 작업에 최적화된 LingBot Depth 2.0 버전과 연동됩니다. 하드웨어는 원시 깊이 데이터를 기록하고, 모델은 누락된 영역을 채우고, 물체 경계를 정교화하며, 인식이 어려운 표면 주변의 공간 정보를 개선하는 데 도움을 줍니다. Orbbec은 자사의 보정 기능이 16개 테스트 구성 중 12개에서 가장 낮은 제곱평균제곱근 오차(RMSE)를 달성했다고 보고했습니다. 또한 이 회사는 약 1억 5천만 개의 샘플로 구성된 훈련 데이터셋에 대해서도 설명했습니다.

이러한 벤치마크 결과는 회사가 보고한 성능으로 간주되어야 하지만, 그 기반이 되는 공학적 문제는 명백합니다. 투명하거나 반사되거나 가려진 물체는 시각적 외관만으로는 안정적인 공간 모델을 제공하지 못하기 때문에 로봇에게 어려운 과제입니다. 사람은 반사광이 물체의 가장자리를 가려도 유리 물체에 깊이가 있다는 것을 추론할 수 있습니다. 반면 로봇은 변화하는 조명, 카메라 각도, 배경 조건에서도 동일한 추론을 신뢰할 수 있게 해주는 데이터가 필요합니다.

EGO 시스템은 또한 로봇 훈련 데이터를 수집하는 주체의 변화를 반영합니다. 데이터 수집 팀은 모든 상황에서 완성된 로봇을 조작할 필요가 없습니다. 장치를 착용하고 자연스럽게 작업을 수행하며, 작업에 대한 공간적으로 정교한 기록을 생성할 수 있습니다. 이를 통해 조작 작업에 필요한 예제 수집 비용을 절감하는 동시에, 모델이 인간 행동의 풍부한 다양성을 접할 수 있게 됩니다.

이러한 잠재적 가치는 단일 로봇을 넘어섭니다. 헤드 마운트 기록은 손목 수준의 관측 데이터, 손과 물체의 상호작용, 로봇 실행 로그와 결합될 수 있습니다. 이는 이동형 조작기, 고정형 암, 또는 반휴머노이드 플랫폼에 모두 활용될 수 있습니다. 데이터 레이어는 다음과 같은 경우에도 공통 자산이 됩니다.

최종 기계가 변경됩니다.
의도는 데이터 채널이 될 수 있다

BrainCo의 플랫폼은 데이터의 범위를 단순한 움직임을 넘어 확장합니다. 이 회사는 뇌파(EEG) 헤드셋이 신경 신호를 포착하고, AI가 의도된 운동 또는 제어 동작을 해독하며, 명령이 200밀리초 이내에 로봇에 전달되는 시스템을 시연했습니다. WAIC 시연에서는 로봇 팔이 컵을 잡거나 사과를 집는 등 정밀한 동작을 수행하는 모습이 보여졌습니다.

뇌-컴퓨터 인터페이스(BCI)만으로는 로봇 공학의 모든 문제를 해결할 수는 없습니다. 인간의 신경 신호에는 잡음이 많고, 개인별 차이가 크며, 의미 있는 제어를 위해서는 세심한 보정이 필요합니다. 더 중요한 기여는 데이터 수집에서 이 플랫폼이 수행하는 역할일 수 있습니다. BrainCo는 이중 팔이 달린 바퀴 달린 데이터 수집 플랫폼, 고정밀 장갑, 로봇 실행 데이터, 인간 시연, 가상 시뮬레이션, 그리고 뇌파(EEG) 데이터를 결합한 시스템을 설명했습니다.

이러한 조합은 단순한 모션 캡처 기록보다 더 풍부한 관찰 자료를 생성할 수 있습니다. 장갑은 손가락과 손의 움직임을 기록할 수 있습니다. 카메라는 물체와 장면을 기록할 수 있습니다. 로봇은 동작 경로를 기록할 수 있습니다. 뇌파(EEG) 채널은 조작자의 의도된 행동에 대한 신호를 추가할 수 있습니다. 가상 시뮬레이션은 물리적으로 수집하기 어려운 다양한 변형 사례까지 데이터를 확장할 수 있습니다. 이러한 여러 계층이 결합되면 모델이 실제로 발생한 움직임과 그 움직임을 유발한 목표 사이를 구별하는 데 도움이 될 수 있습니다.

의도 데이터의 가치는 특히 복잡한 작업에서 뚜렷하게 드러납니다. 사람은 여러 가지 이유로 물체를 향해 손을 뻗을 수 있습니다. 최종적인 잡는 방식, 경로, 힘은 물체를 이동시키는지, 검사하는지, 분류하는지, 여는 것인지, 아니면 다른 사람에게 건네주는지에 따라 달라집니다. 손만 인식하는 모델은

경로는 목표를 간접적으로 추론해야 합니다. 의도의 신호를 더 강력하게 포착하는 시스템은 상황과 행동 간의 더 유용한 매핑을 학습할 수 있습니다.

당면한 상업적 과제는 이러한 추가적인 포착 복잡성이 비용을 감수할 만한 가치가 있는 영역을 파악하는 것이다. 이는 변동성이 크거나 정교한 조작이 필요하거나, 오류에 대한 대가가 큰 작업에서 가장 유용할 수 있다. 이 기술이 의미를 가지기 위해 일반적인 로봇 프로그래밍을 대체할 필요는 없다. 기계에게 가치 있는 새로운 기술을 가르치는 데 필요한 시간을 단축하기만 하면 된다.

시뮬레이션은 현장에서 포착된 정보를 증폭시킨다

물리적 데이터는 비용이 많이 듭니다. 시연은 시간이 걸립니다. 로봇 시험 운용은 안전 위험을 초래할 수 있습니다. 드문 오류는 수천 시간에 한 번만 발생할 수도 있습니다. 시뮬레이션은 부족한 실제 경험을 더 광범위한 훈련 및 검증 자원으로 전환하는 필수적인 증폭기입니다.

NVIDIA는 비전 추론 및 로봇 정책 생성을 Jetson 시스템으로 가져오기 위해 설계된 40억 개의 매개변수를 가진 모델인 ‘Cosmos 3 Edge’를 선보였습니다. 로봇이 움직이는 물체, 변화하는 작업 공간 또는 안전 사고에 대응해야 할 때 항상 멀리 떨어진 클라우드 처리를 기다릴 수는 없기 때문에, 온디바이스 추론으로의 전환은 중요합니다. 로컬 추론은 지연 시간을 줄이고, 운영자가 민감한 작업 데이터를 현장 근처에 보관할 수 있게 해줍니다.

이번 출시를 둘러싼 더 넓은 생태계 역시 마찬가지로 중요합니다. NVIDIA는 AIRoA, FANUC, 후지쯔, 히타치, 가와사키 중공업, 쿠보타, NEC, 소프트뱅크, 소니, 야스카와가 자사의 ‘코스모스 연합(Cosmos Coalition)’에 합류할 예정이라고 밝혔습니다. 후지쯔는 FANUC, 야스카와, 가와사키와 함께 모델, 시뮬레이션, 디지털 트윈, 로봇 학습을 결합한 협업 제어 플랫폼을 모색하고 있으며,

시뮬레이션에서 실제 워크플로우로의 적용 및 검증.

이는 단순한 파트너십 발표가 아닙니다. 이는 물리적 AI를 유용하게 만들기 위해 필요한 기술적 연계 사항을 명확히 제시합니다. 모델을 테스트할 수 있는 디지털 트윈이 필요합니다. 이 트윈에는 정확한 플랜트 데이터가 필요합니다. 시뮬레이션 환경에서 실제 장비로 정책을 이전해야 합니다. 실제 장비에는 고장 모드를 파악할 수 있는 원격 측정 데이터가 필요합니다. 그 결과로 생성된 데이터는 다시 훈련 루프로 유입되어야 합니다. 각 단계가 다음 단계를 위해 충분한 정확도를 유지할 때만 시스템이 제대로 작동합니다.

공장 현장이야말로 최종 데이터셋이다

물리적 AI 시스템의 최종 테스트는 벤치마크도, 학회 시연도 아닙니다. 그것은 기계가 반복적이고 안전하게, 그리고 이해 가능한 복구 경로를 따라 작동해야 하는 실제 운영 환경입니다. 이러한 테스트를 통해 공장 현장은 최종 데이터셋으로 변모합니다.

모든 배포는 귀중한 정보를 생성할 수 있습니다. 작업에 걸리는 시간, 물체를 놓치는 시점, 인식 정확도를 저하시키는 조명 조건, 작업자의 적응 방식, 그리고 어떤 복구 조치가 성공적인지 등이 포함됩니다. 이 정보는 광범위한 모델 성능 주장보다 상업적으로 더 중요합니다. 로봇 제조사에게 다음 설치 전에 무엇을 변경해야 하는지 알려주기 때문입니다.

이 업계는 머지않아 두 그룹으로 나뉠 것입니다. 한 그룹은 인상적인 시연 영상을 수집하고 일반화된 능력을 홍보할 것입니다. 다른 그룹은 각 상호작용을 포착하고, 관련 변수를 시뮬레이션하며, 정책을 검증하고, 학습 결과를 다음 고객 환경으로 이식하는 체계적인 프로세스를 구축할 것입니다. 두 번째 그룹은 누적되는 경쟁 우위를 창출할 것입니다.

현장 엔지니어는 헤드 마운트형 깊이 센서를 조정하고, 익숙하지 않은 조립 작업을 수행하도록 로봇을 안내하며, 부품이 잘못 배치된 상황에서 기계가 정상 상태로 복구되는 과정을 지켜본 뒤, 훈련 파이프라인에 또 하나의 고부가가치 시퀀스를 추가합니다.

이 분석은 기업의 발표 내용과 공개 시장 동향을 종합한 것입니다.

최신 아티클

Avride는 배송 건수가 100만 건을 돌파했다고 밝혔지만, 어디에서 그런 내용을 언급했는지 아무도 지적할 수 없다.

Avride는 배송 건수가 100만 건을 돌파했다고 밝혔지만, 어디에서 그런 내용을 언급했는지 아무도 지적할 수 없다.

martti
martti
2026년 11월 16일
지플라인의 215억 달러 기업 가치는 이 회사가 구하는 생명과는 별개의 문제다

지플라인의 215억 달러 기업 가치는 이 회사가 구하는 생명과는 별개의 문제다

martti
martti
2026년 11월 15일
Figure, NVIDIA, and a Beijing Arm Maker Just Built the Same Robot Brain

Figure, NVIDIA, and a Beijing Arm Maker Just Built the Same Robot Brain

martti
martti
2026년 11월 15일
Komatsu Already Has 1,000 Autonomous Trucks. GXO's 1,000 Robots Are Still a Promise.

Komatsu Already Has 1,000 Autonomous Trucks. GXO's 1,000 Robots Are Still a Promise.

martti
martti
2026년 11월 15일
영국, 아직 존재하지도 않는 로봇 집단에 보험을 들게 했다

영국, 아직 존재하지도 않는 로봇 집단에 보험을 들게 했다

martti
martti
2026년 11월 7일
UBTECH의 휴머노이드 로봇 매출이 1,445% 증가했다. 이 회사의 기어박스 공급업체가 이익을 냈다.

UBTECH의 휴머노이드 로봇 매출이 1,445% 증가했다. 이 회사의 기어박스 공급업체가 이익을 냈다.

martti
martti
2026년 11월 6일
네 번째 로봇 표준이 벤더 종속을 끝내지는 못할 것이다. 그저 그 종속을 다른 곳으로 옮길 뿐이다.

네 번째 로봇 표준이 벤더 종속을 끝내지는 못할 것이다. 그저 그 종속을 다른 곳으로 옮길 뿐이다.

martti
martti
2026년 11월 4일
중국의 ‘딥블루’는 10개의 로봇 생산 라인으로 확장되었지만, 그중 어느 것도 인건비를 충당하지 못했다.

중국의 ‘딥블루’는 10개의 로봇 생산 라인으로 확장되었지만, 그중 어느 것도 인건비를 충당하지 못했다.

martti
martti
2026년 11월 2일
애질리티는 로봇을 판매하며 상장하고 있다. 반면 다른 기업들은 공장을 인수하고 있다.

애질리티는 로봇을 판매하며 상장하고 있다. 반면 다른 기업들은 공장을 인수하고 있다.

martti
martti
2026년 11월 1일
‘피지컬 인텔리전스’의 200억 달러 매각 가격에 외부 입찰자 없어

‘피지컬 인텔리전스’의 200억 달러 매각 가격에 외부 입찰자 없어

martti
martti
2026년 10월 29일
마첸타, ‘로봇은 사용자의 데이터가 필요 없다’는 가설에 베팅하며 4,000만 달러 투자 유치

마첸타, ‘로봇은 사용자의 데이터가 필요 없다’는 가설에 베팅하며 4,000만 달러 투자 유치

martti
martti
2026년 10월 29일
AGIBOT의 로봇들이 기네스 기록을 세웠습니다. 실제 기록은 여전히 1,372입니다.

AGIBOT의 로봇들이 기네스 기록을 세웠습니다. 실제 기록은 여전히 1,372입니다.

martti
martti
2026년 10월 29일