KAIST와 엔비디아, 차세대 파운데이션 모델이 인터넷이 아닌 근육에서 학습할 것이라고 내다본다

로봇 공학 분야에서 가장 가치 있는 훈련 데이터는 인터넷상에 아예 존재하지 않을 수도 있습니다. 이 데이터는 보행 연구실, 재활 클리닉, 그리고 지난 10년 동안 실제 사람의 다리에 착용되어 온 웨어러블 로봇의 로그 파일에 담겨 있습니다. 이것이 바로 한국과학기술원(KAIST)이 7월 26일 발표한 엔비디아(Nvidia)와의 새로운 파트너십을 통해 제공한 자산이며, 샌프란시스코 AI 서밋이 끝난 지 며칠 만에 이 칩 제조사가 한국 내 입지를 지속적으로 확대하고 있는 이유를 설명해 줍니다.

‘인간 신체 지능 기술 센터(Human Physical Intelligence Technology Center)’로 명명된 이 새로운 조직은 KAIST 연구진과 엔비디아가 협력하여 신체 AI 연구를 공동으로 수행하게 됩니다. 이 센터의 주요 목표는 ‘인간 동작 파운데이션 모델(Human Motion Foundation Model)’을 개발하는 것으로, 이는 사람들이 걷는 방식, 관절이 움직이는 방식, 근육이 힘을 생성하는 방식, 신체가 균형을 유지하는 방식에 대한 대규모 측정 데이터를 바탕으로 훈련된 범용 AI로, 동작을 이해하고 예측하며 생성하도록 설계되었습니다. 목표 적용 분야는 휴머노이드와 재활 로봇부터 디지털 헬스케어에 이르기까지 다양하며, 이 연구소는 향후 제조, 조선, 철강, 물류 분야로 영역을 확대할 계획이다.

이번 발표는 또 다른 대학 간 양해각서로 오해하기 쉽다. 그러나 세부 내용을 살펴보면 사정이 다르다. 이 센터는 상업적 실적을 보유한 공동 소장들을 선임했으며, 엔비디아 소속의 전담 기술 책임자를 두고, 명확한 모델 아키텍처 목표를 설정하고, 6개월 주기의 검토 주기를 갖춘 거버넌스 체계를 마련했으며, 10년 이상에 걸쳐 축적되어 웹에서 무단으로 수집할 수 없는 데이터 자산을 보유하고 있다.

왜 동작 데이터가 경쟁 우위인가

대전에 위치한 한국 최고의 과학기술 대학인 KAIST는 수년 동안 보행 보조 및 재활용 외골격을 개발해 왔으며, 자사 팀이 우승한 국제 사이버슬론(Cybathlon) 대회를 포함해 실제 사용자를 대상으로 그 효능을 검증해 왔다. 이 새로운 센터는 인간 신체 지능 연구(Human Physical Intelligence Research)를 기반으로 설립되었다.

KAIST 기계공학과에 위치한 이 센터는, 스타트업 ‘엔젤로보틱스’를 통해 외골격 로봇을 상용화한 웨어러블 로봇 전문가 콩경철 교수와 생체 로봇 공학 전문가 김정 교수가 공동 소장을 맡고 있다. 2024년 한국 코스닥 시장에 상장된 서울 소재 기업인 엔젤로보틱스는 병원에 보행 재활 시스템을 공급하고 있으며, 이는 연구실의 데이터 파이프라인이 일회성 실험이 아닌 규제된 임상 적용 과정을 통해 구축된다는 것을 의미한다.

한국의 인구 통계학적 현실이 이 방정식의 수요 측면을 뒷받침하고 있다. 한국은 세계 최저의 출산율을 기록하고 있으며 노동 인구의 고령화 속도가 가장 빠른 국가 중 하나이기 때문에, 재활 로봇과 신체 보조 기기는 수출품이 되기 전에 이미 국내 시장으로 자리 잡고 있다. 80세 노인이 30대 공장 근로자와 어떻게 다르게 움직이는지를 예측할 수 있는 동작 모델은 한국에서 단순한 학술적 정교화가 아닙니다. 이는 병원에서 비용을 지급하는 웨어러블 로봇과 반품되는 로봇을 가르는 결정적인 차이입니다. 정부가 ‘물리 AI’를 국가 핵심 분야 중 하나로 지정하고, 지난 6월 시작된 메가 프로젝트를 통해 자금을 지원하기로 한 결정은 이 연구센터에 대부분의 대학 연구실에서는 누릴 수 없는 정책적 뒷바람을 불어넣어 주고 있다.

이러한 배경이 중요한 이유는, 생성형 AI 붐이 가려버린 물리적 AI의 구조적 사실 때문이다. 언어 모델은 수십 년간 축적된 인터넷 텍스트를 마음껏 활용할 수 있었다. 반면, 인간의 움직임을 모델링하는 데는 이에 상응하는 코퍼스가 존재하지 않는다. 데이터는 실제 환경에서 걷고, 물건을 들어 올리고, 비틀거리며, 다시 균형을 잡는 과정을 거치는 센서가 부착된 피험자들의 움직임(힘과 관절 측정값 포함)과, 실제 신체가 보조에 어떻게 반응하는지 기록하는 웨어러블 로봇을 통해 생성되어야 한다. 이러한 데이터의 방대하고 정제된 아카이브를 보유한 주체는 단순한 데이터셋이라기보다 석유 매장량에 더 가까운 자원을 소유한 셈이며, KAIST의 아카이브야말로 엔비디아가 협상에 참여한 명백한 이유다.

파트너들이 개발한 모델은

이 기술은 로봇이 현재 사람들과 맺고 있는 관계를 완전히 뒤바꿀 것입니다. 기존의 기계들은 상황에 맞는 제어 코드에 따라 미리 프로그래밍된 동작을 수행합니다. 모션 파운데이션 모델을 구동하는 로봇은 사람의 자세와 이동 경로를 파악하여 다음 행동을 예측함으로써, 사용자가 발을 내딛는 정확한 순간에 웨어러블 로봇이 적절한 관절에 힘을 가하게 하거나, 생산 라인의 휴머노이드 로봇이 옆에서 일하는 작업자의 움직임에 맞춰 속도와 경로를 조정할 수 있게 해줄 것입니다. 간단히 말해, 오늘날의 로봇은 미리 설정된 층에서만 정차하는 엘리베이터와 같다. 여기서 목표는 사용자가 문 쪽으로 걸어가는 모습을 지켜보다가, 요청하기도 전에 문을 열어두는 기계를 만드는 것이다.

3일 만에 성사된 두 번째 한국 내 협력 계약

엔비디아 측에서는 엔비디아 AI 기술 센터의 수석 매니저인 찰스 청(Charles Cheung)이 기술 자문과 개발 지원을 제공할 예정이며, 해당 센터는 엔비디아의 가상 세계 시뮬레이션 플랫폼인 ‘옴니버스(Omniverse)’와 디지털 트윈 툴링에 대한 연구 및 교육 프로그램을 운영할 예정이다. 또한 이 센터는 6개월마다 연구 목표를 검토하고, 연례 국제 심포지엄을 개최하며, KAIST 학생 5~10명을 선발해 엔비디아 전문가들과의 강의, 멘토링 및 공동 프로젝트에 참여시키는 학생 앰배서더 프로그램을 운영할 예정이다.

이 시기는 우연이 아니다. 지난 7월 24일, KAIST와 엔비디아는 한국어 및 국내 산업을 위한 에이전트형 AI에 초점을 맞춘 별도의 공동 연구소를 발표했다. 이로부터 이틀 뒤, 물리적 측면에 정면으로 초점을 맞춘 이번 센터가 출범했다. 이번 협력은 한국이 ‘샌프란시스코 AI 선언’을 중심으로 미국 기술 기업들과 약 9,500억 달러 규모의 AI 협력 계획을 체결하고, 물리적 AI를 국가적 핵심 축 중 하나로 명시한 바로 그 주에 이루어졌으며, 현대는 2028년까지 연간 3만 대 규모의 미국 내 로봇 생산 능력을 확보하겠다고 약속했으며, 이 두 가지 소식은 본지가 별도로 보도한 바 있다. 엔비디아는

한국의 AI 인프라 구축 과정 전반에 걸쳐, 최상층의 SK하이닉스 메모리 계약부터 최하층의 대전 지역 대학원생들에 이르기까지 체계적으로 그 영향력을 확대해 나가고 있다.

지난 7월 발표된 두 기관 간의 업무 분담 자체만으로도 많은 것을 시사한다. 주체적 연구소는 한국 산업에 맞춰 조정된 인지 계층, 언어 및 추론을 담당하는 반면, 새로 설립된 센터는 물리적 계층, 움직임 및 힘을 담당한다. 이 둘은 현재 대부분의 로봇공학 연구실이 수렴하고 있는 아키텍처를 반영한다. 즉, 무엇을 할지 결정하는 추론 모델과, 신체가 이를 어떻게 수행해야 할지 결정하는 동작 모델이다. 엔비디아가 양측에 시뮬레이션, 컴퓨팅, 자문 인력을 제공한다는 것은 한국의 AI ‘두뇌’와 AI ‘신체’를 연결하는 연결 고리가 단일 벤더의 플랫폼에서 구동될 것임을 의미하며, 이는 바로 엔비디아가 지난 2년 동안 접한 모든 로봇 공학 생태계 전반에 걸쳐 구축해 온 입지와 정확히 일치한다.

경쟁 구도가 상황을 더욱 선명하게 보여줍니다. 구글 딥마인드는 보스턴 다이내믹스와 자사의 제미니 로보틱스 라인을 통해 로봇 파운데이션 모델을 구축하고 있습니다. 테슬라는 대규모로 수집한 영상 및 원격 조작 데이터를 활용해 옵티머스를 훈련시키고 있습니다. 유니트리(Unitree)부터 베이징 휴머노이드 로봇 혁신 센터에 이르는 중국 기업들은 동작 데이터셋 구축을 위해 경쟁을 벌이고 있으며, 푸단대학교와 협력 중인 한 중국 스타트업은 바로 이번 주말에 로봇 촉각을 위한 대규모 촉각 데이터셋을 공개했는데, 이에 대한 내용도 오늘 다뤄졌습니다. KAIST의 접근 방식이 차별화되는 점은 임상 등급의 인간 데이터입니다. 실제 환자와 사용자로부터 측정된 근력과 균형 데이터로, 이는 영상 스크래핑으로는 생성할 수 없으며, 인간의 신체와 물리적으로 협력해야 하는 기계에 있어 가장 중요한 데이터입니다.

구매자와 개발자가 대전에서 얻어야 할 교훈

웨어러블 부문은 이 센터에 가장 확실한 상업적 성장 가능성을 제공합니다. 외골격의 보급은 지난 10년 동안 컨트롤러 문제로 인해 제약을 받아왔는데,

착용자의 동작에 뒤처져, 사용자가 자신의 보조 장치와 맞서 싸워야 하는 상황을 초래합니다. 단순히 반응하는 것이 아니라 미리 예측하는 동작 모델은, 이러한 시스템이 재활 클리닉에만 머물고 창고 현장에는 도입되지 못하게 했던 핵심적인 사용성 문제를 해결합니다. 만약 이 센터의 모델이 지연 시간을 눈에 띄게 줄인다면, 구매자는 병원뿐만 아니라 2020년대 초반 외골격 시범 운영을 포기했던 물류 및 건설 기업들도 될 것이며, 이들은 마침내 진정한 ‘도움’으로 느껴지는 하드웨어를 찾아 다시 돌아올 것이다.

기술 평가자들에게 있어 이 센터의 단기적 산출물은 로봇이 아니라 모델과 벤치마크가 될 것이며, 실질적인 쟁점은 접근성 문제다. 대학, 연구소, 스타트업들은 ‘인간 동작 기초 모델(Human Motion Foundation Model)’이나 그 구성 요소가 공개될지, 상업적으로 라이선스가 부여될지, 아니면 정부가 구축 중인 한국 산업 생태계 내에 국한될지 주목해야 한다. 제조, 조선, 철강, 물류 분야로 센터가 확장될 계획인 점은, 현대중공업의 조선소부터 포스코의 제철소에 이르기까지 기존 기업들을 중심으로 한 한국 산업계의 로드맵으로 읽힌다. 이들 기업이 바로 동작 인식 기계의 첫 번째 기관 고객이 될 것이다.

회의적인 시각을 가진 이들은 이번 발표에 포함되지 않은 내용, 즉 공개된 예산, 데이터셋 규모, 모델 개발 일정, 벤치마크에 대한 약속이 없다는 점을 주목해야 한다. 산학 협력 센터는 모델을 출시하지 않고도 수년간의 호의를 누릴 수 있으며, 인간의 움직임은 신체, 연령, 병리학적 상태에 따라 텍스트와는 달리 다양하게 변하기 때문에 동작 인식 파운데이션 모델은 아직 해결되지 않은 과학적 문제에 직면해 있다. 6개월 단위의 검토 주기는 이러한 위험에 대한 거버넌스 차원의 대응일 뿐, 기술적 해결책은 아닙니다. 이 센터의 신뢰성은 첫 번째 검토 주기 내에 재현 가능한 결과를 발표하느냐에 달려 있을 것입니다.

또한 언급할 가치가 있는, 덜 주목받는 위험이 하나 더 있습니다. 바로 데이터 거버넌스입니다. 임상 동작 데이터는 건강 데이터이며, 누구도

상업용 휴머노이드 제어 시스템 훈련에 활용될 것이라고 상상했다. KAIST와 엔비디아가 동의, 익명화, 국경 간 데이터 흐름을 어떻게 체계화하느냐에 따라 이후 모든 병원 시스템과 외골격 장비 공급업체에 선례가 될 것이며, 단 한 번의 실수만으로도 이 프로젝트의 가치를 결정짓는 아카이브 자체가 동결될 수 있다. 파트너사들은 아직 이 점에 대해 공개적으로 언급한 바 없으므로, 평가자들은 이에 대해 질문해야 한다.

그럼에도 전략적 해석은 분명하며, 인용할 만한 가치가 있다. 물리적 AI 분야에서 희소 자원은 더 이상 연산 능력이나 자본이 아니라 검증된 인간의 동작 데이터이며, 지난 10년 동안 이를 수집해 온 기관들이 갑자기 로봇 공학 분야에서 가장 주목할 만한 파트너가 되었다. 엔비디아는 바로 그 데이터에 대한 접근권을 확보하기 위해 3일 만에 두 건의 한국 연구 제휴를 체결했다. 로봇공학자들은 수년 동안 이 분야의 병목 현상이 하드웨어에서 데이터로 옮겨갈 것이라고 주장해 왔습니다. 이 센터는 세계에서 가장 가치 있는 칩 제조사가 이에 동의했을 때 어떤 모습이 될지를 보여주는 사례입니다.

면책 조항: 이 기사는 일반적인 정보 제공을 목적으로 하며, 투자, 법률 또는 조달에 대한 조언을 구성하지 않습니다. 독자는 비즈니스 결정을 내리기 전에 1차 출처를 통해 세부 사항을 확인해야 합니다.