SimFoundry, 로봇 훈련 데이터에서 누락된 연결 고리를 자동화하다

NVIDIA GEAR, 리 페이페이(Fei-Fei Li)의 스탠퍼드 연구실, 조지아 공과대학(Georgia Tech)으로 구성된 공동 연구팀은 단 하나의 실제 영상만으로도 상호작용이 가능하고 학습이 가능한 로봇 시뮬레이션 환경을 자동으로 생성하는 시스템인 ‘SimFoundry’를 선보였다.

2분 소요Posted: 2026년 7월 6일

SimFoundry, 로봇 훈련 데이터에서 누락된 연결 고리를 자동화하다

NVIDIA GEAR와 스탠퍼드 대학교 리 페이페이(Fei Fei Li) 연구팀의 연구원들은, 사람의 모델링 작업 없이도 단일 실세계 영상을 물리 법칙이 적용된 상호작용형 시뮬레이션 환경으로 변환하는 자동화 파이프라인인 ‘SimFoundry’를 공개했습니다. 이는 체화형 AI의 주요 병목 현상인, 실세계 로봇 훈련 데이터 수집에 드는 막대한 비용을 해결해 줍니다. 물리적 공간의 디지털 복제본을 사실상 무제한으로 생성함으로써, 비전-언어-행동(Vision Language Action) 시스템과 같은 모델이 시뮬레이션 환경에서 훈련한 후 제로 샷(zero-shot) 방식으로 현실에 적용될 수 있게 합니다.

사건의 개요

'SimFoundry: 정책 학습 및 평가를 위한 모듈식 자동 장면 생성(SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation)'이라는 제목의 이 논문은 2026년 6월 26일, NVIDIA의 Generalist Embodied Agent Research 연구소, 조지아 공과대학, 스탠퍼드 대학교, 텍사스 대학교 오스틴 캠퍼스, 토론토 대학교의 연구진 연합에 의해 arXiv에 제출되었습니다. 저자 명단에는 유케 주(Yuke Zhu), 단페이 쉬(Danfei Xu), 짐 팬(Jim Fan), 페이페이 리(Fei Fei Li)를 비롯해 AI 로봇공학 분야의 주요 기관들이 포함되어 있습니다.

중요한 점은 SimFoundry가 새로운 로봇 뇌 모델이 아니라는 것입니다. 이는 로봇 뇌를 위한 훈련 환경을 구축하는 자동화 시스템입니다. 과거에는 로봇을 훈련시키기 위해 값비싼 물리적 데이터 수집 시설이나 수작업으로 설계된 시뮬레이션 환경이 필요했습니다. SimFoundry는 이 두 가지를 모두 대체합니다. 주방이나 창고의 평범한 RGB 영상을 입력으로 받아 추출, 생성, 증강이라는 3단계 파이프라인을 거칩니다.

먼저, 파운데이션 모델을 사용하여 영상 속 모든 물체를 분할하고 추출합니다. 딥러닝 기술을 활용해 깊이를 추정하고 포인트 클라우드를 생성한 뒤, 이를 비전 언어 모델과 SAM 3와 같은 분할 도구를 통해 분석합니다. 다음으로, 3D 메쉬를 생성하고 서랍과 같은 물체의 관절 구조를 추론하며, 질량 및 마찰과 같은 물리적 특성에 주석을 달아 디지털 트윈을 IsaacLab 물리 엔진으로 내보냅니다. 마지막으로, 물체의 외관을 자동으로 변경하고, 레이아웃을 조정하며, 새로운

조작 과제. 7가지 조작 과제에 걸친 테스트에서, SimFoundry 데이터 내에서만 훈련된 정책은 제로샷 방식으로 실제 로봇에 전이되었으며, 이전에 본 적 없는 물체에 대해서도 최대 100%의 성공률을 보였다.

‘디지털 사촌’의 도입은 중요한 도약입니다. 디지털 트윈을 기반으로 이를 수정하여 외관은 달라지지만 기능은 유지되는 ‘물체 사촌’, 레이아웃이 바뀌는 ‘장면 사촌’, 새로운 상호작용이 도출되는 ‘작업 사촌’을 생성함으로써, 이 시스템은 단일 동영상의 가치를 기하급수적으로 증대시킵니다. 이를 통해 로봇이 실제 세계의 혼란스러운 상황에 대비할 수 있도록 돕는 방대한 절차적 생성 훈련 커리큘럼이 만들어집니다.

그 중요성

오늘날 AI 로봇 공학의 핵심적인 난제는 데이터 부족입니다. 대규모 언어 모델이 확장될 수 있었던 것은 인터넷이 수조 개의 텍스트 토큰을 무료로 제공했기 때문입니다. 반면, 신체화된 AI에는 물리적 상호작용 데이터의 ‘인터넷’이 부족합니다. 기존의 해결책인 Sim2Real은 수많은 엔지니어가 합성 환경을 구축해야 했으며, 이 과정은 느리고 비용이 많이 들며 확장하기 어려웠습니다. 새로운 대안인 ‘Real2Sim’은 현실을 시뮬레이션으로 스캔하려고 시도하지만, 기존 도구들은 물리 법칙이 적용되지 않은 정적 3D 장면을 재구성하거나, 번거로운 수동 설정을 요구하는 등 퍼즐의 일부만 해결했을 뿐입니다.

SimFoundry는 이 루프를 완성합니다. 이는 완전히 자동화된 Real2Sim2Real 파이프라인입니다. 이제 실제 작업 공간의 단 하나의 동영상만으로도 무한한 절차적 훈련 환경을 생성할 수 있습니다. pi zero point five와 같은 비전-언어-행동(Vision Language Action) 모델이 SimFoundry 데이터로 미세 조정되었을 때, 테스트용 과제에서의 성공률이 0%에서 29%로 급증했습니다. 이는 로봇 공학 기업들이 이제 대상 시설의 기본적인 영상 촬영 자료만으로도 훈련 데이터를 합성적으로 생성할 수 있게 되었으며, 물리적 데이터 수집 장비를 배치할 필요가 없어졌음을 의미합니다.

범용 로봇을 개발하는 기업들에게 이 파이프라인은 병목 현상을 데이터 수집에서 연산으로 전환시킵니다. 원격 조종을 통해 충분한 데이터를 수집하기 위해 몇 달을 기다리는 대신

로봇에게 새로운 작업을 가르치기 위한 시연을 통해, 엔지니어들은 짧은 동영상을 녹화한 뒤 SimFoundry에 입력하여 하룻밤 사이에 수천 가지의 다양한 훈련 시나리오를 생성할 수 있습니다. 이를 통해 개발 주기가 단축되고, 특화된 로봇 동작을 만드는 데 필요한 진입 장벽이 낮아집니다.

가치 관점

가치 관점에서 볼 때, SimFoundry는 훈련 비용 요소에 있어 구조적인 디플레이션 효과를 가져옵니다. 데이터 수집은 현재 범용 로봇 정책 개발 과정에서 가장 해결하기 어려운 비용 항목입니다. 고충실도 시뮬레이션 환경 생성을 자동화함으로써, 새로운 훈련 시나리오의 한계 비용은 파이프라인을 실행하는 데 드는 컴퓨팅 비용 수준에 근접하게 됩니다.

또한, 평가 상관관계는 놀라울 정도입니다. SimFoundry의 시뮬레이션 평가는 평균 피어슨 상관계수 0.911로 실제 성능을 예측합니다. 이는 하드웨어 기업들이 시뮬레이션 환경에서 새로운 소프트웨어 릴리스를 테스트할 때, 그 결과가 실제 생산 현장에서도 동일하게 나타날 것이라는 높은 확신을 가질 수 있음을 의미하며, 현재 배포 일정을 지연시키는 물리적 테스트 주기를 획기적으로 단축시킵니다. 이러한 수준의 예측 가능성을 통해 로봇 공학 소프트웨어에서도 지속적인 통합(CI) 및 지속적인 배포(CD) 파이프라인을 구현할 수 있게 되어, 기존 소프트웨어 엔지니어링에서 볼 수 있는 신속한 반복 주기를 재현할 수 있습니다.

경제적 파급 효과는 막대합니다. 기업이 시뮬레이션을 통해 새로운 그립 정책을 신뢰성 있게 평가하고, 실제 로봇에서 어떻게 작동할지 90% 이상의 확률로 예측할 수 있다면, 물리적 테스트 장비 군에 필요한 자본 지출이 크게 줄어듭니다. 이는 물리적 인프라 규모가 가장 큰 기업보다는 시뮬레이션을 위해 방대한 컴퓨팅 자원을 활용할 수 있는 기업에게 경제적 이점을 가져다줍니다.

글로벌 경쟁 구도와 일정

시뮬레이션 데이터 병목 현상을 해결하기 위한 경쟁은 지리적 및 제도적 측면에서 명확하게 양분되어 있습니다. 미국의 경우, 자본 집약적이고 소프트웨어 중심의 접근 방식을 취하고 있습니다. NVIDIA는 ‘코스모스(Cosmos)’를 통해 선두를 달리고 있으며, 이는

다운로드 수가 200만 건을 넘는 글로벌 파운데이션 모델 플랫폼과 SimFoundry와 같은 도구들. 2억 3천만 달러를 유치한 리페이페이(Fei Fei Li)의 스타트업인 World Labs는 자사의 ‘Marble’ 제품을 통해 생성형 3D 세계를 상용화하고 있다. DeepMind는 ‘Genie 3’를 통해 생성형 상호작용 세계를 추구하고 있다.

중국에서는 물리적 데이터 팩토리와 국가 지원 연구에 크게 의존하는 접근 방식을 취하고 있다. AgiBot이나 Unitree와 같은 기업들은 방대한 원격 조작 차량 군단을 활용해 실제 상호작용 데이터를 수집하며, 물리적 데이터 수집을 인프라적 경쟁 우위로 삼고 있습니다. 한편, 베이징 인공지능 아카데미는 최근 시뮬레이션의 한계를 넓히기 위해 ‘Wujie Physis 0.1’이라는 범용 세계 기반 모델을 공개했습니다.

SimFoundry는 즉각적인 실행을 목표로 합니다. NVIDIA의 연구 예산으로 지원되는 공개 연구 프로젝트로서, 관련 코드와 방법은 연구실에서 지금 바로 도입할 수 있습니다. 모듈식 구조로 설계되어 더 나은 분할 모델이나 3D 생성 모델이 개발되면 이를 간단히 교체할 수 있으므로, 그 기능은 자동으로 확장될 것입니다. 별도의 독립적인 자금 조달이 필요하지 않으며, ‘아이작랩(IsaacLab)’과 ‘옴니버스(Omniverse)’ 컴퓨팅의 채택을 촉진함으로써 더 넓은 엔비디아 생태계에 가치를 창출합니다. 이러한 개방형 연구 전략을 통해 엔비디아는 전 세계 AI 로봇 공학 개발의 기반 계층으로 자리매김하고 있습니다.

냉정한 현실

시뮬레이션에서 현실로의 제로 샷(zero-shot) 전이는 로봇 공학의 성배와 같지만, SimFoundry 벤치마크는 여전히 식기 쌓기나 마커 보관과 같은 제한된 실험실 작업에 국한되어 있습니다. 산업 현장에 적용하려면 극한 상황, 센서 노이즈, 하드웨어 성능 저하 등을 처리해야 하는데, 아무리 다양한 합성 데이터가 있더라도 이를 완벽하게 모방하기는 어렵습니다. 신뢰성을 확보하기 위한 마지막 단계에서는 여전히 실제 데이터 수집 시설이 필요할 것입니다. 시뮬레이션된 주방과 예측 불가능한 인간 근로자들로 가득 찬 혼란스러운 공장 현장의 간극은 여전히 크며, 이를 해소하기 위해서는 단순히 더 나은 디지털 모사체만으로는 부족합니다.