세계 모델 경제학 이야기에서 빠진 한 조각

뉴욕대학교(NYU)와 얀 르쿤(Yann LeCun)이 설립한 스타트업 AMI의 연구진은, ‘공동 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)’ 세계 모델이 치명적인 망각 현상 없이 밀리초 단위로 미지 물리적 환경에 적응할 수 있게 해주는 ‘AdaJEPA’라는 기법을 개발했다.

A
2분 소요Posted: 2026년 7월 6일
세계 모델 경제학 이야기에서 빠진 한 조각

얀 르쿤(Yann LeCun)이 설립한 신생 기업인 어드밴스드 머신 인텔리전스(Advanced Machine Intelligence)는 NYU 연구진과 공동으로, 로봇이 작동하는 동안 세계 모델이 밀리초 단위로 지속적으로 스스로 업데이트될 수 있게 해주는 방법인 ‘AdaJEPA’를 발표했다. 이는 세계 모델 시대의 중대한 경제적 걸림돌, 즉 환경이 변화하면 정적 모델이 작동하지 않게 되어 비용이 많이 드는 재훈련이 필요하다는 문제를 해결한다. AdaJEPA는 실행 시 적응 기능을 통해 로봇이 새로운 시나리오를 즉석에서 처리할 수 있게 함으로써, AI 로봇 공학이 약속한 비용 절감 효과를 실현합니다.

사건의 경과

2025년 말, 얀 르쿤(Yann LeCun)은 메타(Meta)의 수석 AI 과학자로 12년간 재직한 후 회사를 떠나 AMI Labs를 설립했으며, 35억 달러의 기업 가치를 바탕으로 10억 3천만 달러라는 기록적인 규모의 시드 라운드 자금을 조달했다. 그의 주장은 단호했습니다. 대규모 언어 모델은 단순히 텍스트 토큰을 예측할 뿐이므로 일반 지능을 달성할 수 없는 반면, 진정한 지능은 행동의 물리적 결과를 예측하는 세계 모델을 필요로 한다는 것이었습니다. 이번 주, 그 주장에 대한 첫 번째 주요 기술적 검증이 나왔습니다.

잉 왕(Ying Wang)이 주도하고 르쿤이 자문을 맡은 NYU와 AMI의 연구진은 ‘AdaJEPA’를 발표했다. 이 논문은 ‘Joint Embedding Predictive Architecture’에 테스트 시점 적응 기법을 도입한다. AdaJEPA는 초기 훈련 후 세계 모델을 고정하는 대신, 로봇이 이동하는 동안 재계획 주기당 한 번의 그라디언트 단계를 수행할 수 있도록 한다. 이로 인해 지연 시간은 단 10~30밀리초만 증가합니다. 벤치마크 결과, 로봇이 이전에 본 적 없는 미로 구조에 직면했을 때, 정적 모델에 비해 성공률이 53.3%에서 78.7%로 급증했으며, 과거 지식을 급격히 망각하는 현상도 나타나지 않았습니다.

이 획기적인 성과는 현재 AI 시스템의 근본적인 결함을 해결합니다. 기존 모델은 정적입니다. 방대하고 비용이 많이 드는 훈련 단계에서 학습을 마친 후, 새로운 것을 배울 수 없는 상태로 실제 환경에 배포됩니다. 환경이 변하면 모델은 실패합니다. AdaJEPA는 지속적인 학습 루프를 도입하여 모델이

실시간으로 환경을 파악합니다. 인코더와 예측기의 최상위 레이어만 업데이트함으로써, 사전 훈련 과정에서 습득한 광범위한 지식을 유지하면서 즉각적이고 국소적인 변화에 신속하게 적응합니다.

그 중요성

최근 세계 모델 경제성에 대한 분석에서 상세히 다룬 바와 같이, 반응형 비전-언어-행동(Vision Language Action) 시스템에서 예측형 세계 모델로의 전환은 업계에 디플레이션 효과를 가져옵니다. 월드 모델은 하드코딩된 예외 사례 엔지니어링의 필요성을 제거함으로써 물류 및 제조 로봇의 투자 회수 기간을 대폭 단축할 것으로 기대됩니다. 하지만 이러한 경제적 전망에는 기술적인 함정이 있었습니다. 창고의 평면도가 변경되거나 계절에 따른 조명이 바뀌면 정적인 월드 모델은 혼란에 빠집니다. 이를 수정하려면 새로운 데이터를 수집하고 비용이 많이 드는 재훈련 주기를 거쳐야 했습니다.

AdaJEPA는 이러한 재훈련 비용을 제거합니다. 이 기술은 세계 모델을 정적인 물리 엔진에서 살아 숨 쉬는 시스템으로 변화시킵니다. 로봇이 새로운 SKU를 만나거나 공장 바닥 배치가 재조정되더라도, 모델은 내부 표현을 실시간으로 조정합니다. 이는 고도로 구조화된 환경 밖에서의 배포에서도 경제적 타당성을 확보하기 위해 필요한 기술적 메커니즘입니다.

로봇을 대규모로 도입하는 기업들에게 이는, 끊임없이 비용이 많이 드는 사람의 개입이 필요한 로봇 군단과, 운영 기간이 길어질수록 더 뛰어난 능력을 발휘하는 로봇 군단 사이의 차이를 의미합니다. 치명적인 기억 상실 없이 밀리초 단위로 적응할 수 있는 능력 덕분에, 로봇은 농업 현장의 변화하는 기상 조건부터 분주한 창고 내의 예기치 못한 장애물에 이르기까지, 현실 세계의 무한한 변동성을 처리할 수 있습니다.

미국 대 중국의 세계 모델 경쟁

AdaJEPA의 출시는 세계 모델 구축을 위한 글로벌 경쟁에서 드러나는 상반된 전략들을 부각시킵니다. 미국은 범용 시뮬레이션과 아키텍처 혁신에 초점을 맞춘, 자본 집약적인 선구적 연구소 접근 방식을 추구하고 있습니다. 르쿤(LeCun)의 AMI Labs, Genie 3를 보유한 DeepMind, 리페이페이(Fei Fei Li)의 World Labs, 그리고 NVIDIA의 Cosmos 등이 그 예입니다.

플랫폼들은 향후 모든 신체화된 AI의 기초 물리 계층 역할을 할 대규모의 범용 엔진을 구축하고 있습니다.

중국은 국가가 지원하는 연구 기관들이 즉각적인 산업적 적용과 긴밀히 연계되는 방식으로, 다른 길을 걷고 있다. 베이징 인공지능 아카데미는 최근 ‘우지에 에뮤 3.5(Wujie Emu 3.5)’ 다중 모달 세계 모델과 ‘피시스 제로 포인트 원(Physis zero point one)’ 일반 세계 기반 모델을 출시했다. 중국 개발자들은 범용 인공지능이 등장하기를 기다리기보다는, 이러한 초기 세계 모델들을 NIO나 CATL과 같은 기업의 생산 라인에 적극적으로 통합하고 있으며, 공장 현장을 모델의 실용성을 검증하는 궁극적인 시험장으로 삼고 있다.

이러한 차이는 흥미로운 역동성을 만들어내고 있다. 미국은 시뮬레이션 속에서 궁극의 일반화된 뇌를 구축하는 반면, 중국은 공장 현장에서 직접 특화된 뇌를 구축하고 있다. AdaJEPA는 미국식 접근 방식에 있어 중요한 단계로, 일반화된 뇌가 마침내 혼란스러운 물리적 세계에 배치되었을 때 적응할 수 있는 메커니즘을 제공한다.

구체적인 배포 시나리오

예측 불가능한 조명, 다양한 작물 형태, 기상 변화로 인해 기존 자동화 기술이 실패하는 사례인 농업용 수확 로봇을 생각해 보자. 정적인 비전-언어-행동(Vision Language Action) 모델 하에서는 로봇이 토마토 식물의 모든 가능한 변형에 대해 훈련을 받아야 합니다. 정적인 세계 모델 하에서는 로봇이 토마토를 따는 물리적 원리는 이해하지만, 갑작스러운 폭우로 밭의 시각적 질감이 변하면 실패할 수도 있습니다.

AdaJEPA를 사용하면 로봇의 세계 모델이 폭우에 실시간으로 적응합니다. 다음 덩굴을 잡기 전 30밀리초 동안, 모델은 젖고 미끄러운 표면을 반영하여 내부 표현을 업데이트함으로써 새로운 마찰 역학을 성공적으로 예측합니다. 수확은 중단 없이 계속되며, 농장주는 막대한 비용이 드는 가동 중단 사태나 제조사에 소프트웨어 패치를 요청하는 번거로움을 피할 수 있습니다. 이러한 지속적인

적응이야말로 취약한 기술을 산업 현장에서 사용할 수 있는 견고하고 신뢰할 수 있는 도구로 변화시키는 원동력입니다.

가혹한 현실

테스트 시 적응은 계산 비용이 많이 듭니다. AdaJEPA는 지연 시간을 30밀리초 미만으로 유지하기 위해 인코더의 최상위 레이어에만 업데이트를 제한하지만, 엣지 하드웨어에서 지속적인 그라디언트 단계를 실행하면 배터리 수명이 소모되고 발열이 발생합니다. 이 지속적인 학습 아키텍처를 유선 연결이 없는 이동형 휴머노이드 로봇에 배포하려면, 대규모 상용화가 가능해지기 전에 저전력·고효율 엣지 반도체 분야에서 상당한 기술적 도약이 필요할 것입니다. 통제된 실험실 환경에서의 성공적인 벤치마크와 현장에서 배터리 구동 로봇에 대한 견고한 배포 사이의 격차는 여전히 중요한 공학적 과제로 남아 있습니다.

출처

[1] AdaJEPA: 연속 제어를 위한 월드 모델의 테스트 시간 적응. arXiv:2606.32026. 2026년 7월. https://arxiv.org/abs/2606.32026

[2] QbitAI. 르쿤(LeCun) 팀, 월드 모델의 지속적인 학습 구현. 2026년 7월 5일. https://www.qbitai.com/2026/07/442964.html

[3] TechCrunch. 얀 르쿤(Yann LeCun)의 AMI Labs, 월드 모델 구축을 위해 10억 3천만 모금. 2026년 3월 9일. https://techcrunch.com/2026/03/09/yann lecuns ami labs raises 1 03 billion to build world models/