로봇이 움직이는 법을 배우는 방식, 그리고 왜 ‘동작 토큰화’가 신체 지능의 숨겨진 병목 현상인가

모든 스마트 로봇 속에 숨겨진 문제

평이한 언어로 셔츠를 접거나 작업대 위에서 부품을 분류하라는 지시를 받을 수 있는 현대식 로봇은 ‘비전-언어-행동(Vision Language Action, VLA)’ 모델로 알려진 유형의 모델을 기반으로 작동합니다. 이 이름은 그 기능을 잘 설명해 줍니다. 이 모델은 비전, 즉 장면의 카메라 이미지를 입력으로 받아들입니다. 또한 언어, 즉 지시 사항과 관련 맥락을 입력으로 받아들입니다. 그런 다음 동작, 즉 관절과 그리퍼를 구동하는 실제 모터 명령 스트림을 생성해야 합니다.

이 파이프라인의 첫 두 단계는 이미 작동 중인 인공지능 기술을 대거 차용합니다. VLA 모델은 시각-언어 백본을 재사용하는데, 이는 이미지 이해와 채팅을 구동하는 것과 동일한 모델 계열이며, 이러한 백본들은 방대한 양의 인터넷 텍스트와 이미지를 통해 훈련되었습니다. 세 번째 단계에서야 비로소 로봇 공학이 진정으로 어려워집니다. 언어는 본질적으로 이산적이며, ‘토큰’이라 불리는 유한한 어휘 단위로 구성됩니다. 트랜스포머는 앞선 토큰들을 바탕으로 다음 토큰을 예측합니다. 반면 로봇의 움직임은 이와 다릅니다. 로봇의 움직임은 연속적이고, 고주파이며, 물리적입니다. 관절 각도, 엔드 이펙터 위치, 그리퍼 명령은 매초 수십 번씩 매끄러운 실수 값 신호로 흐릅니다.

따라서 모든 유능한 로봇의 이면에는 한 가지 질문이 자리 잡고 있지만, 연구계 밖의 대다수 사람들은 이 질문이 제기되는 것조차 들어본 적이 없습니다. 어떻게 하면 연속적인 동작을 토큰 예측 모델이 학습하고 생성할 수 있는 형태로 바꿀 수 있을까요? 그 해답은 ‘액션 토큰화(action tokenization)’라는 단계에 있으며, 팀이 이 문제에 어떻게 접근하느냐에 따라 로봇의 훈련 속도, 로봇이 얼마나 정교해질 수 있는지, 그리고 단일 모델이 서로 다른 기계 간에 얼마나 잘 전이되는지가 결정됩니다.

액션 토큰화가 실제로 하는 일

토큰화는 연속적인 동작 덩어리, 즉 미래 동작의 짧은 구간을 모델이 차례로 예측할 수 있는 이산 기호 시퀀스로 변환하는 과정입니다. 모델이 이를 예측한 후

기호들을 받아 디코더는 이를 로봇이 실행할 수 있는 연속적인 명령으로 다시 변환합니다. 언어 모델이 텍스트를 단어 단위 토큰으로 분할하는 방식을 들어보셨다면, 이것이 바로 모터 제어 분야의 이에 상응하는 개념이며, 이 비유는 결코 무리한 것이 아닙니다. 선도적인 로봇공학 연구자들은 텍스트 및 이미지 토큰화기가 작동하도록 만든 압축 기법을 직접 차용하고 있습니다.

이러한 선택이 중요한 이유는 토큰화기가 중립적인 파이프가 아니기 때문이다. 토큰화기는 어떤 정보를 남기고 어떤 정보를 버릴지 결정한다. 동작을 충실하게 포착하지만 연속적인 순간들 간의 관계를 뒤섞는 토큰화기는 훈련을 느리게 만들거나 불안정하게 만들 수 있다. 지나치게 공격적으로 압축하는 토큰화기는 정교한 작업에 필요한 미세한 제어를 흐리게 할 수 있다. 또한 모델이 예측하기는 쉽지만 작업의 의미와는 동떨어진 토큰화기는 로봇이 움직임은 유창하게 수행하더라도 의도를 따르는 데는 서툴게 만들 수 있다. 아래 그림은 등장한 세 가지 광범위한 철학을 보여주며, 이 글의 나머지 부분에서는 이를 순서대로 자세히 살펴볼 것이다.

첫 번째 접근 방식인 ‘비닝(binning)’: 가능성을 입증한 방법

단일 모델이 웹을 읽고 로봇을 제어할 수 있음을 처음으로 널리 알린 시연은 2023년 구글 딥마인드(Google DeepMind)가 ‘로보틱 트랜스포머 2(Robotic Transformer 2, RT-2)’라는 모델을 통해 선보였습니다. 이 모델의 동작 처리 방식은 직관적이었습니다. 로봇의 동작, 엔드 이펙터의 위치 및 회전 변화와 그리퍼 명령을 받아 각 차원을 이산적인 빈(bin)으로 분할한 뒤, 이를 1 128 91 241 5 101 127 217과 같은 일반 텍스트처럼 보이는 정수 문자열로 출력했습니다. 그런 다음 표준 텍스트 토큰화기가 해당 문자열을 처리했는데, 이는 모델을 재설계하지 않고도 로봇 동작과 웹 데이터가 동일한 모델을 통해 흐를 수 있음을 의미했다.

이는 다음과 같은 측면에서 진정한 돌파구였습니다.

능력. RT-2는 이전에 본 적 없는 시나리오에서 성능을 전작의 32%에서 62%로 향상시켰으며, 새로운 기술의 일반화 능력 면에서도 이전 기준 모델에 비해 3배 이상 향상된 성과를 보여주었다. 이는 웹 규모의 지식이 물리적 제어 영역으로 전이될 수 있음을 입증했다. 또한 돌이켜보면, 이 연구는 단순한 비닝(binning) 방식의 약점도 드러냈다. 동작이 빠르고 정교할수록 연속된 동작 토큰 간의 상관관계가 높아지며, 다음 토큰 예측기는 이전 토큰을 복사하는 것과 같은 사소한 작업을 수행함으로써 높은 점수를 얻을 수 있다. 이는 모델을 열악한 해법에 갇히게 하며, 왜 단순한 비닝 방식이 느리고 단순한 제어 영역에 국한되는 경향이 있는지를 설명해 준다.

두 번째 접근 방식인 ‘주파수 압축(frequency compression)’: 속도를 높여준 방법

Physical Intelligence 팀은 캘리포니아 대학교 버클리 캠퍼스 및 스탠퍼드 대학교의 협력 연구진과 함께 2025년 초, ‘주파수 공간 동작 시퀀스 토큰화(FAST)’라는 방법을 통해 상관관계 문제를 근본적으로 해결하고자 했다. 그들의 통찰은 훈련 전에 동작 신호를 압축해야 토큰들이 서로 반복되지 않고 독립적인 정보를 담을 수 있다는 것이었습니다. 그들이 채택한 기술은 이산 코사인 변환(DCT)으로, JPEG 이미지 파일에서 사용되는 것과 동일한 압축 기법이며, 부드러운 신호를 소수의 주파수 성분으로 표현합니다.

실질적인 성과는 상당했다. 연구팀은 단일 팔, 이중 팔, 이동형 로봇에 이르는 100만 건의 실제 로봇 동작 궤적을 기반으로 훈련된 범용 토큰화기를 공개했으며, 이 토큰화기가 기성품으로서 구현 방식에 구애받지 않는 구성 요소로 사용될 수 있음을 보여주었다. 이 팀의 주력 정책과 결합했을 때, 주파수 토큰화된 자기회귀 모델은 1만 시간 분량의 로봇 데이터까지 확장 가능했으며, 더 무거운 확산 기반 접근 방식과 동등한 성능을 보였을 뿐만 아니라 훈련 속도는 최대 5배 더 빨랐다. 주파수 압축은 팀들에게 거의 기본 설정과 같은 존재가 되었다.

비닝으로 인한 불안정성 없이 자기회귀 학습을 원하는 경우입니다.

여기에는 미묘한 한계가 있으며, 이것이 다음 아이디어를 이끌어냅니다. 주파수 토큰은 동작을 충실하게 반영하지만, 의미적으로는 불투명합니다. 이 코드들은 팔이 어떻게 움직이는지는 설명하지만, 모델이 받은 지시에 비추어 그 동작이 무엇을 의미하는지는 설명하지 않습니다. 비전-언어 백본은 의미의 공간에서 추론을 수행하는 반면, 동작 코드는 신호 압축의 공간에 존재하며, 이 둘을 일치시켜야 할 강제적인 요인은 없습니다.

세 번째 접근 방식인 ‘의미적 인터페이스’는 바로 이 간극을 메우려는 방법입니다.

바로 여기에서 최신 연구 성과이자, 이 해설 글을 쓰게 된 이유가 등장합니다. 중국 로봇 기업 X Square Robot과 관련된 한 팀이 학계 협력자들과 함께 2026년 중반에 ‘X-Tokenizer’라는 토큰화기를 발표했습니다. 이 연구의 핵심은 프레임워크의 전환에 있습니다. 토큰화를 순수한 압축으로 취급하는 대신, 토큰화기를 ‘의미론적 인터페이스’로 간주합니다. 이는 동작 코드가 비전 언어 모델이 이미 이해하고 있는 의미와 의도적으로 정렬되는 공유 계층입니다.

이 메커니즘은 비대칭적인 역할을 수행하는 4단계 잔차 양자화기입니다. 최상위 레벨 코드는 모델이 장면과 지시를 이해하는 방식과 일치하는 거친 이산 동작 어휘를 형성하도록 훈련되는 반면, 더 깊은 레벨은 미세한 동작 세부 사항을 재구성하는 데 집중합니다. 실질적으로 첫 번째 심볼은 동작의 광범위한 의도와 같은 의미를 갖도록 학습되며, 이후의 심볼들은 정확한 실행 방식을 구체화합니다. 인코더는 각 동작 청크를 여러 카메라 각도와 작업 언어에서 추출된 백본의 동일 순간에 대한 시각과 일치시키도록 유도되어, 동작 코드와 지각 특징이 공통된 언어를 사용하게 됩니다.

보고된 결과는 빈닝(binning) 방식이 아닌 주파수 압축 기준선과 비교하여 측정되었으며, 이는 2026 방식에 대한 올바른 비교 기준입니다.

240만 개의 궤적과 17가지 로봇 팔 계열을 대상으로 훈련을 수행한 후, 토큰화기를 고정하여 작업별 튜닝 없이 재사용한 결과, 이 접근 방식은 주파수 기반 기준 모델 대비 다중 모달 그라운딩에서 13.5%의 성능 향상과 장기 실행에서 8.25점의 점수 향상을 기록했습니다. 난이도가 높아진 까다로운 듀얼 암 벤치마크에서 이 접근법의 성능 저하는 선도적인 비교 정책보다 적었으며, 서로 다른 로봇 본체에 걸쳐 하나의 모델을 공동으로 훈련시킴으로써 가장 어려운 과제들의 점수가 희석되기보다는 오히려 향상되었습니다. 이는 여전히 시뮬레이션 및 탁상 실험실 결과이므로, 확고한 실제 적용상의 이점이라기보다는 유망한 방향을 제시하는 것으로 보아야 하며, 이 점을 명심할 필요가 있습니다.

나란히 비교

아래 표는 주요 접근 방식과 각 방식이 나타내는 설계 상의 절충점을 요약한 것입니다. 수치는 해당 방법을 제안한 연구팀이 보고한 내용을 바탕으로 합니다.

한 문장으로 요약한 최첨단 논쟁

기술적 세부 사항을 제쳐두고 보면, 이 분야는 단 하나의 질문에 대해 논쟁을 벌이고 있다. 동작 토큰화기는 단순하고 빠르며 의미에 무관한 중립적인 압축기여야 하는가(이는 빈도 압축 관점), 아니면 로봇의 이해와 움직임이 하나의 어휘를 공유하도록 동작을 언어에 연결하는 능동적인 참여자여야 하는가(이는 의미적 인터페이스 관점). 세 번째 진영은 플로우 매칭을 통해 연속적인 동작을 직접 생성하고 이산 토큰을 전혀 사용하지 않음으로써 이 질문을 완전히 회피합니다. 확실한 승자는 없으며, 가장 가능성이 높은 결과는 다양한 배포 요구 사항에 따라 서로 다른 해답이 선호될 것이라는 점입니다.

구매자를 위한 자동화, 로봇공학, 물리적 지능 관련 읽을거리

운영자나 조달 팀의 입장에서 볼 때, 이 문제는 비용과 연결되기 전까지는 단순한 학문적 논쟁으로 보일 수 있습니다.

위험이 따르며, 그 연관성은 분명합니다. 로봇을 도입할 때 비용이 많이 드는 부분은 팔 자체인 경우가 거의 없습니다. 데이터 수집, 작업별 튜닝, 그리고 한 현장에 여러 종류의 기계가 가동될 때 필요한 통합 작업이 바로 그 비용의 주된 원천입니다. 액션 토큰화는 바로 이러한 비용 요소의 핵심에 위치합니다. 왜냐하면 훈련된 정책이 벤치마크에서 실제 작업 현장으로, 그리고 한 로봇 본체에서 다른 로봇 본체로 얼마나 쉽게 이전되는지를 좌우하기 때문입니다.

구매자는 여기서 세 가지 실용적인 점을 유념해야 합니다. 첫째, 토큰화기는 전이(transfer)의 수단입니다. 구현 형태에 구애받지 않거나 재훈련 없이 여러 팔 계열 간에 전이 가능한 토큰화기는, 팀이 모든 기계에 대해 모션 레이어를 재구축할 필요가 없기 때문에 혼합 로봇 군의 통합 비용을 직접적으로 낮춥니다. 둘째, 훈련 속도는 예산 항목입니다. 훈련 시간을 수 배 단축시킨 주파수 압축 결과는 사소한 사항이 아니라, 배포 과정을 며칠 내에 완료할 수 있는지 아니면 몇 주가 걸릴지를 가르는 결정적인 차이입니다. 셋째, 그리고 가장 중요한 점은, 실험실에서 주장하는 성능 향상치가 실제 현장 성능과 동일하지 않다는 것입니다. 여기서 논의된 모든 접근 방식은 벤치마크와 실험실 환경 과제에서 최상의 수치를 보고하므로, 공급업체를 평가하는 구매자가 취해야 할 올바른 태도는 표면적인 벤치마크 수치를 무비판적으로 받아들이기보다는, 구매를 고려 중인 특정 로봇을 사용하여 실제 작업과 유사한 과제에서 현실적인 방해 요인과 사이클 시간 조건 하에 얻은 결과를 요청하는 것입니다.

향후 2년 동안 주목해야 할 더 깊은 시사점은, 물리적 지능 분야에서 단순히 그 배후에 있는 언어 모델의 규모가 아니라 ‘행동 계층’이 경쟁의 주무대가 되고 있다는 점입니다. 움직임과 의미를 모두 구현하는 팀들은 하나의 공통 어휘를 공유하며, 이렇게 훈련된 단일 정책을 서로 다른 기계 간에 원활하게 이식할 수 있는 팀들이 배포 경제성 측면에서 실질적인 우위를 점하게 될 것입니다. 이것이 바로 조달 팀이 추적해야 할 지표입니다. 왜냐하면 이 지표야말로 실험실 결과를 운영 예산의 한 항목으로 전환시켜 주는 요소이기 때문입니다.

출처

참고 자료

이 해설문을 작성하는 데 참고한 주요 및 권위 있는 출처:

• Google DeepMind, RT-2 발표 및 방법론 설명, 2023년 7월 28일, 및 관련 논문 RT-2, “Vision Language Action Models Transfer Web Knowledge to Robotic Control”, arXiv 2307.15818.

• Pertsch 외, FAST, ‘비전-언어-행동 모델을 위한 효율적인 행동 토큰화(Efficient Action Tokenization for Vision Language Action Models)’, 캘리포니아 대학교 버클리 캠퍼스 및 스탠포드 대학교와 공동 연구, arXiv 2501.09747, 2025년 1월.

• Physical Intelligence pi-0 및 pi-0-FAST 기술 설명서(흐름 매칭 동작 생성 포함), Hugging Face LeRobot 모델 릴리스에 수록, 2025년 2월.

• VQ-VLA, “벡터 양자화 동작 토큰화기의 스케일링을 통한 비전-언어-동작 모델 개선”, arXiv 2507.01016, 2025년.

• X-Tokenizer, X Square Robot과 학술 협력자들이 개발한 교차 모달 체화 행동 토큰화기, arXiv 2606.14752, 2026년 6월 제출, 관련 프로젝트 페이지, 코드 저장소 및 모델 카드 포함. 보고된 13.5%의 다모달 그라운딩 향상률 및 주파수 압축 기준 모델 대비 8.25 포인트의 장기 전망 향상률을 포함한 기술적 주장은 주요 아티팩트를 기준으로 검증되었습니다.

본 기사에 수록된 모든 비교 수치는 해당 연구팀이 발표한 대로 기재되었으며, 별도로 명시되지 않는 한 실험실 또는 벤치마크 조건을 기준으로 합니다.