RT-2: Vision-Language-Action Models — 웹 지식을 로봇 행동으로

TL;DR

RT-2는 인터넷 규모로 학습된 Vision-Language Model(VLM)을 로봇 제어에 직접 적용한 첫 번째 대규모 VLA 모델입니다. PaLI-X(55B)와 PaLM-E(12B)를 기반으로, 로봇 행동을 텍스트 토큰으로 표현해 웹 데이터와 로봇 데이터를 함께 학습합니다. 6,000번의 실제 로봇 실험에서 RT-1 대비 3배 이상 향상된 일반화 성능을 달성했으며, 학습에 없던 개념에 대한 추론 능력(emergent capability)이 자연스럽게 등장했습니다.

Background: RT-1 이후의 질문

RT-1은 스케일이 로봇 학습에 통한다는 걸 증명했습니다. 130K 데모, 700+ 태스크, 97% 성공률. 하지만 한계가 있었습니다.

RT-1은 학습 데이터에 없는 개념을 이해하지 못했습니다. "에너지 음료를 피곤한 사람한테 줘"라는 명령은 '에너지 음료 = 피로 회복'이라는 상식 지식이 필요한데, 로봇 데모 데이터에는 이런 정보가 없습니다.

RT-2의 질문: 이미 수조 개의 웹 텍스트+이미지로 학습한 거대 언어 모델이 그 지식을 로봇 행동으로 옮길 수 있을까?

답은 '그렇다' — 그리고 기대 이상이었습니다.

Core Idea: 행동을 텍스트 토큰으로 표현하기

RT-2의 핵심 아이디어는 단순하면서도 강력합니다.

로봇 행동(arm 위치, gripper 상태 등)을 문자열 토큰으로 discretize합니다. 예를 들어 "팔을 x축으로 0.03m 이동"이 256이라는 텍스트 토큰이 됩니다. 그러면 로봇 제어 문제가 언어 모델이 이미 잘 하는 다음 토큰 예측 문제로 바뀝니다.

이렇게 되면 거대한 VLM을 그대로 가져와서 로봇 데이터로 co-fine-tuning만 하면 됩니다. 웹 지식 + 로봇 행동이 하나의 모델 안에 공존합니다.

Architecture: PaLI-X & PaLM-E 기반

RT-2는 두 가지 베이스 모델로 실험합니다:

그림 1. RT-2 아키텍처 — 이미지+텍스트 입력을 받아 행동 토큰을 출력하는 end-to-end VLA 구조

입력 구조

• 이미지: 로봇 카메라 (front view)
• 텍스트 명령: 자연어 instruction
• 출력: 텍스트 토큰 시퀀스 (마지막 N개가 로봇 행동)

RT-1이 EfficientNet + TokenLearner + Transformer였다면, RT-2는 그냥 거대 VLM 하나입니다. 아키텍처 자체는 더 단순해졌습니다.

Action Tokenization

행동 공간:

• 팔 7-DOF (x, y, z, roll, pitch, yaw, gripper): 각 256 bins
• 베이스 이동: 3-DOF

각 bin이 하나의 정수 토큰 → VLM vocab에 추가 → 일반 text token과 동일하게 처리.

Co-fine-tuning

핵심은 로봇 데이터만으로 fine-tuning하는 게 아니라, 기존 웹 VQA 데이터와 로봇 trajectory 데이터를 함께 학습한다는 점입니다. 이렇게 해야 웹 지식이 사라지지(catastrophic forgetting) 않습니다.

Evaluation: 무엇을 테스트했나

6,000회 실제 로봇 실험. 크게 세 가지 평가 축:

1. 기존 태스크 성능

학습 데이터와 비슷한 태스크에서의 성공률.

그림 4. 평가 카테고리별 성공률 — 학습 분포 내 태스크에서 RT-1 수준, 새로운 환경에서 3배 이상 향상

RT-1보다 낮지만, RT-2의 진짜 가치는 다음에 있습니다.

2. 새로운 시나리오 일반화

학습에 없던 객체, 환경, 개념에서의 성공률.

그림 2. 새로운 시나리오 일반화 평가 — RT-2는 학습에 없던 객체/배경/명령에서도 강건하게 동작

3배 이상 향상. RT-1은 학습 분포를 벗어나면 급격히 무너지지만, RT-2는 웹 지식 덕분에 훨씬 강건합니다.

3. Emergent Capabilities — 핵심 발견

이게 RT-2에서 가장 놀라운 부분입니다. 로봇 훈련 데이터에는 전혀 없던 능력들이 자연스럽게 등장했습니다:

Symbol Understanding "숫자 3 위에 물건을 놓아라" — 로봇 데이터에는 '숫자 3'이 없지만, VLM이 시각적으로 숫자를 인식합니다.

Cross-concept Reasoning "술에 맞는 음료를 집어줘" → 맥주 집기 "피곤한 사람에게 줄 음료" → 에너지 음료 집기

그림 6. Emergent capabilities 평가 — 로봇 훈련 데이터에 없던 개념들(수식, 상식 추론 등)에서 RT-2의 성공률

Chain-of-Thought (RT-2-CoT) 명령 실행 전에 "Plan: 에너지 음료는 피로 회복에 좋으니 에너지 음료를 선택한다. Action: [토큰들]" 형식으로 이유를 먼저 생성한 뒤 행동. 복잡한 다단계 추론에서 성능 향상.

Chain-of-Thought 확장

논문에서 별도로 실험한 RT-2-CoT는 다음 구조로 동작합니다:

입력: 이미지 + "어떤 음료가 피로 회복에 좋을까?"
출력: "Plan: Energy drinks help with fatigue. Action: 238 211 ... [행동 토큰]"

CoT를 붙이면 멀티스텝 추론이 필요한 태스크에서 성공률이 유의미하게 올라갑니다. 이는 이후 OpenVLA, π0 같은 후속 연구들이 language chain을 더 깊이 파고드는 계기가 됩니다.

Scale의 효과: 55B vs 5B

모델 크기가 클수록 일관되게 성능이 좋습니다:

• PaLI-X 55B > PaLI-X 5B on emergent tasks
• 특히 새로운 개념 추론에서 격차가 큼

로봇 데이터는 동일한데 베이스 모델 크기만 달라도 emergent capability 차이가 납니다. LLM scaling law가 VLA에도 적용됩니다.

Limitations — 현장 엔지니어 관점

논문이 인정하는 한계:

1. 추론 속도: 55B 모델은 느려서 실시간 제어에 제약
2. 로봇 데이터 의존성: 웹 지식만으론 부족, 여전히 실제 로봇 데이터 필요
3. 단일 로봇 형태: RT-1과 동일하게 Everyday Robots 한정

현장 관점 추가:

• 레이턴시: 55B 모델을 로봇 온보드에서 돌리는 건 현실적으로 어렵습니다. 추론 서버 분리 필수
• Fine-grained manipulation: 텍스트 토큰으로 표현된 action은 여전히 거친 bin resolution 문제 있음 (π0가 이걸 diffusion으로 해결하려 함)
• Catastrophic forgetting: Co-fine-tuning 비율을 잘못 설정하면 웹 지식이 사라짐 — 하이퍼파라미터 튜닝이 까다로움

The Lineage — RT-2가 열어준 것

RT-2가 증명한 것: LLM의 지식이 로봇 행동으로 transfer된다. 이 발견이 이후 모든 VLA 연구의 출발점입니다.

Summary — Key Takeaways

1. VLM의 웹 지식이 로봇으로 전이된다 — co-fine-tuning만으로 emergent capability 획득
2. 행동을 텍스트 토큰으로 표현하면 기존 LLM 인프라 그대로 활용 가능
3. 크면 클수록 emergent capability가 강해진다 — LLM scaling law가 VLA에도 적용
4. Chain-of-Thought가 복잡한 추론에서 유효 — 행동 전 이유 생성이 성능 향상
5. RT-2는 VLA의 패러다임 전환 — task-specific에서 general purpose로

📄 Paper: arXiv:2307.15818 🌐 Project: robotics-transformer2.github.io

다음 포스트: FAST-LIO2 — LiDAR-IMU 융합으로 고속 정밀 odometry 구현