💾 구글 딥마인드 'RT-2', 로봇 트랜스포머

2023년 8월 1주차 셀렉트스타 뉴스레터

글: 권혁주 ㅣ 검수: 정인영

구글 딥마인드 RT-2, 로봇 트랜스포머

사전 훈련된 VLM(시각적 언어 모델)은 RT-1 로봇 데이터에서 학습하여 로봇을
제어할 수 있는 VLA(시각적 언어 행동) 모델인 RT-2가 됩니다. 사진. 구글 딥마인드.

지난 금요일 구글 딥마인드에서 새로운 인공지능 모델 ‘RT-2’를 발표했습니다.

Robotics Transformer. RT-2는 트랜스포머 기반 VLA(Vision-Language-Action) 모델로 작년 12월 공개된 RT-1를 개선한 모델입니다. 이처럼 비전과 언어와 행동을 모두 다루는 인공지능은 로봇 소프트웨어에 적용됩니다.

실세계에서 활동하며 다양한 상황을 마주하게 될 로봇은 처음 보는 물체와 환경에 대해서도 준수한 성능을 내야 합니다. 예를 들어 프랑스 국기와 독일 국기 생김새를 구분할 줄 알고, 테이블에서 떨어지는 물체를 식별하고 잡을 수 있어야 합니다.

하지만 이처럼 범용 지식을 활용한 인식과 추론 능력을 로봇 인공지능에 구현하기란 어려웠습니다. 구글에 따르면 첫째로 로봇 행동 데이터 수백만 건을 일일이 수집하는 기존 방식에 한계가 있었으며, 두 번째로는 어렵게 수집한 데이터를 학습하더라도, 이를 일반적이고 확장가능한 실시간 추론에 적용할 수 있는 모델은 부족하다는 것입니다.

특정 작업에 대한 라벨 데이터를 별도로 학습하지 않은 채, 범용 작업에 뛰어난 성능을 보이는 건 방대한 웹 데이터(Internet-Scale)를 사전 학습한 대규모 언어 모델(LLM)에서 흔히 찾아볼 수 있는 특성인데요, 이번 레터에서는 연구자들이 어떻게 웹 데이터와 로보틱스 데이터를 함께 모델에 학습시키고, 학습한 지식을 로봇 컨트롤에 활용하는지 살펴보겠습니다.

로봇 행동과 비전-언어 데이터로 Co-Fine-Tune

사전 교육된 VLM 모델을 공동 미세 조정합니다.

결과 모델은 카메라 이미지를 가져와 로봇이 수행할 작업을 직접 예측합니다.

연구자들은 최고 수준(SOTA) 비전-언어 모델을 로봇 행동 데이터와 시각-언어 데이터에 대해 공동으로 파인 튜닝하는 방법을 제안합니다.

RT-2의 기반이 되는 시각-언어 백본(backbone) 모델에는 구글의 멀티모달 언어 모델 PaLM-E와 100개 이상 언어를 지원하는 PaLI-X가 활용됐으며, 로봇 행동 데이터로는 사무실 및 주방 환경에서 수집한 RT-1 로봇 데모 데이터가 사용됐습니다. 이미지 상단에 제시된 세 가지 문답이 그 예시입니다.

Internet-Scale VQA - Robot Action Data

Q1. 영어: 무슨 상황인가요? (회색 당나귀가 길을 걷고 있어요)

Q2. 프랑스어: 이 물건들로 무엇을 할 수 있을까요? (케이크를 구울 수 있어요)

Q3. 로봇이 해야 할 일은 무엇입니까?
(Δ Translation [ 0.1, 0.2, 0 ] , Δ Rotation [ 10°, 25°, -7° ] )

이미지 속 상황을 파악할 수 있게 구성된 대규모 VQA(Visual Question Answering) 데이터와 로봇 행동 데이터를 함께 학습하니, 기본적인 추론을 사용하여 사용자 명령에 응답하는 능력이 생겼습니다.

정리하면 웹스케일 데이터로 사전 훈련된 VLM(시각적 언어 모델)이 RT-1 로봇 데이터를 학습하여 로봇을 제어할 수 있는 VLA(Visual Language Action) 모델인 RT-2가 됐다는 설명입니다.

"A visual-language model (VLM) pre-trained on web-scale data is learning from RT-1 robotics data to become RT-2, a visual-language-action (VLA) model that can control a robot."

8개 정수로 표현되는 로봇 행동

RT-2 교육에 사용되는 동작 문자열의 표현. 사진. 구글 딥마인드.

그렇다면 로봇 동작 데이터는 어떻게 대형 비전 언어 모델과 호환될까요? 연구자들은 로봇 동작을 모델 출력에서 텍스트 토큰으로 변환하는데, 이 토큰들은 언어 토큰과 동일한 방식으로 처리됩니다.

예를 들어 로봇 행동은 "1 128 91 241 5 101 127 217"과 같이 1부터 256까지의 정수 8개로 표현될 수 있습니다. 시작 부분은 현재 에피소드를 종료할지 지속할지 나타내는 플래그 부분이며, 중간은 로봇의 위치(Positional change)와 방향(Rotational change) 정보를 나타내는 부분, 마지막 부분은 로봇 그리퍼의 확장 수준을 나타냅니다.

RT-2 아키텍처 개요

최종 결과 모델은 로봇 카메라 이미지를 가져와 로봇이 수행할 동작을 직접 예측할 수 있는데요, 덧붙여 딥마인드는 “추론 중에 텍스트 토큰이 로봇 행동으로 탈토큰화되어 폐쇄 루프 제어가 가능하다”고 설명했습니다.

"During inference, the text tokens are de-tokenized into robot actions, enabling closed loop control"

이는 학습과 추론을 위해 생성된 텍스트 토큰(로봇이 이해하고 실행할 수 있는 명령어)을 추론 중에 실제 로봇 행동으로 변환(탈토큰화)할 수 있다는 뜻입니다.

폐쇄 루프 제어는 로봇이 자신의 행동을 계속해서 모니터링하고 조정함으로써 목표를 달성하는 방법 중 하나입니다. 이렇게 함으로써 로봇은 백본 모델이 이미 가지고 있는 지식을 활용하여 자신의 제어 능력을 향상시킬 수 있습니다. 다음으로 RT-2가 높은 자연어 처리 능력을 기반으로 어떻게 더 똑똑해질 수 있는지 살펴보겠습니다.

CoT, Chain of Thought를 적용한 로봇

Chain of Thought를 사용한 RT-2의 롤아웃.

여기서 RT-2는 계획(Plan)과 행동(Action)을 모두 생성합니다.

연구자들은 RT-2에 대규모 언어 생성 모델에 활용되는 Chain-of-Thought prompting 방법을 적용해 보기도 했습니다. CoT Chain-of-Thought는 본 질문에 앞서, 예제를 통해 작업과 생각의 추론 단계를 생성 모델에 알려주어 답변 정확도와 품질을 높이는 방법입니다.

연구자들은 데이터 형식에 ’Plan’ 단계를 추가해, 로봇의 행동 목적을 먼저 자연어로 설명하고, 이어서 실제 행동 토큰을 제시했습니다. 예를 들어, 모델에 입력한 지시(나는 배고파)와 행동(1 128 124 136 121 158 111 255)사이에 계획 정보(초콜릿 바를 집어라)를 추가해 인과 관계를 명확히 했습니다.

Chain-of-Thought를 적절히 활용하면 더욱 고차원적인 추론과 행동도 가능할 것으로 전망됩니다. RT-2를 소개하는 문서 초록에서는 ‘피곤한 사람에게는 에너지 드링크를 권해라’ ‘주변에 망치가 없으면 돌을 한 번 써 봐라’ 등의 행동을 예시로 들었습니다.

마지막으로 RT-2가 적용된 로봇이 지시에 따라 파란 블록을 옮기는 영상을 소개하며 레터 마칩니다 :)