SLA, 로봇 AI에 3차원 공간 이해 학습… HKUSTGZ 연구진 논문 공개
HKUSTGZ 소속 Fuhao Li 등 연구진 10명이 사전공개 논문 저장소 arXiv에 「SLA: Scaling Spatial-Language-Action Model via Continual Pre-training」 논문을 올렸다. 로봇 팔이 물체를 다룰 때 필요한 3차원 공간 이해를 특정 작업에 맞추는 단계가 아니라 사전학습 단계에서부터 키우는 방법이 논문의 핵심이다. 논문 번호는 arXiv:2611.08373이다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 48회를 받았다.
연구진은 초록에서 기존 로봇 AI 모델의 한계를 이렇게 짚었다. 로봇이 물건을 제대로 다루려면 '무엇을 하라는지' 알아듣는 의미 이해와 3차원 공간에서의 정밀한 제어가 함께 필요하다. 그런데 시각·언어·행동을 한 모델에서 처리하는 VLA(vision-language-action) 기반 모델은 대부분 2차원 이미지와 언어로 사전학습한 모델에서 시각 표현을 그대로 물려받는다. 공간 정보는 특정 작업에 맞추는 적응 단계에서야 뒤늦게 학습하는 경우가 많다. 연구진은 공간 이해를 여러 작업에 옮겨 쓸 수 있는 기반 모델의 능력으로 만들려면 더 폭넓은 로봇 경험 데이터에서 배워야 한다고 봤다.
이렇게 나온 모델이 SLA(Spatial-Language-Action Model)다. 연구진은 이미 학습된 pi05 정책 모델을 출발점으로 삼았다. 여기에 '암묵적 공간 정렬'이라는 학습 방식을 지속 사전학습(continual pre-training) 단계까지 넓혔고, 이후 후속 학습(post-training)에서도 이를 이어간다. 학습 중에는 로봇이 다음에 어떤 행동을 할지 예측하는 과제와, 모델 내부의 중간 시각 표현을 3D 인식 모델이 만든 공간 표현에 맞추는 과제를 함께 최적화한다. 3D 인식 모델은 가중치를 고정한 채 일종의 '교사' 역할만 한다.
데이터 측면에서는 성격이 서로 다른 여러 로봇 데이터셋을 골라 하나로 통합했다. 로봇의 형태와 작업, 촬영 장면이 제각각인 데이터에서 공간 정보를 배우도록 하기 위해서다. 이렇게 다양한 데이터를 다루려고 연구진은 '특징 의존 게이트(feature-dependent gates)'를 새로 넣었다. VLA 모델의 여러 층에서 나온 시각 표현을 입력 특징에 따라 적절한 비율로 모아 공간 학습 신호와 맞춘다.
교사 모델은 일반 RGB 영상 외에 데이터에 따라 일부만 있는 깊이 정보와 카메라 보정값도 활용한다. 데이터셋마다 들어 있는 기하 정보가 달라도 있는 만큼은 학습에 쓸 수 있다는 뜻이다. 또 로봇의 상태 정보를 확률적으로 빼고 학습하는 '확률적 상태 드롭아웃'을 적용했다. 모델이 시각 단서에 더 기대게 하고, 시연 데이터의 궤적을 그대로 외우는 과적합을 줄이려는 장치다.
연구진이 강조한 점은 이런 보조 장치를 모두 학습할 때만 쓴다는 것이다. 덕분에 이미 사전학습된 VLA 가중치를 그대로 다시 쓸 수 있고, 실제 로봇을 구동하는 추론 단계의 구조도 원래 모델과 같다. 공간 이해를 강화하려고 모델 구조를 새로 설계하거나 실행 환경을 바꿀 필요가 없다는 얘기다.
이 기사는 저자들이 공개한 초록을 바탕으로 정리했으며, 해당 논문은 동료평가를 거치지 않은 사전공개 논문이다.
