90억 파라미터 로봇 '두뇌', 사후학습으로 성공률 18%→71%… GPT-5.5 기반 Codex에 근접
미국 센트럴플로리다대(University of Central Florida) 연구진이 로봇 작업 계획을 짜는 AI 모델, 즉 '플래너'를 사후학습으로 직접 개선하는 프레임워크 'AgenticRoboRL'을 공개했다. Xinxin Liu 등 연구자 7명이 사전공개 논문 저장소 arXiv에 올린 논문(arXiv:2610.28589)에 따르면, 이 방법으로 학습한 90억(9B) 파라미터 플래너는 로봇 조작 벤치마크 LIBERO-PRO에서 성공률이 18.1%에서 71.0%로 올랐다. 외부 메모리를 쓰지 않고 낸 결과다. 외부 메모리를 붙인 Codex(GPT-5.5)는 같은 벤치마크에서 72.1%를 기록했다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 16회를 받았다.
'에이전틱 로보틱스'는 작업 계획을 세우는 플래너와 실제 로봇을 움직이는 실행 환경, 즉 '하네스'를 묶어 복잡한 조작 작업을 수행하는 시스템이다. 연구진은 초록에서 그동안의 연구가 하네스를 다듬거나 외부 메모리를 붙이는 방식으로 성능을 끌어올렸지만, 플래너로는 성능이 강력한 폐쇄형 모델을 가져다 썼을 뿐 플래너 자체의 능력은 개선하지 않았다고 지적했다. 반면 코딩 에이전트 분야는 모델을 직접 사후학습해 성능을 크게 끌어올렸다. 연구진은 같은 방법이 로봇 플래너에도 통하는지 확인하려고 이번 연구에 나섰다고 밝혔다.
걸림돌은 하네스마다 실행 방식이 다르다는 점이었다. 어떤 하네스는 시각·언어·행동 모델(VLA)이 가진 기술을 호출하는 방식으로 로봇을 움직이고, 어떤 하네스는 플래너가 제어 코드를 직접 생성한다. 하네스별로 학습 체계를 따로 만들면 사후학습을 여러 환경으로 넓히기 어렵다.
AgenticRoboRL은 이 문제를 '하네스별 어댑터'로 풀었다. 어댑터는 플래너가 하네스와 주고받은 상호작용 기록을 작업 성공 여부와 연결해 준다. 덕분에 실행 방식이 서로 달라도 강화학습 파이프라인 하나로 학습할 수 있고, 실행을 맡는 구성요소는 건드리지 않은 채 플래너만 학습시킨다. 학습은 두 단계다. 먼저 지도 미세조정(SFT)으로 기본기를 잡고, 이어서 여러 차례 주고받는 상호작용 전체를 단위로 하는 다중 턴 강화학습을 적용한다.
이번 결과에서 눈여겨볼 대목은 모델 크기와 조건의 차이다. 성능을 높이려고 외부 메모리 같은 장치를 덧붙인 대형 폐쇄형 모델을, 장치 없이 학습만으로 개선한 90억 파라미터 모델이 1.1%포인트 차이까지 따라잡았다. 학습 전 18.1%에서 71.0%로, 성공률이 4배 가까이 뛰었다. 연구진은 이 결과가 사후학습이 로봇 플래너를 개선하는 효과적인 방법임을 보여준다고 평가했다.
지금까지 에이전틱 로보틱스는 대형 상용 모델을 플래너로 두고 그 바깥을 다듬는 쪽으로 발전해 왔다. 이번 연구는 비교적 작은 공개 모델도 학습을 거치면 그에 근접한 계획 능력을 낼 수 있다는 근거를 하나 더한 셈이다. 연구진은 프레임워크와 학습을 마친 플래너 체크포인트를 공개하겠다고 밝혔다.
이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 기사는 저자들이 arXiv에 공개한 초록을 바탕으로 정리했다.
