UC샌디에이고 연구진, 3D 공간을 직접 돌아다니며 답을 찾는 AI 모델 'ACT3D' 공개
미국 UC샌디에이고(University of California at San Diego) 연구진이 시각언어모델(VLM)이 3D 공간을 스스로 탐색하면서 추론하도록 학습시키는 방법을 내놨다. 사전공개 논문 저장소 arXiv에 공개된 Yijiang Li 등 연구자 3명의 논문 「Learning to Think and Explore in 3D World」(arXiv:2610.21783)에 따르면, 이 방법으로 만든 모델 'ACT3D'는 3D 벤치마크 6종에서 평균 정확도 53.2%를 기록했다. 기반이 된 Qwen 모델보다 22.0% 높고, 구글의 상용 모델 Gemini 3.6 Flash도 앞선 수치다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 33회를 받았다.
기존 3D 이해 연구는 대개 여러 시점의 이미지나 영상, 3D 표현 데이터를 모델에 한꺼번에 넣어 주는 방식이었다. 연구진은 이 방식 대신 VLM이 원래 쓰는 시각 입력 형태를 그대로 뒀다. 사람이 그러듯 한 번에 이미지 한 장만 본다. 3D 공간은 모델이 상호작용하는 '환경'으로만 쓰인다. 모델이 '왼쪽으로 이동' 같은 행동을 고르면 환경은 그 위치에서 렌더링한 이미지를 관찰 결과로 돌려준다.
과정은 이렇다. 모델은 처음에 1인칭 시점 이미지 한 장과 시각 관련 질문을 받는다. 이어 추론하고, 공간을 이동하고, 시점을 바꾸는 일을 여러 번 되풀이한 뒤 최종 답을 낸다. 학습은 두 단계다. 먼저 탐색 경로 데이터로 지도 미세조정을 하고, 이어 강화학습(RL)을 적용한다. 강화학습의 보상은 주로 최종 답이 맞았는지로 정해진다.
연구진은 강화학습 단계에서 어느 시점을 봐야 하는지, 어떤 탐색 행동을 해야 하는지를 직접 가르치지 않았다는 점을 핵심으로 꼽았다. 모델은 자기 행동이 답의 정확도를 얼마나 높였는지만 보고 효과적인 탐색 전략을 스스로 익혀야 한다. 결과만 보고 과정을 익히도록 한 셈이다.
효율도 높았다. 논문에 따르면 ACT3D는 기존 오픈소스 3D 방법들보다 성능이 좋으면서도 입력 프레임은 50~70% 적게 썼다. 학습 때 보지 못한 영역에서도 지도 미세조정만 한 초기 모델보다 평균 5.9% 높은 성능을 냈다.
추가 분석에서는 모델이 질문에 따라 탐색 방식을 바꾸는 모습이 나타났다. 첫 화면만 보고 답할 수 있는 질문에서는 기반 모델보다 0.6% 나아지는 데 그쳤지만, 넓게 탐색해야 하는 질문에서는 개선 폭이 16.3%로 커졌다. 탐색이 필요 없을 때는 덜 움직이고, 필요할 때 탐색의 효과가 크게 나타났다는 뜻이다. 연구진은 ACT3D가 다른 물체에 가려진 대상을 찾아다니고, 쓸데없는 탐색은 피하며, 공간을 비교해야 할 때는 서로 보완이 되는 시점을 골라 확보한다고 설명했다.
연구진은 이번 결과가 결과 기반 강화학습으로 VLM이 주어진 시각 정보를 추론하는 데서 그치지 않고, 그 정보를 '언제, 어떻게' 얻을지까지 배울 수 있음을 보여준다고 밝혔다. 이 논문은 동료평가를 거치지 않은 사전공개 논문으로, 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
