범용 코딩 에이전트에 3D 인식 도구 붙였더니 공간추론 성능 최대 20점 넘게 올랐다…Ropedia 「S-Agent 2.0」 공개
따로 만든 전문 시스템 대신 시중에 나와 있는 범용 코딩 에이전트에 3D 인식 도구를 붙여 공간추론 성능을 크게 끌어올린 연구가 나왔다. arXiv에 공개된 논문 「S-Agent 2.0: Spatial Reasoning with a General Coding Agent」에 따르면 Ropedia 소속 Rui Gong 등 연구자 12명은 공간추론 에이전트 'S-Agent 2.0'을 개발했다. 이 에이전트는 공개 모델 Qwen3.8-27B를 쓸 때 공간추론 벤치마크 두 곳에서 도구 없는 에이전트보다 각각 13.9점, 20.5점 높은 점수를 냈다. 논문은 허깅페이스의 일일 논문 목록에서 추천 62회를 받았다.
공간추론은 물체가 3차원 공간의 어디에 있는지, 물체끼리 어떤 관계인지, 어떻게 움직이는지를 모델이 알아내는 과제다. 최근에는 시각언어모델(VLM)이 한 번에 답을 내는 대신 3D 인식 도구로 직접 근거를 모으는 '에이전트형' 방식이 나오면서 성능이 크게 올랐다. 연구진은 그래도 한계가 남아 있다고 봤다. 도구가 맞는 근거를 내놔도 모델이 정답에 이르지 못하는 질문이 많다는 것이다. 도구가 내놓은 측정값을 실제로 쓸 수 있는 결론으로 바꾸는 단계, 곧 모델과 도구 사이의 연결 고리가 비어 있다는 게 연구진의 진단이다.
S-Agent 2.0은 이 빈틈을 겨냥했다. 기존 범용 코딩 에이전트에 명령줄(커맨드라인) 방식의 인식 도구 모음을 쥐여주는 구조다. 인터페이스는 'VLM이 근거의 고리를 스스로 닫도록 돕는다'는 원칙 하나에 맞춰 설계했다. 에이전트는 먼저 장면에서 근거를 모으고, 이를 계속 유지되는 '장면 메모리'에 저장한 뒤, 측정값 하나하나를 평이한 공간 언어로 풀어 해석한다. 연구진은 이렇게 하면 코딩 에이전트의 유연성을 그대로 살리면서도 에이전트가 판단에 쓰는 모든 측정값이 도구가 계산한 기하 정보에 근거하게 된다고 설명했다.
성능은 MMSI-Bench와 ReVSI 두 벤치마크로 쟀다. Qwen3.8-27B를 바탕으로 했을 때 S-Agent 2.0은 MMSI-Bench 66.5점, ReVSI 82.3점을 받았다. 같은 모델을 쓴 공간추론 전문 시스템 SpatialClaw는 62.6점, 74.5점이었다. 비공개 모델 Gemini-3.8-Flash에서도 도구를 붙이자 도구 없는 에이전트보다 MMSI-Bench에서 11.2점, ReVSI에서 9.6점이 올랐다. 이때 점수는 74.1점과 90.5점으로, 같은 모델을 쓴 SpatialClaw(67.0점, 79.7점)를 앞섰다.
연구진은 바탕 모델이 강해질수록 도구가 주는 이득이 어떻게 달라지는지도 비교했다. S-Agent 2.0과 SpatialClaw 모두 모델 성능이 높아질수록 도구로 얻는 상승 폭이 줄었지만, 그 정도는 달랐다. ReVSI 기준으로 SpatialClaw의 상승 폭은 13.2점에서 2.7점으로 크게 줄어든 반면, S-Agent 2.0은 9.6점을 유지했다. 더 강한 모델로 바꿔도 도구의 쓸모가 상대적으로 덜 줄어든다는 뜻이다.
특정 에이전트 환경에 묶이지 않는다는 점도 내세웠다. 연구진에 따르면 S-Agent 2.0은 Codex, Claude Code 등 여러 범용 코딩 에이전트 환경에서 작동한다. 공간추론 전용 시스템을 새로 만들지 않고, 이미 널리 쓰이는 코딩 에이전트에 도구 모음과 인터페이스만 더해 성능을 끌어올리는 접근이다.
논문 번호는 arXiv:2610.28354다. 이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
