USC 연구진, 코딩 에이전트가 '코드로 3D 세계' 짓는 연구 생태계 '3DCodeVerse' 공개
미국 서던캘리포니아대(University of Southern California) 연구진이 코딩 에이전트가 수정하고 검증할 수 있는 3D 콘텐츠를 대량으로 만들게 하는 연구 생태계 「3DCodeVerse」를 내놨다. 논문 사전공개 사이트 arXiv에 올라온 「3DCodeVerse: Exploring 3D Worlds as Code」(arXiv:2610.22341) 초록에 따르면, 연구진은 실행 가능한 3D 코드 200만 건 규모의 데이터셋과 생성 결과를 자동으로 평가·수정하는 멀티 에이전트 프레임워크를 함께 공개했다. 논문에는 Yipeng Gao 등 19명이 저자로 이름을 올렸다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 22회를 받았다.
초록을 보면 3DCodeVerse는 크게 세 부분으로 이뤄진다. 첫째는 독립 실행형 3D 코드를 모은 데이터셋 「3DCodeVerse-2M」이다. 연구진은 오픈소스 데이터를 모으고, 특수한 3D 표현 방식을 코드로 바꾸고, 코딩 에이전트로 새 프로그램을 만드는 세 가지 방법으로 이 데이터를 구축했다. 각 프로그램에는 지정된 실행 환경에서 돌리는 데 필요한 소스 파일과 관련 에셋이 함께 묶였고, 설명과 검증 기록이 있으면 같이 담겼다.
둘째는 「3DCodeVerse 하네스」다. 3D 콘텐츠를 만들고 다듬는 멀티 에이전트 프레임워크로, 작업 흐름을 방향성 비순환 그래프(DAG) 형태로 짠다. 실행 검사와 공간 측정, 시각 피드백을 이용해 생성된 프로그램을 자동으로 평가하고 고치며, 생성하는 동안 사람의 피드백은 받지 않는다. 셋째로 연구진은 3D 코딩을 체계적으로 실험했다. 오픈 모델을 미세조정해 기준 성능을 세우고, 하네스를 구성 요소별로 분석해 실무에 쓸 수 있는 지침을 정리했다.
이런 연구가 나온 배경에는 3D 콘텐츠를 '결과물'이 아니라 '코드'로 다루려는 흐름이 있다. 메시나 이미지로 바로 3D 모델을 만들면 나중에 일부만 고치기 어렵고, 결과가 맞는지 확인하기도 쉽지 않다. 반면 3D 장면을 프로그램으로 표현하면 크기와 위치를 숫자로 바꿀 수 있고, 실행 결과를 측정해 검증할 수도 있다. 연구진이 '편집 가능하고 검증 가능한' 콘텐츠를 앞세운 것도 이 때문으로 보인다. 다만 이런 방식은 대규모 학습 데이터가 부족하고, 언어 모델이 공간 관계를 잘 따지지 못한다는 한계가 있었다. 3DCodeVerse는 데이터셋과 자동 검증 도구를 한데 묶어 이 두 가지 문제를 함께 풀려는 시도다.
성능 수치도 초록에 나온다. 연구진은 자신들의 데이터셋으로 미세조정하자 오픈소스 모델의 3D 코딩 능력이 크게 올랐다고 밝혔다. 또 같은 모델인 Claude Opus 5.5를 두 쪽에 똑같이 쓴 조건에서, 3DCodeVerse 하네스가 Claude Design(3D Object)과 사람이 직접 비교한 일대일 평가에서 90%의 승률을 기록했다고 주장했다. 같은 기반 모델을 썼는데도 결과 차이가 이만큼 났다면, 모델 자체보다 생성을 감싸는 검증·수정 구조가 결과물 품질에 큰 영향을 준다는 뜻으로 읽힐 수 있다.
다만 평가자 수, 평가 문항 수, 미세조정에 쓴 모델 종류와 구체적인 성능 향상 폭 같은 세부 조건은 초록에 나오지 않아 확인되지 않았다. 데이터셋과 하네스를 실제로 어떤 범위까지 공개하는지도 초록만으로는 알 수 없다. 이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
