L3G-World, 끝없이 펼쳐지는 3D 세계를 초당 9프레임으로 실시간 생성… KAIST AI 연구진
사용자가 조작하는 대로 가상 세계를 실시간으로 끝없이 만들어 내면서도, 한참 돌아다닌 뒤 처음 자리로 돌아와도 풍경이 그대로 유지되는 AI 기술이 나왔다. 논문 사전공개 사이트 arXiv에 공개된 논문에 따르면, KAIST AI 소속 최진혁(Jinhyeok Choi) 등 연구진 8명은 「L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory」에서 새 세계 생성 모델 L3G-World를 소개했다. 연구진은 이 모델이 초당 9프레임(9 FPS)으로 실시간 세계 생성을 해낸다고 밝혔다.
이 연구는 '인터랙티브 월드 모델'을 다룬다. 사용자가 앞으로 가거나 방향을 트는 등 행동을 입력하면, 그에 맞는 다음 장면을 영상으로 만들어 내는 AI다. 이 분야의 오랜 숙제는 공간 일관성이다. 오래 탐험할수록 앞서 본 장소를 기억해 똑같이 다시 보여 줘야 하는데, 이걸 실시간으로 해내기가 어렵다. 저자들은 초록에서 기존 방식이 크게 두 갈래였다고 설명했다. 지금까지 만든 영상 프레임을 맥락으로 계속 참고하는 방식과, 장면을 명시적인 3D 메모리로 저장하는 방식이다. 하지만 두 방식 모두 영상이 길어질수록 메모리도 함께 불어나 확장성이 떨어진다. 3D 메모리 방식에는 문제가 하나 더 있다. 저장된 3D 장면을 일반 컬러(RGB) 이미지로 렌더링한 다음, 이를 영상 생성 모델이 쓰는 잠재 공간으로 다시 인코딩해야 해서 실시간 생성이 불가능했다.
연구진이 내놓은 해법은 '잠재 3D 가우시안 메모리(Latent 3D Gaussian Memory, L3G)'다. 피드포워드 방식 3D 재구성의 효율성과, 작고 빠르게 렌더링되는 장면 표현을 결합했다. L3G-World에서는 메모리 업데이터와 비디오 확산 트랜스포머(DiT)가 번갈아 작동하는 자기회귀 구조로 세계를 이어 만든다. DiT가 새 장면을 생성하면 메모리 업데이터가 이를 3D 메모리에 반영하고, 갱신된 메모리가 다시 다음 장면 생성의 기준이 되는 식이다.
핵심은 메모리가 커지는 방식에 있다. 메모리 업데이터는 새로 관측된 영역에만 가우시안을 추가하고, 이미 있는 가우시안은 다듬는다. 그래서 메모리 크기가 영상 길이가 아니라 탐험한 공간의 넓이에 비례해 늘어난다. 같은 곳을 오래 맴돌아도 메모리가 쓸데없이 커지지 않는다는 뜻이다. 또 각 가우시안은 색 정보 대신 VAE 잠재 특징값을 저장한다. 덕분에 메모리를 DiT의 잠재 공간으로 곧바로 렌더링할 수 있어, 기존 3D 메모리 방식의 걸림돌이던 VAE 재인코딩 단계를 아예 건너뛴다.
연구진은 실험에서 L3G-World가 생성 품질과 장기 공간 일관성 모두 최고 수준(SOTA)을 기록했다고 밝혔다. 효율 비교에서는 지표마다 가장 효율적인 기존 3D 메모리 기반 모델을 기준으로 삼았다. 그 결과 3D 기본 요소(프리미티브) 수는 최대 38.6분의 1로 줄었고, 메모리 업데이트는 3.2배, 메모리 렌더링은 359배 빨라졌다. 이런 효율 개선이 초당 9프레임 실시간 생성으로 이어졌다는 설명이다.
이번 연구는 실시간성과 공간 기억을 함께 잡으려는 시도라는 점에서 눈길을 끈다. 게임처럼 사용자가 직접 돌아다니는 가상 공간을 AI로 만드는 데 필요한 조건이기 때문이다. 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 29회를 받았다. 다만 이번 논문은 동료평가를 거치지 않은 사전공개 논문이고, 위 성능 수치는 모두 저자들이 초록에서 밝힌 결과다. 논문 번호는 arXiv:2610.40614다.
