Zooming without Zooming v2, 이미지 확대 장면으로 학습해 시각 증거 연결 능력 키워…inclusionAI
inclusionAI 연구진이 이미지 한 장의 여러 부분을 확대해 학습 데이터를 만들고, 이를 써서 시각언어모델(VLM)의 멀티모달 인식 능력을 끌어올리는 방법을 내놨다. 논문 사전공개 사이트 arXiv에 올라온 논문에 따르면, Lai Wei 등 연구자 13명은 데이터 합성 프레임워크 'EvidenceConnect'와 이 프레임워크로 만든 데이터로 훈련한 모델 'Zooming without Zooming v2(ZwZ2)'를 발표했다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 28회를 받았다.
연구진은 멀티모달 인식을 멀티모달 지능의 기반으로 본다. 그중에서도 공간 인식과 멀티모달 장문맥 이해를 핵심 과제로 꼽는데, 각각 체화형 AI(embodied AI)와 멀티모달 에이전트를 떠받치기 때문이다. 문제는 데이터다. 이런 과제에 맞춘 고품질 학습 데이터를 직접 만들기는 어렵고 비용도 많이 든다.
연구진이 찾은 돌파구는 두 과제에 공통으로 깔린 능력이다. 논문은 이를 '증거 연결(connecting evidence)'이라고 부른다. 관련된 시각 정보를 찾아내고, 그 정보를 알맞은 대상에 연결하고, 대상 사이의 관계를 파악한 뒤, 이를 종합해 답을 내는 능력이다. 연구진은 공간 인식이나 장문맥 이해용 데이터를 바로 만드는 것보다, 이 공통 능력을 기르는 데이터를 만드는 편이 훨씬 쉽다고 봤다.
EvidenceConnect는 이 생각을 구현한 프레임워크다. 이미지 한 장 안에서 서로 관련된 영역들을 확대해 보여주고, 그 시각 정보들을 비교하거나 모으거나 차례로 이어야 풀 수 있는 질문을 만든다. 연구진은 구현하기 쉽다는 점을 장점으로 내세웠다.
데이터 품질은 두 단계로 걸러낸다. 먼저 서로 독립된 여러 VLM이 같은 답을 낼 때만 그 답을 정답으로 남긴다. 다음으로 질문에 쓰인 영역을 지우고 다시 확인하는 '영역 제거 테스트'를 거친다. 해당 영역을 지워도 답이 그대로 나오는 질문은 버린다. 그 영역의 시각 정보를 실제로 봐야만 풀리는 질문만 남기겠다는 뜻이다.
이렇게 만든 데이터로 연구진은 기본 VLM을 RLVR(검증 가능한 보상 기반 강화학습) 방식으로 훈련해 ZwZ2를 얻었다. 연구진에 따르면 합성 데이터는 특정 벤치마크에 맞춰 만든 것이 아닌데도 ZwZ2의 세밀한 인식과 공간 인식 성능이 좋아졌다. 연구진이 처음에 목표로 삼은 체화형 공간 추론과 멀티모달 장문맥 이해뿐 아니라 멀티모달 에이전트 과제와 일반 시각 추론에서도 성능이 올랐다고 한다.
연구진은 이 결과가 EvidenceConnect가 증거 연결 능력을 학습시키는 데 효과적이라는 점을 보여준다고 밝혔다. 또 과제마다 따로 데이터를 만들지 않고 여러 과제에 공통된 능력을 강화하면 더 폭넓은 상황에 통하는(일반화 가능한) 멀티모달 인식을 얻을 수 있다고 주장했다. 비싼 맞춤형 데이터 대신 이미지 한 장을 확대해 만든 질문만으로 여러 과제의 성능을 함께 끌어올렸다는 점이 이번 연구의 핵심이다.
논문 번호는 arXiv:2610.37037이다. 이 논문은 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
