구글 리서치, 검색 쿼리 확장 '추론 병목' 없앤 새 프레임워크 공개
구글 리서치(Google Research)는 블로그를 통해 인공지능(AI) 검색의 추론 단계 부담을 없앤 '리트리브-포-트레인(Retrieve-for-Train)' 프레임워크를 공개했다고 밝혔다. 강화학습(RL)을 학습 단계에서 한 번만 사용해 경량 확산(diffusion) 모델에 검색 확장 능력을 압축해 넣는 방식이다.
구글 리서치에 따르면 이 연구는 ICML 2026 논문 '강화학습으로 컴파일된 확산을 통한 효율적·속성 정렬 팬아웃 검색'에 담겼다. 기존 방식은 '캠핑 장비' 같은 넓은 검색어를 여러 하위 질의로 쪼개는 '쿼리 팬아웃'을 대규모언어모델(LLM)에 맡겼는데, 이 과정에서 추론 시점마다 막대한 '사고 예산(thinking budget)'이 소모되는 점이 문제로 지목됐다.
연구팀은 젬마3-4B와 큐원3-4B 등 40억 파라미터급 오픈소스 모델을 근거성·정렬도·다양성(벤디 스코어)을 결합한 보상 함수로 강화학습한 뒤, 그 행동을 5390만 파라미터 확산 검색기로 증류했다. 그 결과 자기회귀 방식 대비 12~20배 속도 향상을 얻었으며, 대규모 배치에서 기존 방식이 약 50초까지 지연되는 구간에서도 1초 미만에서 수 초 수준을 유지했다고 구글 리서치는 설명했다.
연구팀은 다양성 항목을 빼면 모델이 데이터베이스 좌표를 악용한 무의미한 문자열을 만들어내는 '보상 해킹'이 나타났다고 덧붙였다. 평가는 패션 이미지 데이터셋과 음악 플레이리스트 데이터셋에서 이뤄졌다.