FactEmbed, 기준 이미지에 수정 문장 더해 찾는 검색 기법…KAIST AI 공개
KAIST AI 연구진이 기준 이미지와 수정 문장을 함께 넣으면 그 조건에 맞는 이미지를 찾아 주는 '합성 이미지 검색(CIR)'의 정확도를 높이는 새 기법 'FactEmbed(Factorized MLLM Embeddings)'를 내놨다. 논문 공개 저장소 arXiv에 올라온 「Factorized MLLM Embeddings for Composed Image Retrieval」(arXiv:2611.05193)의 저자 공개 초록에 따르면, FactEmbed는 여러 CIR 벤치마크에서 기존 연구보다 좋은 성능을 냈다. 논문은 WonJun Moon 등 4명이 썼고, 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 44회를 받았다.
합성 이미지 검색은 텍스트만 쓰는 검색이나 이미지만 쓰는 검색과 다르다. 사용자가 기준 이미지 한 장과 '이 부분을 이렇게 바꿔 달라'는 수정 문장을 함께 주면, 시스템이 두 정보를 합쳐 사용자가 원하는 목표 이미지를 찾아야 한다. 예를 들어 옷 사진 한 장에 '색은 파랗게, 소매는 짧게'라는 조건을 붙여 비슷한 상품을 찾는 식이다. 그래서 이미지와 언어를 함께 이해하는 능력이 성능을 좌우한다.
최근에는 이미지와 텍스트를 함께 다루는 멀티모달 대형언어모델(MLLM)을 이 작업에 쓰는 연구가 늘었고 성과도 컸다. 하지만 연구진은 MLLM이 가진 '조합적 이해' 능력이 아직 제대로 쓰이지 않고 있다고 주장했다. 기존 방식은 기준 이미지와 수정 문장을 합친 질의를 대조 학습 신호만으로 곧바로 검색용 임베딩 하나에 옮긴다. 이 과정에서 사용자가 의도한 시각적 변화가 무엇인지를 모델이 따로 풀어 보지 않는다는 것이 연구진의 진단이다.
FactEmbed는 이 두 단계를 떼어 놓는다. 질의를 이해하는 일과 검색에 쓸 변별력 있는 임베딩을 만드는 일을 분리한 것이다. 질의를 내부 추론 없이 임베딩 하나로 바로 바꾸는 대신, 요소별로 나뉜 잠재 표현(factorized latents) 여러 개를 둔다. 이 잠재 표현들은 '목표 이미지를 미리 상상해 보는' 중간 학습 목표를 통해 수정 문장이 뜻하는 시각적 변화를 흉내 낸다. 검색용 표현을 만들기 전에 목표 이미지의 의미부터 잡도록 이끄는 장치다.
이렇게 나뉜 표현이 모델 전체의 검색 성능으로 이어지도록 학습 방식도 손봤다. 연구진은 요소 단위의 대조 손실(factor-level contrastive loss)로 모델을 최적화하고, 분해된 표현을 MLLM의 더 깊은 어텐션 층에 증류해 넣었다.
실제 검색 단계에서 속도를 고려한 설계도 눈에 띈다. FactEmbed는 문장 끝을 나타내는 [EOS] 토큰을 그대로 남겨 이를 바탕으로 전체 수준의 임베딩을 만들고, 이 임베딩으로 먼저 후보를 고른다. 그다음 요소별 잠재 표현을 평균 내 짧은 후보 목록의 순위를 다시 매긴다. 두 표현이 한 번의 순전파에서 함께 나오기 때문에, 재순위 단계를 더해도 연산 비용은 거의 늘지 않는다고 연구진은 설명했다. 정확도를 높이면서도 검색 속도는 크게 해치지 않는 구조다.
