WeFair, 텐센트가 공개한 위챗 숏폼 검색어 의도 맞춤 재작성 모델
텐센트 연구진이 위챗(WeChat) 숏폼 동영상 검색에서 쓰는 모델 'WeFair'를 공개했다. 사용자가 입력한 모호한 검색어를 그 사람의 의도에 맞게 다시 써 주는 모델이다. 사전공개 논문 저장소 arXiv에 올라온 논문 「WeFair: Fidelity-Aware Alignment from Human Feedback for Personalized Query Rewriting in Short-Video Search」(arXiv:2610.16927)에 따르면, 소형 모델 WeFair-2B는 온라인 A/B 테스트에서 유효 동영상 시청률을 상대적으로 2.593% 높였다. 사용자가 검색어를 고쳐 다시 입력하는 비율은 상대적으로 2.350% 줄었다. 이 모델은 하루 1억 건이 넘는 검색어를 처리하는 위챗 숏폼 검색 시스템에 이미 적용됐다.
이번 연구는 Yingtao Ren 등 텐센트 소속 연구자 10명이 함께 진행했다. 논문은 숏폼 동영상 검색의 특성에서 출발한다. 사용자는 짧고 모호한 검색어를 입력하는 경우가 많다. 검색 시스템은 엄격한 응답 속도 제약 안에서 그 뒤에 숨은 개인화된 의도를 찾아내야 한다. 그래서 크기는 작으면서도 정확한 검색어 재작성 모델이 필요하다는 것이 연구진의 문제의식이다.
기존의 대규모 언어모델(LLM) 기반 방법은 합성 추론 데이터를 쓰거나, 검색 이후 사용자가 어떤 영상을 소비했는지에 대한 행동 데이터를 학습에 반영해 성능을 높여 왔다. 연구진은 이 소비 데이터에 지나치게 의존하는 것을 한계로 짚었다. 사용자가 당장 찾으려던 것보다 눈길을 끄는 콘텐츠 쪽으로 모델이 기울 수 있다는 것이다. 이 경우 재작성된 검색어가 사용자의 행동 이력에 근거하더라도 원래 의도에서 벗어나는 '의도 표류(intent drift)'가 생긴다고 연구진은 설명했다.
WeFair는 사람의 피드백이 개인화된 의도를 얼마나 직접 반영하는지를 '피드백 충실도(fidelity)'로 보고, 학습을 시연(demonstration), 선호(preference), 검증(verification)의 세 단계로 나눴다. 연구진은 먼저 실제 검색 세션에서 사용자가 입력한 검색어와, 사용자가 스스로 고쳐 쓴 검색어를 모았다. 그다음 맥락상 근거가 있는 사례만 골라냈다.
시연 단계에서는 지도 미세조정(SFT)을 커리큘럼 방식으로 진행했다. 대규모 '맥락-검색어' 학습에서 시작해, 사람이 검색어를 고쳐 쓰거나 그대로 유지한 사례를 바탕으로 한 추론과 직접 예측으로 나아가는 구조다. 선호 단계에서는 직접 선호 최적화(DPO)로 검색 이후 소비 피드백에서 상대적인 선호를 배운다. 마지막 검증 단계에서는 그룹 상대 정책 최적화(GRPO)를 적용했다. 모델의 출력이 사람이 실제로 고쳐 쓴 검색어나 그대로 유지한 검색어와 정확히 일치할 때 보상을 줘서 의도 표류를 억제한다. 소비 행동처럼 간접적인 신호는 중간 단계에만 쓰고, 사람의 실제 수정이라는 가장 직접적인 신호로 최종 결과를 잡아 주는 설계다.
추가 분석에서는 폭넓은 지도 데이터가 전체 커리큘럼 학습에 도움이 됐다. 검증 단계에서는 보조 보상을 더하는 것보다 정확히 일치할 때만 보상하는 엄격한 방식의 성능이 더 좋았다. 오프라인 실험에서 WeFair-2B는 기존의 강력한 재작성 모델들보다 전체 정확도와 의도 보존 측면에서 앞섰다.
온라인 테스트 결과가 보여 주는 의미는 분명하다. 검색어를 다시 입력하는 비율이 줄었다는 것은 사용자가 첫 검색에서 원하는 영상을 찾는 경우가 늘었다는 뜻으로 읽을 수 있다. 하루 1억 건 이상의 검색어가 오가는 서비스에서 나온 수치라는 점에서 실제 운영 환경의 성과로 볼 수 있다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 26회를 받았다. 다만 동료평가를 거치지 않은 사전공개 논문이며, 이 기사는 저자들이 공개한 초록을 바탕으로 정리했다.
