텐센트 훈위안, 장기 과제용 AI 에이전트 강화학습 기법 'TreeOPSD' 공개…GRPO보다 정확도 4.97포인트 높아
텐센트 훈위안(Tencent Hunyuan) 연구진이 여러 단계의 상호작용을 거쳐야 하는 AI 에이전트를 강화학습으로 훈련하는 새 기법 'TreeOPSD'를 공개했다. 논문 사전공개 플랫폼 arXiv에 올라온 「Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning」(arXiv:2610.23181) 논문에 따르면, 이 기법은 '딥 리서치(Deep Research)' 환경에서 Qwen3-30B-A3B-Thinking-2507 모델의 평균 정확도를 기존 GRPO 방식보다 4.97포인트 높였다. 논문 저자는 Heming Zou 등 10명이다. 이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 18회를 받았다.
연구진이 문제로 삼은 것은 장기 과제를 수행하는 에이전트를 학습시키는 일이다. 정답을 검증할 수 있는 보상을 쓰는 강화학습(RLVR)은 대형언어모델 사후학습의 표준 방법으로 자리 잡았다. 그러나 에이전트가 여러 차례 행동을 이어가는 과제에서는 두 가지 난제가 생긴다고 연구진은 설명했다. 첫째, 마지막 결과에 대한 보상만 쓰면 중간의 어느 턴이 성공에 기여했는지 가려내는 '신용 할당'이 드물고 들쭉날쭉해진다. 둘째, 한 번 모은 롤아웃 데이터로 미니배치 업데이트를 연달아 하면 현재 정책이 데이터를 만든 행동 정책에서 점점 멀어지는 '정책 노후화'가 나타난다.
기존에도 해법은 있었다. 학습된 비평 모델(크리틱)이나 과정 보상 모델, 온폴리시 증류로 보상 신호를 촘촘하게 만드는 방식이다. 다만 연구진은 이런 방식이 가치 네트워크나 단계별 주석, 더 강한 외부 교사 모델을 필요로 해 훈련이 복잡해진다고 지적했다. 정책이 멀어지는 문제를 완화하는 중요도 샘플링과 클리핑에 대해서도, 연속된 업데이트가 지나치게 나아가지 않도록 붙잡아 줄 유한한 목표를 정해주지는 못한다고 평가했다.
TreeOPSD는 크리틱 없이 이 두 문제를 함께 다루는 자기 증류 프레임워크다. 상호작용의 각 턴을 트리의 노드로 보고, 같은 앞부분을 공유한 지점에서 서로 다른 후속 행동을 갈래로 뻗어 나가게 한다. 이후 각 갈래의 최종 보상을 거꾸로 거슬러 올려 보내 턴마다 암묵적인 기여도를 계산한다. 별도의 가치 네트워크나 사람이 단 단계별 주석 없이도 턴 단위 신호를 얻는 방식이다.
이렇게 얻은 기여도는 고정된 행동 정책 대비 우도비로 매개변수화한, 닫힌 형태의 '상한이 있는 교사 분포'로 바뀐다. 학생 정책이 이 교사 분포와의 차이를 줄이도록 학습하면 행동 정책 지점에서는 일반적인 정책 경사와 같은 방향으로 움직인다. 동시에 미니배치 업데이트가 이어져도 유한한 목표를 넘어서지 않도록 업데이트 폭이 제한된다. 외부의 더 강한 모델 대신 자기 자신의 탐색 결과에서 교사 신호를 만든다는 점에서 '자기 증류'라는 이름이 붙었다.
연구진은 TreeOPSD가 여러 경쟁 벤치마크와 다양한 모델 규모에서 에이전트 능력을 끌어올렸으며, 특히 상호작용이 긴 과제에서 효과가 두드러졌다고 밝혔다. 대표 사례가 앞서 소개한 딥 리서치 환경에서의 4.97포인트 향상이다. 비교 대상인 GRPO는 최근 대형언어모델 강화학습에서 널리 쓰이는 기법이다.
이번 연구는 에이전트 학습의 효율을 높이면서도 훈련 구성 요소를 늘리지 않는 쪽에 무게를 뒀다. 크리틱, 단계별 주석, 외부 교사를 모두 빼고도 턴 단위 신호와 업데이트 안정성을 확보했다는 것이 연구진의 설명이다. 이번 논문은 동료평가를 거치지 않은 사전공개 논문이다.
