A-RSI, 외부 데이터 없이 스스로 문제 만들고 '갈아줄 때' 아는 멀티모달 AI…샤오미 연구진
샤오미 리서치(Xiaomi Research) 연구진이 외부 학습 데이터나 사람이 쓴 정답 없이 멀티모달 AI 모델이 스스로 성능을 끌어올리는 학습 기법 「A-RSI」를 내놨다. arXiv에 공개된 논문 「A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement」(arXiv:2610.38568)에 따르면, 이 방법은 학습 기록을 지켜보다가 연습 문제가 더는 도움이 되지 않는 시점에 새 문제로 바꿔 준다. 이 방식으로 11개 벤치마크 평균 점수를 57.77에서 61.05로 올렸다. 논문에는 Yu Liu 등 20명이 저자로 참여했다.
연구진이 문제로 삼은 것은 '재귀적 자기개선(Recursive self-improvement)'의 빈틈이다. 모델이 스스로 학습 경험을 만들어 다시 배우는 이 방식이 제대로 돌아가려면 쓸모 있는 경험을 얻는 것만으로는 부족하다. 지금 가진 경험이 언제 쓸모를 다했는지도 판단할 수 있어야 한다. 연구진은 기존 연구가 다음에 '어떤' 경험을 만들지에 집중하느라 새 경험을 '언제' 넣을지는 덜 다뤘다고 지적했다. 또 많은 기존 방법이 자기일관성(self-consistency)이나 다수결 투표로 학습 목표를 정하는데, 이러면 모델이 확신하지 못한 자기 예측에 감독 신호가 기대게 된다는 점도 짚었다.
A-RSI는 이 두 문제를 나눠서 다룬다. '언제'는 학습 흐름이 정하고, 새 문제의 정답은 따로 검증할 수 있게 만드는 구조다. 먼저 학습 로그에 남는 보상(reward) 변화와 정확도를 지켜보다가 학습 신호가 약해지면 문제 묶음(task pool)을 새로 바꾼다. 이 판단에 검증용·시험용 점수는 쓰지 않는다. 평가에 쓰일 데이터를 학습 중에 슬쩍 보는 일을 막으려는 설계다.
문제와 정답은 모델이 짜 둔 프로그램들을 모은 고정 라이브러리에서 나온다. 이 프로그램들이 멀티모달 문제를 만들고 기준 정답도 함께 뽑는다. 정답을 모델의 추측이 아니라 프로그램으로 구하기 때문에 따로 확인할 수 있다. 연구진은 문제 생성 규칙(task-generation contract)을 명시했고, 보상 규칙과 문제 교체 규칙이 갖춰야 할 성질 일부를 자동으로 검증했다. 생성된 정답은 별도로 감사(audit)했다. 학습 루프 전체에 외부 학습 예제나 사람이 쓴 정답 라벨은 들어가지 않는다.
성능은 주 평가 묶음인 11개 벤치마크로 쟀다. 새 문제 800개를 투입하자 평균 점수가 57.77에서 61.05로 3.28포인트 올랐다. 사람이 만든 데이터를 한 건도 쓰지 않고 모델이 만든 문제 800개만으로 얻은 결과다.
이 연구의 의미는 '얼마나 많이 만들까'가 아니라 '언제 바꿀까'로 시선을 옮겼다는 데 있다. 같은 문제를 오래 풀면 모델이 얻는 학습 신호는 점점 줄어든다. A-RSI는 이 감소를 학습 로그에서 직접 읽어 교체 시점을 정한다. 또 정답을 프로그램으로 구해 따로 검증하는 방식은 모델이 자기 오답을 정답으로 믿고 배우는 위험을 줄이려는 시도로 볼 수 있다. 사람이 라벨을 붙인 멀티모달 데이터를 모으는 데는 많은 비용이 드는 만큼, 데이터 없이 돌아가는 자기개선 기법은 학습 비용 측면에서도 관심을 끈다.
논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 35회를 받았다. 이 내용은 저자들이 공개한 초록을 바탕으로 정리한 것이며, 논문은 동료평가를 거치지 않은 사전공개(preprint) 상태다.
