TailSteer, 이미지 반복 편집 때 그림이 조금씩 변하는 문제 줄여…MMLab-CUHK 연구
MMLab-CUHK 소속 Ruikang Li 등 연구진 9명이 사전공개 논문 저장소 arXiv에 올린 논문에 따르면, 연구진은 이미지를 여러 번 이어서 편집할 때 결과물이 조금씩 원본에서 벗어나는 현상을 줄이는 학습 기법 'TailSteer'를 내놨다. 논문 제목은 「TailSteer: Trajectory-Tail Steering for Drift-Resistant Multi-turn Image Editing」이다. 연구진은 FLUX, SenseNova, Qwen 계열 모델에 이 기법을 적용해 15~20회 연속 편집에서 쌓이는 변형(드리프트)을 크게 줄였고, 기존 모델의 성능도 대부분 유지했다고 밝혔다.
연구진이 다룬 문제는 '다회차 편집'이다. 한 번의 편집 지시를 잘 수행하는 모델이라도 여러 번 이어지는 편집에서 안정적이라는 보장은 없다. 편집 결과물을 다음 편집의 입력으로 계속 다시 쓰다 보면, 매번 생기는 작은 의도치 않은 변화가 쌓여 결국 눈에 띄는 시각적 변형으로 커진다는 것이 논문의 문제 제기다. 대화하듯 이미지를 여러 차례 고쳐 나가는 사용 방식에서 특히 부딪히는 문제다.
논문은 기존 대응 방식의 한계도 짚었다. 지금까지는 주로 다회차 편집 데이터로 모델을 학습시키거나 여러 편집 단계를 이어서 생성(롤아웃)하며 학습하는 방법을 썼는데, 이 과정에서 사전학습으로 얻은 모델의 기존 능력이 바뀔 수 있다. 추론 단계에 별도 장치를 붙이는 방법도 있지만, 대규모 파운데이션 모델로 넓혀 쓰기 어렵다는 것이 연구진의 설명이다.
TailSteer는 학습의 마지막 단계에 붙이는 방식이다. 앞선 학습에서 얻은 생성·편집 능력은 그대로 두고 다회차 편집에서 버티는 힘만 키우겠다는 것이다. 원리는 간단하다. 확산 모델은 잡음에서 시작해 여러 단계에 걸쳐 잡음을 걷어 내며(디노이징) 이미지를 만든다. TailSteer는 이 과정의 초반부는 원래 모델과 최대한 비슷하게 유지하고, 보존을 위한 보정은 과정의 끝부분, 곧 '궤적의 꼬리(trajectory tail)'에 집중한다. 미세한 어긋남은 이 끝부분에서 억누를 수 있다는 판단이다. 기법 이름도 여기서 따왔다.
학습 데이터를 마련하는 방식도 특징이다. 보정은 편집 모델이 스스로 수행한 디노이징 과정(온폴리시 롤아웃)에서 배운다. 이때 편집 대상이 아닌, 바뀌지 않아야 할 원본 부분을 보존 기준으로 삼는다. 사람이 정답을 골라 만든 편집 전후 이미지 쌍이 따로 필요하지 않다는 뜻으로, 학습 데이터를 모으는 부담을 덜 수 있다.
실험에서 연구진은 FLUX, SenseNova, Qwen 계열 모델 모두에서 15~20회 편집에 걸친 누적 드리프트가 크게 줄었다고 보고했다. 텍스트로 이미지를 만드는 성능과 한 번만 편집하는 성능을 재는 여러 벤치마크에서도 원래 모델의 성능을 대체로 유지했다. 연구진은 이 결과를 두고 파운데이션 모델이 이미 가진 능력을 처음부터 다시 배우게 하지 않고도, TailSteer를 거치는 것만으로 긴 연속 편집에서의 안정성을 끌어낼 수 있음을 보여 준다고 설명했다.
이 논문은 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서 추천 37회를 받았다. 논문 번호는 arXiv:2611.06741이며, 동료평가를 거치지 않은 사전공개 논문이다. 이 기사는 저자가 공개한 초록을 바탕으로 정리했다.
