T2Quant, 확산 언어모델 양자화 정확도 최대 6.7%p 높여…Ofek Avivi 연구진 논문
확산 언어모델(DLM)을 양자화할 때는 작업 종류와 노이즈 제거 단계에 따라 정밀도를 다르게 배분해야 한다는 연구 결과가 나왔다. arXiv에 공개된 논문 초록에 따르면 Ofek Avivi 등 연구진 4명은 정답 레이블 없이도 이 배분을 정할 수 있는 양자화 프레임워크 'T2Quant'를 내놨다. 같은 비트 예산에서 기존 양자화 기법의 평균 정확도를 최대 6.7%포인트 끌어올렸다고 밝혔다.
논문 제목은 「Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models」이고 논문 번호는 arXiv:2610.31198이다. 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서는 추천 23회를 받았다. 동료평가를 거치지 않은 사전공개 논문이다.
양자화는 모델이 계산에 쓰는 숫자의 정밀도, 즉 비트 수를 낮춰 메모리 사용량과 연산 부담을 줄이는 기법이다. 비트를 줄일수록 모델은 가벼워지지만 정확도가 떨어질 수 있다. 그래서 어느 부분에 비트를 얼마나 남길지가 핵심 문제다.
확산 언어모델은 이 문제가 더 까다롭다. 초록은 DLM이 노이즈를 여러 번 반복해 걷어내는 방식으로 결과를 만들기 때문에 양자화에서 고유한 어려움이 생긴다고 설명한다. 단어를 하나씩 이어 붙이는 일반 언어모델과 달리 같은 모델이 여러 단계를 거치므로, 단계마다 정밀도를 어떻게 줄 것인지가 따로 따져야 할 문제가 된다.
연구진은 양자화에 대한 민감도가 작업에 따라서도, 시간 단계에 따라서도 달라진다는 점을 확인했다. 다운스트림 작업마다 노이즈 제거 단계별로 필요한 정밀도가 서로 다르다는 것이다. 모든 단계에 같은 비트를 일괄로 주는 방식으로는 이 차이를 반영할 수 없다.
연구진은 이런 패턴을 정답 레이블이나 작업별 평가 지표 없이도 예측할 수 있다는 점도 보였다. 실제 작업에 맞춰 양자화를 조정하려면 보통 정답 데이터로 성능을 재 봐야 하는데, 그 과정 없이 민감도를 가늠할 신호를 찾았다는 의미다.
T2Quant는 이 발견을 바탕으로 만든 작업·시간 인지형 혼합 정밀도 양자화 프레임워크다. 레이블이 필요 없는 민감도 신호를 활용해, 정해진 비트 폭 예산 안에서 활성값(activation)의 정밀도를 노이즈 제거 단계별로 최적 배분한다. 전체 비트 예산은 그대로 두고 민감한 단계에 정밀도를 더 주고 덜 민감한 단계에서는 줄이는 방식이다.
성능은 확산 언어모델 3종과 벤치마크 6개로 검증했다. 연구진은 T2Quant가 기존 양자화 기법의 평균 정확도를 일관되게 높였고, 같은 예산에서 최대 6.7%포인트의 향상을 기록했다고 밝혔다. T2Quant가 기존 기법을 대체하는 대신 그 위에 얹어 정밀도 배분을 개선하는 구조라는 점도 눈에 띈다.
확산 방식은 이미지 생성에서 먼저 자리 잡았고, 최근에는 텍스트 생성에도 쓰이며 연구가 이어지고 있다. 모델을 가볍게 만드는 양자화는 실제 서비스나 개인 기기에서 모델을 돌리는 데 필요한 기술이다. 이번 연구는 확산 언어모델을 가볍게 만들 때 단계와 작업을 함께 고려해야 한다는 점을 실험으로 보여줬다.
