애플 "번역 품질 평가, 사람도 AI도 쉽지 않다"… LLM 평가자 신뢰성 검증 논문 공개
애플이 대규모언어모델(LLM)을 기계번역 품질 평가에 쓸 수 있는지 따져본 연구 논문을 공개했다. 애플은 지난 12일 자사 머신러닝 연구 사이트(Apple Machine Learning Research)에 「Large Language Models for Machine Translation Quality Annotation: Humans and Models Are Both Challenged」라는 제목의 논문을 올렸다. 제목을 우리말로 옮기면 '기계번역 품질 주석 작업에서의 대규모언어모델: 사람과 모델 모두 어려움을 겪는다'이다. 번역 품질을 판정하는 일이 AI뿐 아니라 사람에게도 까다롭다는 점을 제목에서부터 내세운 셈이다.
논문 초록에 따르면 연구진은 문제의식을 이렇게 밝혔다. 기계번역을 평가할 때 LLM은 사람의 판단보다 효율적이고 비용이 적게 드는 대안으로 여겨진다. 그러나 기계번역 평가는 언어 쌍이 매우 많고, 분야(도메인)도 다양하며, 오류를 얼마나 세밀하게 표시하느냐는 기준도 제각각이다. 따라서 LLM을 사람 평가의 대안으로 믿고 쓰려면 먼저 이 여러 측면에서 충분히 검증해야 한다는 것이 연구진의 주장이다.
연구진이 검증 대상으로 삼은 평가 체계는 두 가지다. 하나는 번역 오류를 유형과 심각도에 따라 나눠 점수를 매기는 '다차원 품질 지표(MQM, Multidimensional Quality Metrics)'이고, 다른 하나는 번역문에서 오류가 있는 구간을 직접 표시하는 '오류 구간 주석(ESA, Error Span Annotation)'이다. 둘 다 기계번역 연구에서 널리 쓰이는 평가 방식이다. 연구진은 이 두 체계에서 LLM이 내린 평가가 사람 평가자의 판단과 얼마나 일치하는지 비교했다.
다만 공개된 초록 요지에는 어떤 LLM을 실험에 썼는지, 어떤 언어 쌍을 대상으로 했는지, 사람과 모델의 일치도가 구체적으로 어느 수준이었는지는 나와 있지 않다. 제목이 말하는 '사람과 모델 모두의 어려움'이 정확히 무엇을 가리키는지도 초록 요지만으로는 확인되지 않았다. 이 논문이 동료평가를 거쳤는지 역시 밝혀지지 않았다.
이번 연구는 이른바 'LLM 심판(LLM-as-a-judge)' 흐름과 맞닿아 있다. 번역 품질을 사람이 일일이 평가하려면 언어별 전문 인력이 필요해 비용과 시간이 많이 든다. 그래서 업계와 학계는 LLM에 평가를 맡기는 방안을 적극적으로 시도해 왔다. 하지만 언어나 분야에 따라 평가 품질이 들쭉날쭉할 수 있다는 우려도 꾸준히 나왔다. 애플의 이번 논문은 LLM을 평가자로 쓰기 전에 언어 쌍, 도메인, 주석의 세밀도별로 신뢰성을 꼼꼼히 확인해야 한다는 점을 짚었다. 아울러 기준점으로 삼는 사람 평가조차 완벽하지 않을 수 있다는 문제도 함께 다룬 것으로 보인다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 이 사이트에 올라오는 논문들이 애플의 AI 연구 방향을 엿볼 수 있는 창구로 여겨지는 이유다. 이번 논문이 애플의 실제 번역 서비스나 제품 개발에 어떻게 반영될지는 확인되지 않았다.
