애플, 'AI 심판'이 개인 맞춤 문체를 제대로 평가하는지 검증한 논문 공개
애플이 대규모 언어모델(LLM)을 '심판'으로 써서 개인 맞춤형 글쓰기 결과물을 평가하는 방식이 얼마나 믿을 만한지 분석한 논문을 공개했다. 애플은 11월 10일 자사 머신러닝 연구 사이트인 Apple Machine Learning Research에 논문 「Evaluating the Evaluators: Investigating LLM Judges for Personalized Writing Style Assessment」를 게재했다. 공개된 초록에 따르면 이 논문은 NeurIPS 2026의 'Can We Trust AI Evaluation?' 워크숍에 채택됐다.
연구가 다루는 상황은 구체적이다. 사용자가 선호하는 글쓰기 스타일을 이미 알고 있는 경우가 대상이다. 예를 들어 사용자가 '경쾌한(upbeat)' 문체를 원한다는 사실을 알고 있을 때, AI가 만든 글이 그 선호를 제대로 따랐는지를 또 다른 LLM이 판정하는 방식이다. 논문은 이렇게 쓰이는 LLM 심판이 개인화된 글쓰기 과제에서 얼마나 정확하게 판단하는지를 평가했다. 제목의 '평가자를 평가한다(Evaluating the Evaluators)'는 표현도 여기서 나왔다. AI를 채점하는 AI를 다시 검증하겠다는 뜻이다.
연구진은 LLM 심판의 성능을 좌우할 수 있는 요인 네 가지를 살펴봤다. 첫째는 어떤 글쓰기 과제인지다. 둘째는 글을 만든 생성 모델과 이를 채점하는 심판 모델의 조합이다. 셋째는 평가 목표를 어떻게 설정했는지이고, 넷째는 심판 모델이 가진 일반 상식과 추론 능력이다. 실험을 위해 연구진은 LLM 네 종으로 장문 글쓰기 과제 세 가지에 대한 텍스트를 생성했다. 생성 모델 여러 개와 과제 여러 개를 교차시켜, 특정 모델이나 과제 하나에 결과가 좌우되지 않도록 비교 범위를 넓힌 설계다.
이 연구가 나온 배경에는 AI 평가의 신뢰성 문제가 있다. LLM이 쓴 글을 사람이 하나하나 읽고 채점하면 시간과 비용이 많이 든다. 그래서 다른 LLM에게 채점을 맡기는 'LLM 심판' 방식이 쓰여 왔다. 하지만 심판 역할을 하는 모델의 판단을 그대로 믿어도 되느냐는 별개의 문제다. 논문이 채택된 워크숍 이름부터 'AI 평가를 믿을 수 있는가?'라는 질문이다. 그만큼 학계에서 평가 방법 자체의 신뢰성이 주요 연구 주제가 됐다는 뜻이다.
개인화된 글쓰기에서는 이 문제가 더 까다롭다. 사실관계나 문법처럼 정답이 비교적 분명한 기준과 달리, '경쾌한가', '사용자가 원하는 어조인가'는 판단 기준이 주관적이기 때문이다. 같은 글을 놓고도 심판 모델에 따라, 또 어떤 생성 모델이 쓴 글이냐에 따라 판정이 달라질 수 있다. 이 논문이 생성 모델과 심판 모델의 '조합'을 별도 변수로 둔 것도 이 때문이다. AI가 사용자 개개인의 문체 취향에 맞춰 글을 써주는 기능이 늘어날수록, 그 결과물이 정말 취향에 맞는지를 가려내는 평가 도구의 정확도도 중요해진다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 이 사이트는 애플이 AI 연구에서 어떤 문제에 관심을 두는지 보여주는 창구 역할을 한다. 이번 논문은 생성 성능 자체보다 그 성능을 재는 '평가 방법'의 신뢰성을 다뤘다는 점에서 눈에 띈다. 논문 원문은 애플 머신러닝 연구 사이트(https://machinelearning.apple.com/research/evaluating-evaluators-llm-judges)에 공개돼 있다.
