애플 "튜닝보다 섞어라"…데이터 부족한 언어 AI는 이중언어 사전학습이 더 낫다
애플이 학습 데이터가 부족한 언어로 언어모델을 만들 때는 하이퍼파라미터를 공들여 조정하기보다 데이터가 풍부한 다른 언어를 섞어 학습하는 편이 더 낫다는 연구 결과를 내놨다. 애플은 13일(현지시간) 자사 머신러닝 연구 사이트 'Apple Machine Learning Research'에 「Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings」 논문을 공개했다. 제목을 옮기면 '튜닝하지 말고 섞어라: 데이터가 제한된 환경에서는 이중언어 사전학습이 하이퍼파라미터 탐색보다 낫다'는 뜻이다.
공개된 초록에 따르면 연구진이 주목한 문제는 '데이터 제약'이다. 세계 대부분 언어는 언어모델 사전학습에 쓸 텍스트가 충분하지 않다. 그래서 같은 학습 데이터를 여러 번 반복해 학습시켜야 하는데, 이렇게 하면 모델의 일반화 성능, 곧 처음 보는 문장을 다루는 능력이 떨어진다.
논문은 이 문제를 푸는 방법으로 두 가지를 비교했다. 하나는 하이퍼파라미터를 공격적으로 조정하는 방법이다. 높은 가중치 감쇠(weight decay)처럼 모델 가중치를 줄여 네트워크 용량을 제한하는 방식으로, 모델이 반복된 데이터를 통째로 외우지 못하게 막는다. 다른 하나는 데이터가 풍부한 보조 언어의 데이터를 섞는 방법이다. 혼합 비율을 조절해 학습 데이터의 분포를 넓히고 학습 신호를 다양하게 만들어, 데이터가 적은 목표 언어를 직접 돕는다.
두 방법은 접근이 정반대다. 튜닝은 모델의 표현 능력을 '줄여서' 과적합을 막고, 데이터 혼합은 모델이 보는 데이터를 '넓혀서' 같은 문제를 푼다. 논문 제목은 데이터가 제한된 환경에서 후자가 더 낫다는 결론을 담고 있다.
다만 공개된 초록 요지는 중간에서 끊겨 있어 구체적인 실험 조건과 결과는 확인되지 않았다. 어떤 언어를 목표 언어와 보조 언어로 썼는지, 모델 규모가 어느 정도인지, 성능 차이가 얼마나 났는지는 초록 요지만으로는 알 수 없다. 이 논문이 동료평가를 거쳤는지도 확인되지 않았다.
이번 연구는 언어모델 개발의 오래된 불균형을 겨냥한다. 대형 언어모델은 인터넷에 대량으로 쌓인 텍스트를 먹고 자라는데, 그 양은 언어마다 크게 다르다. 데이터가 적은 언어로 모델을 만들려면 같은 데이터를 반복해 쓸 수밖에 없고, 개발자들은 그 부작용을 줄이려고 하이퍼파라미터 탐색에 시간과 연산 자원을 들여 왔다. 논문의 주장대로라면 데이터가 부족한 언어를 다룰 때는 설정값을 미세하게 찾는 일보다 어떤 보조 언어를 어떤 비율로 섞을지 정하는 일이 더 중요해진다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 엿볼 수 있는 창구로 꼽힌다. 다국어 모델 학습의 효율을 다룬 이번 논문도 그런 흐름에 있다. 다만 이 연구 결과가 애플 제품이나 서비스에 실제로 적용될지는 확인되지 않았다.