애플 "데이터 적은 언어 AI는 설정 조정보다 다른 언어 섞어 학습하는 게 낫다"
애플이 학습 데이터가 부족한 언어로 언어모델을 사전학습할 때는 하이퍼파라미터를 세게 조정하는 것보다 데이터가 많은 다른 언어를 섞어 학습하는 편이 낫다는 연구 결과를 내놨다. 애플 머신러닝 리서치(Apple Machine Learning Research) 사이트를 보면, 애플은 지난 13일 「Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings」라는 논문을 이 사이트에 올렸다. 제목은 '조정하지 말고 섞어라: 데이터 제약 환경에서는 이중언어 사전학습이 하이퍼파라미터 탐색보다 낫다'는 뜻이다.
연구가 다루는 문제는 '데이터 제약' 상황이다. 논문 초록은 세계 대부분 언어에서 언어모델 사전학습이 데이터가 부족한 조건에서 이뤄진다고 설명한다. 그래서 모델이 같은 학습 데이터를 여러 번 반복해 학습해야 하고, 그 결과 일반화 성능이 떨어진다는 것이다. 처음 보는 문장이나 과제에도 제대로 대응하는 힘이 약해진다는 뜻이다. 텍스트가 풍부한 일부 언어와 달리 많은 언어는 모델을 충분히 학습시킬 만큼의 자료를 모으기 어렵다는 점이 연구의 출발점이다.
초록은 이 문제를 풀 방법으로 두 가지를 든다. 하나는 높은 가중치 감쇠(weight decay) 같은 공격적인 하이퍼파라미터 조정이다. 다른 하나는 데이터가 풍부한 '보조 언어'의 데이터를 섞어 데이터가 적은 목표 언어의 학습을 직접 돕는 방식이다. 연구진은 두 방법이 작동하는 원리가 다르다고 짚었다. 하이퍼파라미터 조정은 가중치를 줄여 네트워크의 용량을 제한하는 방식으로 모델을 규제한다. 반면 보조 데이터 혼합은 조정할 수 있는 혼합 비율로 학습 분포 자체를 넓히고 학습 신호를 다양하게 만든다. 쉽게 말해 앞의 방법은 모델이 데이터를 과하게 외우지 못하도록 묶어두는 것이고, 뒤의 방법은 모델이 배울 재료를 늘려주는 것이다.
논문 제목에는 뒤의 방법, 즉 이중언어 사전학습이 하이퍼파라미터 탐색보다 낫다는 결론이 담겨 있다. 하지만 공개된 초록 요지가 중간에서 끊겨 있어 어떤 언어를 조합했는지, 모델 규모가 어느 정도인지, 두 방법의 성능 차이가 얼마나 되는지는 이번 자료로 확인되지 않았다. 이 논문이 동료평가를 거쳤는지, 학회에서 발표된 논문인지도 확인되지 않았다.
이번 논문은 AI 연구에서 이어지고 있는 '데이터가 모자랄 때 어떻게 학습할 것인가'라는 질문과 맞닿아 있다. 하이퍼파라미터 탐색은 여러 설정값으로 학습을 반복해 최적값을 찾아야 해서 시간과 연산 자원이 많이 든다. 연구 제목처럼 다른 언어 데이터를 섞는 것만으로 더 나은 결과를 얻을 수 있다면, 자료가 적은 언어로 모델을 만들려는 연구자에게는 비교적 간단한 선택지가 하나 생기는 셈이다. 다만 이런 효과가 실제로 얼마나 나타나는지는 본문의 실험 결과를 확인해야 판단할 수 있다.
애플은 연구 성과를 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 공개하는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 볼 수 있는 창구로 꼽힌다. 이번 연구가 애플의 제품이나 서비스에 적용될지는 확인되지 않았다.
