애플 "언어 구별 능력 키우면 다국어 음성 AI 약점 줄어든다"
애플이 다국어 음성 인공지능(AI) 모델의 약점을 줄이는 방법을 제시했다. 여러 언어를 함께 학습한 모델이 한 언어만 학습한 모델보다 성능이 떨어지는 현상을 '다국어 격차'라고 하는데, 이 격차를 좁히는 방법이다. 애플이 2일(현지시간) 자사 머신러닝 연구 사이트에 공개한 논문 「Language Discrimination Improves Linguistic Learning in Multilingual Speech Models」에 따르면, 사전학습 단계에서 모델이 언어를 구별하는 능력을 키우면 다국어 격차가 줄었다. 일부 지표에서는 격차가 아예 사라졌다.
연구 대상은 자기지도 방식의 음성 모델이다. 사람이 정답을 붙여 주지 않아도 대량의 음성 데이터에서 스스로 패턴을 익히는 모델을 말한다. 여러 언어를 함께 학습하면 언어끼리 정보를 나눠 쓸 수 있다는 장점이 있다. 하지만 논문은 전체 사전학습 데이터 양을 똑같이 맞추면 다국어 모델이 여전히 단일 언어 모델에 미치지 못한다고 지적했다. 이번 연구는 이 문제에서 출발했다.
연구진은 영어와 프랑스어 두 언어만 쓰는 HuBERT 실험 환경을 통제된 조건으로 꾸렸다. HuBERT는 대표적인 자기지도 음성 모델 구조다. 이 환경에서 언어 구별 능력을 강화하는 두 가지 방식을 시험했다. 초록에는 그중 하나가 보조적인 언어 관련 학습 장치(auxiliary language…)로 소개돼 있다. 다만 공개된 초록 요지가 중간에서 끊겨 있어 두 방식이 구체적으로 어떻게 설계됐는지는 확인되지 않았다.
연구진에 따르면 결과는 두 종류의 지표에서 모두 나타났다. 소리 단위를 보는 연속적인 음성학적 지표와 그보다 높은 수준의 언어학적 지표 모두에서 다국어 격차가 줄었다. 그러면서도 언어 간 정보 공유는 상당 부분 유지됐다. 모델이 언어를 더 분명히 나눠 인식하게 해도 다국어 학습의 장점은 해치지 않고 약점만 보완할 수 있다는 뜻이다. 격차가 얼마나 줄었는지를 보여 주는 구체적인 수치는 초록 요지만으로는 확인되지 않는다.
이 연구는 다국어 음성 모델이 오래 안고 있던 딜레마와 맞닿아 있다. 모델 하나로 여러 언어를 처리하면 개발과 운영이 효율적이다. 하지만 한정된 데이터와 모델 용량을 여러 언어가 나눠 쓰다 보니 언어별 성능이 떨어지기 쉽다. 이번 논문은 이 문제에 하나의 방향을 제시한다. 언어를 섞어서 배우되, 지금 듣는 말이 어느 언어인지 가려내는 능력을 함께 키우는 것이다. 이번 실험은 그 방향이 효과가 있다는 근거가 된다.
다만 실험은 영어와 프랑스어 두 언어에 한정됐다. 더 많은 언어를 함께 학습하거나 한국어처럼 계통이 전혀 다른 언어가 섞였을 때도 같은 효과가 나타날지는 이번 자료로는 알 수 없다. 두 언어는 서로 어휘를 많이 주고받아 온 사이여서, 언어 간 거리가 먼 조합에서는 결과가 달라질 가능성도 열려 있다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 머신러닝 연구 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 엿볼 수 있는 창구로 꼽힌다. 이번 연구가 음성 비서 등 애플 제품에 적용될지는 공개된 초록에 나와 있지 않다. 이 논문이 동료평가를 거쳤는지도 확인되지 않았다.