애플, 텍스트·이미지·오디오를 처음부터 함께 학습한 '3중 모달 마스크드 확산 모델' 논문 공개
애플이 텍스트·이미지·오디오 세 가지 형태의 데이터를 한 모델에서 처음부터 함께 학습한 '마스크드 확산 모델(Masked Diffusion Model, MDM)' 연구를 내놨다. 애플은 지난 14일 자사 머신러닝 연구 사이트(Apple Machine Learning Research)에 논문 「The Design Space of Tri-Modal Masked Diffusion Models(3중 모달 마스크드 확산 모델의 설계 공간)」을 올렸다. 연구진은 초록에서 이 모델을 "텍스트, 이미지-텍스트, 오디오-텍스트 데이터로 처음부터 사전학습한 최초의 3중 모달 MDM"이라고 소개했다.
초록을 보면 연구진은 모델을 만드는 데 그치지 않고 학습 설계에 쓰이는 여러 변수를 차례로 분석했다. 분석 대상은 멀티모달 스케일링 법칙, 모달리티(데이터 형태)를 섞는 비율, 노이즈 스케줄, 배치 크기가 미치는 영향이다. 추론 단계에서 쓸 최적화된 샘플링 기본값도 함께 내놨다. 연구진은 배치 크기를 분석하는 과정에서 확률미분방정식(SDE)에 기반한 새로운 결과를 얻었다고 밝혔다. 다만 공개된 초록 요지만으로는 그 내용이 구체적으로 무엇인지 확인되지 않는다. 모델의 파라미터 규모나 벤치마크 성능 수치도 초록에는 나오지 않는다.
이 연구가 나온 배경에는 언어모델 구조를 둘러싼 흐름이 있다. 지금 널리 쓰이는 대형 언어모델은 대부분 앞의 내용을 보고 다음 토큰을 하나씩 예측하는 자기회귀(autoregressive) 방식이다. 마스크드 확산 모델은 이와 달리 데이터 일부를 가린 상태에서 원래 내용을 복원하도록 학습한다. 생성할 때는 가려진 여러 위치를 한꺼번에 채워 나간다. 초록은 이런 이산 확산 모델이 "자기회귀 언어모델의 강력한 대안으로 떠올랐다"고 짚었다.
연구진이 내세운 차별점은 학습 방식이다. 초록에 따르면 기존 연구는 주로 한 가지 모달리티만 다루는 기반 모델을 가져와 초기화한 뒤, 미세조정을 거쳐 두 가지 모달리티를 생성하게 만들었다. 이번 연구는 처음부터 세 가지 모달리티를 함께 넣어 사전학습했다는 점에서 기존 방식과 다르다.
논문 제목의 '설계 공간'이라는 표현에서도 연구의 성격이 드러난다. 모델 하나의 성능을 보여주기보다, 데이터를 어떤 비율로 섞고 배치 크기를 얼마로 잡느냐 같은 선택이 결과를 어떻게 바꾸는지 정리하는 데 무게를 뒀다. 이런 변수는 학습 비용, 모델 품질과 바로 이어진다. 그래서 멀티모달 확산 모델을 만들려는 다른 연구자들에게도 참고 자료가 될 수 있는 유형의 연구다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 연구 사이트에 먼저 올리는 경우가 많다. 이 사이트가 애플의 AI 연구 방향을 엿볼 수 있는 창구로 꼽히는 이유다. 이번 연구 결과가 애플 제품이나 서비스에 적용될지, 적용된다면 언제일지는 확인되지 않았다. 논문이 동료평가를 거쳤는지도 공개된 자료로는 확인되지 않는다.
