애플, 몇 단계만으로 생성하면서 우도 학습은 지키는 「정규화 궤적 모델」 논문 공개
애플이 지난 8일 자사 머신러닝 연구 사이트 'Apple Machine Learning Research'에 새 AI 논문 「Normalizing Trajectory Models(NTM, 정규화 궤적 모델)」를 공개했다. 애플이 공개한 초록에 따르면, 이 연구는 확산(diffusion) 기반 생성 모델이 적은 단계로 이미지 등을 생성할 때 생기는 한계를 다룬다. 생성 속도를 높이면서도 모델의 확률적 학습 틀은 버리지 않는 방법을 제안했다.
확산 모델은 오늘날 이미지 생성 AI에서 많이 쓰이는 방식이다. 노이즈에서 출발해 조금씩 노이즈를 걷어내며 결과물을 만든다. 애플은 초록에서 확산 모델이 샘플링을 '작은 가우시안 디노이징 단계' 여러 개로 나눈다고 설명했다. 이런 가정은 각 단계가 충분히 작을 때만 성립한다. 생성 과정을 거친 전환 몇 번으로 줄이면 이 가정이 무너진다는 것이 연구진의 문제의식이다. 단계 수는 곧 생성 속도와 연산 비용으로 이어진다. 그래서 적은 단계로 품질을 유지하는 기술은 업계 전반의 관심사다.
초록은 기존의 '소수 단계(few-step)' 생성 기법도 짚었다. 지식 증류(distillation), 일관성 학습(consistency training), 적대적 목적함수(adversarial objectives) 등이 그것이다. 연구진은 이들 기법이 단계 수를 줄이는 데는 성과를 냈지만, 그 과정에서 우도(likelihood) 프레임워크를 희생했다고 지적했다. 우도 기반 학습은 모델이 데이터 분포를 얼마나 잘 설명하는지를 확률로 직접 따져 학습하는 방식이다. 이 틀을 포기하면 학습 목표의 명확성이나 확률 계산 같은 장점도 함께 잃게 된다.
애플이 내놓은 NTM은 이 절충을 피하려는 시도다. 초록에 따르면 NTM은 역방향 생성 과정의 각 단계를 '표현력 높은 조건부 정규화 흐름(conditional normalizing flow)'으로 모델링하고, 정확한 우도로 학습한다. 정규화 흐름은 되돌릴 수 있는(가역) 변환을 쌓아 단순한 분포를 복잡한 분포로 바꾸는 생성 모델 계열이다. 확률을 정확히 계산할 수 있다는 것이 특징이다. 각 단계를 단순한 가우시안 대신 이런 유연한 변환으로 바꾸면, 단계가 크고 거칠어도 그 사이의 복잡한 변화를 담아낼 수 있다는 구상으로 풀이된다.
구조 면에서 초록은 NTM이 각 단계 안에서는 얕은 가역 블록을 쓰고, 여기에 깊은 병렬 구조를 결합한다고 설명했다. 다만 공개된 초록 요지는 이 대목에서 끊겨 있다. 전체 아키텍처의 세부 설계, 실험에 쓰인 데이터셋, 기존 기법 대비 생성 품질과 속도 수치 등은 확인되지 않았다. 이 논문이 학회나 학술지의 동료평가를 거쳤는지도 공개된 자료로는 확인되지 않았다.
애플은 연구 성과를 외부 논문 공유 플랫폼보다 자사 연구 사이트에 먼저 올리는 경우가 많다. 그래서 이 사이트는 애플의 AI 연구 방향을 엿볼 수 있는 창구로 꼽힌다. 이번 논문은 생성 단계를 줄여 빠르게 만들면서도 확률 모델로서의 엄밀함을 유지하려는 방향을 보여준다. 연산 자원이 제한된 기기에서 생성 AI를 돌리는 문제와도 맞닿아 있는 주제다. 다만 애플이 이 기술을 실제 제품에 적용할 계획이 있는지는 밝혀지지 않았다.