메타, 8160억 파라미터 오픈웨이트 멀티모달 모델 '뮤즈 스파크 오픈' 공개
허깅페이스(Hugging Face)는 공식 블로그를 통해 메타가 오픈웨이트 모델 '뮤즈 스파크 오픈(Muse Spark Open)'을 내놨다고 소개했다. 텍스트와 이미지, 오디오, 영상을 모두 입력으로 받는 전문가 혼합(MoE) 구조 모델이다. 전체 파라미터는 약 8160억 개이며, 토큰 하나를 처리할 때는 약 420억 개만 쓴다. 컨텍스트 창은 최대 100만 토큰이다.
이 모델은 메타가 8월에 공개한 소형 모델 '뮤즈 글리머'와 같은 시리즈의 최대 크기 모델이다. 메타는 코드베이스 읽기, 코드 작성과 디버깅, 도구 호출 같은 에이전트형 코딩 작업에 맞춰 이 모델을 학습시켰다. 블로그는 이 모델을 지금까지 나온 미국산 오픈웨이트 모델 가운데 가장 성능이 높은 모델이라고 소개했다. 각 레이어에는 전문가 256개가 있고, 토큰마다 그중 8개가 선택돼 작동한다.
BF16 체크포인트는 약 1.5TB 크기다. 엔비디아 블랙웰 GPU용 4비트 NVFP4 버전은 B200 노드 하나에서 돌아간다. llama.cpp, vLLM, SGLang, MLX 등 여러 실행 환경을 지원한다. 블로그에 따르면 512GB 메모리를 갖춘 맥 M3 울트라에서 2비트 양자화 버전을 돌렸을 때 초당 약 18토큰을 생성했다. 추론 기능은 끌 수 없어, 간단한 작업에서는 추론 강도를 '낮음'으로 설정하라고 권했다.
