llama.cpp v0.8.0 공개… LFM3 지원·서버 실시간 음성 입출력 추가
가벼운 장비에서도 언어모델을 돌릴 수 있게 해 주는 엔진 llama.cpp가 새 정식 버전 v0.8.0을 내놨다. ggml-org가 GitHub에 올린 릴리스 노트에 따르면 개발팀은 2026년 10월 28일 이 버전을 공개했다. 리퀴드AI(LiquidAI)의 LFM3 모델 제품군 지원과 서버의 실시간 음성 입출력 기능이 이번 업데이트의 가장 큰 변화다.
llama.cpp는 고성능 장비가 아니어도 언어모델을 실행할 수 있도록 만든 엔진이다. 이번 버전은 텍스트 처리에 머물지 않고 음성과 이미지까지 다루는 쪽으로 기능을 넓혔다. 릴리스 노트는 LFM3 제품군의 텍스트·비전·오디오·옴니 모델을 모두 지원한다고 밝혔다. mtmd 모듈에는 실험 단계의 스트리밍 오디오 API를 새로 넣었다. 서버에는 /v1/realtime과 /tts 엔드포인트를 추가해 실시간 오디오를 받고 내보낼 수 있게 했다. 사용자가 자기 장비에서 돌리는 모델과 음성으로 주고받는 구성을 엔진 안에서 꾸릴 수 있게 됐다.
새로 지원하는 모델 구조도 대거 늘었다. 딥시크 V4.1 플래시(DeepSeek V4.1 Flash), 센스노바 U1(SenseNova U1), Beam, Kolibri-1, Flint, Muse Spark, Granite Switch Decision이 추가됐다. 리퀴드AI·바이두·엔비디아가 내놓은 판정(decision)·임베딩 모델도 함께 들어갔다. 새 모델이 나와도 엔진이 그 구조를 지원해야 실행할 수 있다. 따라서 지원 목록이 늘었다는 것은 사용자가 고를 수 있는 모델이 그만큼 많아졌다는 뜻이다.
엔진 핵심부도 손봤다. 개발팀은 QSA·DSA 방식의 희소 어텐션(sparse attention)을 통합 마스킹 연산(fused masking op) 위에서 동작하도록 다시 짰다. 호스트 메모리에 올려 두는 MoE(전문가 혼합) 모델의 전문가 가중치를 위해서는 50 대 50 비율로 나눈 SLRU 캐시를 도입했다. 메모리를 미리 잡아 두지 않는 noalloc 방식의 메모리 처리도 깔끔하게 정리했다. 이번 핵심부 작업은 대부분 제한된 메모리로 큰 모델을 효율적으로 돌리는 데 맞춰져 있다. 가벼운 장비에서 언어모델을 돌린다는 llama.cpp의 목표와 같은 방향이다.
서버 쪽에서는 라우터의 메모리 관리와 도구 호출(tool calling) 기능이 개선됐다. 사용자 인터페이스(UI)도 바뀌었다. 이제 허깅페이스 허브(HF Hub)의 모델을 UI에서 바로 찾아보고 내려받을 수 있다. 지난 대화를 검색하는 기능과 대화를 압축(compact)하는 기능도 추가됐다. 모델을 구하는 단계부터 대화를 관리하는 일까지 UI 안에서 처리할 수 있는 범위가 넓어졌다.
llama.cpp가 바탕으로 삼는 ggml도 v0.28.0으로 올라갔다. 릴리스 노트는 이번 ggml 업데이트에 GGMLOPTOPKMASK 연산과 전문가 인덱스 값 -1의 의미 규정이 들어갔다고 설명했다. 백엔드 전반의 대규모 성능 개선 작업도 함께 담겼다.
이번 v0.8.0은 지원 모델 확대, 음성 입출력, 메모리 효율, 사용 편의성 등 여러 방향의 변화를 한꺼번에 담았다. 전체 변경 내역은 ggml-org의 llama.cpp GitHub 릴리스 페이지에 공개돼 있다.
