vLLM v0.34.0 공개… 'Model Runner V1' 퇴장, 블랙웰·MI355X에서 디코딩 최대 1.95배 빨라져

대규모 언어모델(LLM) 추론 엔진 vLLM의 새 정식 버전 v0.34.0이 17일 나왔다. vLLM 개발팀이 GitHub에 올린 릴리스 노트에 따르면 이번 버전에는 새 모델 10종 지원, 확장형 KV 캐시 기본 적용, 기존 GPU 실행기 'Model Runner V1' 제거, 최신 GPU에서의 성능 개선이 담겼다. 이번 버전에는 기여자 412명이 커밋 1,061건을 보탰고, 이 가운데 120명은 처음 참여했다.
vLLM은 이미 학습된 언어모델을 서버에서 빠르게 실행해 응답을 만들어 내는 추론 엔진이다. 모델을 만드는 단계가 아니라 실제 서비스에서 모델을 돌리는 단계를 맡는다. 같은 GPU로 얼마나 많은 요청을 얼마나 빨리 처리하느냐가 곧 서비스 비용으로 이어지기 때문에, 버전마다 메모리 관리 방식과 하드웨어별 최적화가 주요 변경점으로 꼽힌다.
새로 지원하는 모델은 10종이다. 릴리스 노트는 대표 사례로 미스트랄 라지 4(Mistral Large 4), 미니맥스 M3.1 플래시(MiniMax-M3.1-Flash), 음성을 글로 옮기는 네모트론 3.5 트랜스크라이브(Nemotron-3.5-Transcribe)를 들었다.
구조적으로 가장 큰 변화는 KV 캐시 관리 방식이다. KV 캐시는 모델이 앞서 처리한 문맥 정보를 GPU 메모리에 저장해 두는 공간으로, 이 공간이 클수록 긴 대화나 많은 요청을 동시에 처리하기 쉽다. 이번 버전부터 '확장형 KV 캐시'가 기본으로 켜진다. vLLM이 워밍업을 마친 뒤 실제로 남는 메모리를 기준으로 캐시 크기를 정하는 방식이다. 개발팀은 이 덕분에 대부분의 모델에서 캐시가 커지고 처리량도 늘어난다고 설명했다.
GPU 실행 구조도 정리됐다. 기존 'Model Runner V1'이 완전히 빠지면서 'Model Runner V2'가 유일한 GPU 실행기가 됐다. 구버전 실행 경로를 함께 유지하던 이중 구조가 이번 버전으로 끝난 셈이다.
최신 가속기에서는 속도가 크게 올랐다. 릴리스 노트에 따르면 엔비디아 블랙웰 계열과 AMD MI355X에서 성능이 개선됐다. GB200에서 Step5 모델을 돌리면 토큰을 하나씩 생성하는 디코딩 속도가 최대 1.95배 빨라졌다. GLM-5.3-Flash는 처리량이 1.6배 늘었다. GLM-5.3은 긴 프롬프트를 넣었을 때 첫 토큰이 나오기까지 걸리는 시간(TTFT)이 1.24~1.40배 줄었다. TTFT는 사용자가 질문을 보낸 뒤 답이 나오기 시작할 때까지의 대기 시간이라 체감 응답 속도와 바로 연결된다.
기존 사용자는 업그레이드 전에 바뀐 설정을 챙겨야 한다. 개발팀은 릴리스 노트에 '업그레이드 전 확인 사항' 항목을 따로 두고, 이 변경들 때문에 기존 환경이 동작하지 않을 수 있다고 경고했다. 기본 블록 크기는 64로 바뀌었고, ROCm 7.2 이미지는 더 이상 제공하지 않는다. huggingfacehub도 2.0.0 이상이어야 한다. AMD GPU에서 ROCm 7.2 이미지를 쓰던 곳이나 블록 크기를 따로 지정하지 않고 기본값에 맡겨 온 곳은 배포 전에 설정을 다시 확인할 필요가 있다.
이번 버전은 실행 구조를 하나로 정리하고 메모리 활용 방식을 바꾼 데다 최신 GPU 최적화까지 더했다. 블랙웰이나 MI355X로 LLM 서비스를 운영하는 곳이라면 같은 장비로 더 많은 요청을 더 빨리 처리할 수 있다는 점에서 의미가 있다.



