엔비디아, 40억 매개변수 소형 언어모델 'Nemotron-Labs-Dory 1.0' 허깅페이스 공개… 양자화 버전 3종도 함께
엔비디아가 매개변수 약 40억 개 규모의 소형 텍스트 생성 모델 'NVIDIA-Nemotron-Labs-Dory1.0-4B-BF16'을 공개했다. 엔비디아가 허깅페이스 공식 계정에 올린 모델 카드를 보면, 이 모델은 지난 10월 16일 등록됐다. 매개변수는 39억 8천만 개다. 라이선스는 엔비디아 자체 라이선스이고, 지원 언어는 영어로 적혀 있다.
이번에 올라온 것은 원본 모델만이 아니다. 엔비디아는 BF16 원본과 함께 용도별 경량화·양자화 버전 세 가지를 같이 내놨다. 4비트 부동소수점 형식으로 압축한 'NVFP4', 8비트 형식인 'MXFP8', 그리고 개인 PC에서 돌리는 용도로 많이 쓰이는 'GGUF' 버전이다. 모델 이름 끝에 붙은 'BF16'은 원본 가중치를 16비트 브레인 부동소수점(bfloat16) 형식으로 저장했다는 뜻이다.
양자화는 모델 가중치를 더 적은 비트로 표현해 메모리 사용량과 연산 부담을 줄이는 기술이다. 정밀도를 조금 내주는 대신 같은 하드웨어에서 더 빠르고 가볍게 돌릴 수 있다. NVFP4는 엔비디아가 최신 GPU 세대에 맞춰 내세우는 4비트 형식이다. MXFP8은 여러 업체가 함께 정한 마이크로스케일링 기반 8비트 형식이다. GGUF는 llama.cpp 계열 도구에서 쓰는 파일 형식이어서, 데이터센터 GPU가 없어도 일반 PC나 노트북에서 모델을 내려받아 실행하려는 개발자와 개인 사용자가 주로 찾는다. 원본과 양자화 버전을 한꺼번에 내놓은 것은 서버용 GPU부터 개인 PC까지 다양한 실행 환경을 처음부터 염두에 뒀다는 의미로 읽힌다.
'네모트론(Nemotron)'은 엔비디아가 자체 개발해 공개해 온 언어모델 브랜드다. 이번 모델 이름에는 'Labs'와 'Dory'라는 표현이 붙었고 버전 번호는 1.0이다. 다만 모델 카드 기준 정보만으로는 'Labs'가 실험적 성격의 라인업을 뜻하는지, 'Dory'가 어떤 특화 기능을 가리키는지 확인되지 않았다. 기존 네모트론 모델과 구조나 학습 방식이 어떻게 다른지도 공개된 정보로는 확인되지 않는다.
40억 개 안팎의 매개변수는 최근 AI 업계에서 '소형 언어모델(SLM)'로 분류되는 규모다. 수천억 개 매개변수를 가진 초대형 모델과 비교하면 성능 상한은 낮을 수 있다. 대신 적은 메모리로 돌아가고 응답이 빠르며 비용이 적게 든다는 장점이 있다. 이 때문에 클라우드를 거치지 않고 기기 안에서 바로 처리하는 온디바이스 AI, 특정 업무에 맞춘 미세조정, 에이전트의 보조 모델 등에 소형 모델을 쓰는 사례가 늘고 있다. GPU 시장을 이끄는 엔비디아가 이 체급 모델을 여러 정밀도 형식으로 함께 내놓은 것도 자사 하드웨어와 소프트웨어 생태계에서 소형 모델 활용을 넓히려는 흐름과 맞닿아 있다.
성능은 아직 판단하기 이르다. 모델 카드에 실린 성능 관련 내용은 엔비디아의 자체 발표이고, 외부에서 검증된 벤치마크 결과는 아직 나오지 않았다. 공개된 지 얼마 되지 않아 내려받기 수 같은 사용자 반응도 집계 전이다. 지원 언어가 영어로만 표기돼 있어 한국어 등 다른 언어에서 얼마나 쓸 만한지도 확인되지 않았다. 또 오픈소스 표준 라이선스가 아닌 엔비디아 자체 라이선스가 적용된 만큼, 상업적으로 쓰려는 기업이나 개발자는 이용 조건을 따로 확인할 필요가 있다.
