granite-switch-4.1, 내 PC에서 돌리는 8B·30B GGUF 2종 공개… IBM
IBM이 언어모델 'granite-switch-4.1'을 개인 컴퓨터에서도 돌릴 수 있게 양자화한 버전 2종을 공개했다. IBM 공식 계정(ibm-granite)이 허깅페이스에 올린 모델 카드를 보면, IBM은 지난 22일 'granite-switch-4.1-8b-GGUF'와 'granite-switch-4.1-30b-GGUF'를 내놨다. 두 버전 모두 원래 모델보다 메모리를 덜 쓰거나 추론 속도를 높이도록 경량화·양자화한 모델이다.
두 모델은 모두 GGUF 형식으로 배포된다. GGUF는 대형 언어모델을 데이터센터 서버가 아닌 개인 PC에서 실행할 때 많이 쓰는 양자화 모델 파일 형식이다. 양자화는 모델 안의 가중치를 더 적은 비트로 표현해 파일 크기와 메모리 사용량을 줄이는 기법이다. 계산 정밀도를 일부 낮추는 대신 고가의 GPU 서버가 없어도 모델을 돌릴 수 있게 해 준다. IBM이 이번 버전을 내놓은 목적도 '적은 메모리'와 '빠른 추론'에 있다.
모델 이름 끝의 '8b'와 '30b'는 모델 규모를 나타낸다. 업계의 일반적인 표기법대로라면 각각 약 80억 개, 300억 개 매개변수급 모델이라는 뜻이다. 매개변수가 많을수록 표현력은 커지지만 실행에 필요한 메모리도 늘어난다. 크기를 둘로 나눠 내놓은 만큼, 이용자는 비교적 가벼운 8b 버전과 더 큰 30b 버전 가운데 자기 컴퓨터 사양과 용도에 맞는 쪽을 고르면 된다.
원본 모델을 쓰려면 대개 고성능 GPU를 갖춘 서버나 클라우드 서비스가 필요하다. GGUF 양자화 버전이 나오면서 같은 계열의 모델을 개인 노트북이나 데스크톱에 내려받아 직접 실행할 수 있게 됐다. 모델을 내 컴퓨터에서 돌리면 외부 서버에 질문을 보내지 않아도 되고, 인터넷 연결이나 사용량 과금에 덜 얽매인다는 장점이 있다. 개발자나 연구자 입장에서는 클라우드 비용 없이 모델을 시험해 볼 수 있는 선택지가 하나 더 생긴 셈이다.
두 모델은 허깅페이스 IBM 공식 저장소에서 내려받을 수 있다. 8b 버전 주소는 huggingface.co/ibm-granite/granite-switch-4.1-8b-GGUF, 30b 버전 주소는 huggingface.co/ibm-granite/granite-switch-4.1-30b-GGUF다. 이 기사의 모델 정보는 IBM이 허깅페이스에 올린 모델 카드를 따랐다. 모델 카드에 실린 성능 수치는 IBM이 자체 발표한 것이다.
한눈에 보기
· 공개 주체: IBM(허깅페이스 ibm-granite 공식 계정)
· 공개일: 10월 22일
· 기반 모델: granite-switch-4.1
· ibm-granite/granite-switch-4.1-8b-GGUF — GGUF(내 PC 실행용 양자화)
· ibm-granite/granite-switch-4.1-30b-GGUF — GGUF(내 PC 실행용 양자화)
· 공개 목적: 원래 모델보다 적은 메모리로 실행하거나 더 빠르게 추론
