Kimi-K3.1-Pro, 문샷AI 이미지·텍스트 이해 모델 공개…2.78조 매개변수에 100만 토큰 입력
중국 인공지능(AI) 기업 문샷AI가 이미지와 텍스트를 함께 이해하는 대규모 모델 'Kimi-K3.1-Pro'를 11월 2일 허깅페이스에 공개했다. 문샷AI가 허깅페이스 공식 계정에 올린 모델 카드에 따르면 이 모델의 매개변수는 27,801억 개, 약 2조 7,800억 개다. 한 번에 받아들일 수 있는 입력 길이(컨텍스트)는 최대 1,048,576 토큰이다.
모델은 'moonshotai/Kimi-K3.1-Pro'라는 이름의 저장소로 올라왔다. 용도는 이미지·텍스트 이해다. 글로 된 질문뿐 아니라 이미지를 함께 넣어 내용을 해석하고 답하도록 만든 멀티모달 계열 모델이라는 뜻이다. 텍스트만 다루는 언어 모델과 달리 사진이나 도표, 화면 캡처 같은 시각 자료를 글과 묶어 처리하는 쓰임새를 노린 것으로 볼 수 있다.
가장 먼저 눈에 띄는 것은 규모다. 매개변수 27,801억 개는 조 단위로 따지면 2.78조 개에 이른다. 매개변수는 모델이 학습으로 익힌 값의 개수로, 일반적으로 모델의 덩치를 가늠하는 기준으로 쓰인다. 최대 입력 길이 1,048,576 토큰은 2의 20제곱으로, 흔히 '100만 토큰'으로 부르는 수준이다. 긴 문서 여러 건이나 방대한 자료를 쪼개지 않고 한꺼번에 넣어 다룰 수 있는 길이다.
덩치가 큰 만큼 직접 내려받아 돌리기 위한 문턱도 높다. 모델 카드 기준으로 가중치 파일 용량은 약 2,838GB다. 가중치를 4비트로 줄이는 양자화를 거쳐도 약 1,557GB 안팎이 필요하고, 실제로 모델을 실행할 때는 이보다 더 많은 메모리가 든다. 테라바이트 단위의 메모리가 필요한 셈이어서, 개인용 PC나 그래픽카드 한두 장으로는 감당하기 어렵다. 가중치가 공개됐다고 해도 이를 직접 구동하는 것은 대규모 서버 자원을 갖춘 기업이나 연구기관의 몫이 될 가능성이 크다.
라이선스는 문샷AI가 별도로 만든 자체 라이선스 'kimi-k3.1-pro'다. 아파치 2.0이나 MIT처럼 널리 쓰이는 표준 오픈소스 라이선스가 아니므로 상업적으로 이용할 수 있는지, 어떤 조건이 붙는지는 이 라이선스 문서에 적힌 내용을 따라야 한다. 서비스에 붙여 쓰거나 파생 모델을 만들려는 기업과 개발자라면 공개 저장소에 함께 올라온 라이선스 문서를 먼저 꼼꼼히 확인할 필요가 있다.
이번 공개 정보는 문샷AI가 허깅페이스에 올린 모델 카드를 기준으로 정리한 것이다. 모델 카드에 담긴 성능 관련 내용은 회사 측 발표에 해당한다.
한눈에 보기
· 모델 이름: Kimi-K3.1-Pro (https://huggingface.co/moonshotai/Kimi-K3.1-Pro)
· 용도: 이미지·텍스트 이해
· 매개변수: 27,801억 개
· 라이선스: kimi-k3.1-pro — 상업 이용 조건은 이 라이선스 문서에 따른다
· 최대 입력 길이(컨텍스트): 1,048,576 토큰
· 가중치 파일: 약 2838GB · 4비트 양자화 시 약 1557GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
