Arete-27B, NousResearch 공개… 상업 이용 가능한 274억 매개변수 텍스트 생성 모델
NousResearch가 지난 7일 AI 모델 공유 플랫폼 허깅페이스(Hugging Face)에 텍스트 생성 모델 'Arete-27B'를 공개했다. 허깅페이스 모델 정보를 보면 이 모델의 매개변수는 274억 개다. 라이선스는 상업 이용을 허용하는 apache-2.0이다. 한 번에 받을 수 있는 입력 길이(컨텍스트)는 최대 262,144토큰이다.
공개 뒤 이틀 동안 이 모델은 1,747회 내려받기됐고 즐겨찾기는 275회를 받았다. 허깅페이스에는 전 세계 개발자와 연구 조직이 만든 공개 AI 모델이 올라온다. 내려받기와 즐겨찾기 수는 개발자들이 새 모델에 처음 어떻게 반응하는지 보여주는 지표로 쓰인다.
모델 이름 끝의 '27B'는 매개변수 규모를 뜻한다. B는 10억(billion)이므로 약 270억 개라는 의미다. 허깅페이스 모델 정보에 적힌 정확한 매개변수 수는 274억 개다. 매개변수는 모델이 학습하면서 조정하는 내부 수치다. 개수가 많을수록 모델 파일이 커지고, 모델을 돌리는 데 필요한 연산 자원도 늘어난다.
최대 입력 길이 262,144토큰은 흔히 '256K'로 줄여 부르는 규모다. 토큰은 AI 모델이 글을 처리하는 기본 단위로, 단어나 단어의 일부에 해당한다. 입력 길이가 길면 긴 보고서나 여러 문서, 많은 분량의 대화 기록을 한 번에 넣고 처리할 수 있다. 문서를 여러 조각으로 나눠 넣어야 하는 번거로움이 그만큼 줄어든다.
라이선스도 눈여겨볼 대목이다. apache-2.0은 상업 이용이 허용되는 공개 라이선스다. 기업이나 개인 개발자가 이 모델을 내려받아 자사 서비스나 제품에 넣는 것도 라이선스 범위 안에서 가능하다. 저작권 표기 같은 세부 조건은 라이선스 문서를 따라야 한다. 공개 모델 가운데에는 연구용으로만 쓰도록 하거나 상업 이용에 별도 조건을 붙이는 경우도 있다. 그래서 라이선스 종류는 모델을 실제 업무에 쓰려는 사람에게 중요한 판단 기준이 된다.
직접 실행하려는 사용자는 모델 용량을 먼저 따져봐야 한다. 허깅페이스 모델 정보에 따르면 원본 가중치 파일은 약 55GB다. 가중치를 4비트로 양자화하면 15GB 안팎까지 줄어든다. 양자화는 모델 내부 숫자의 정밀도를 낮춰 파일 크기와 메모리 사용량을 줄이는 방식이다. 다만 이 수치는 파일 크기일 뿐이다. 실제로 모델을 돌릴 때는 파일 크기보다 메모리가 더 필요하다. 입력 길이를 길게 쓸수록 추가로 드는 메모리도 커지는 만큼, 내 PC에서 돌려보려면 그래픽카드 메모리와 시스템 메모리 여유를 함께 확인해야 한다.
모델은 허깅페이스의 NousResearch 페이지(https://huggingface.co/NousResearch/Arete-27B)에서 내려받을 수 있다.
한눈에 보기
· 모델 이름: Arete-27B (https://huggingface.co/NousResearch/Arete-27B)
· 용도: 텍스트 생성
· 매개변수: 274억 개
· 라이선스: apache-2.0 — 상업 이용이 허용되는 공개 라이선스다(표기 등 조건은 라이선스 문서를 따른다)
· 최대 입력 길이(컨텍스트): 262,144 토큰
· 가중치 파일: 약 55GB · 4비트 양자화 시 약 15GB 안팎 — 실제 실행에는 이보다 메모리가 더 든다
앞서 보도한 기사
Arete-27B, Nous Research가 공개한 Qwen 개조 모델…중국 선전 답변 0.9%로 줄이고 상업 이용 허용
