Xing 4, Ascend 910C 8192장으로 2850억 파라미터 학습…XingChen-AGI 기술보고서

XingChen-AGI 소속 Xingchen AGI Lab 등 연구진 139명이 대규모 언어모델 시리즈 「Xing 4」의 설계와 학습 인프라를 정리한 논문을 사전공개 논문 저장소 arXiv에 올렸다. arXiv에 공개된 초록에 따르면 연구진은 Ascend 910C 카드 8,192장으로 2,850억(285B) 파라미터 모델을 사전학습했다. 논문 제목은 「TeleChat to Xing4: Advancing Frontier Agentic Models on Domestic Chips and Frameworks」이고 번호는 arXiv:2611.22115다. 연구자 커뮤니티 플랫폼 허깅페이스의 일일 논문 목록에서는 추천 121회를 받았다.
제목에 담긴 대로 Xing 4는 TeleChat 계열을 잇는 모델 시리즈다. 연구진은 이번 시리즈가 모델 구조와 학습 인프라를 함께 개선해 나온 결과라고 설명했다. 제목에 '자국산 칩과 프레임워크'를 내건 만큼, 이 보고서는 모델 성능만큼이나 Ascend 칩과 MindSpore 프레임워크 위에서 초대형 모델을 어떻게 학습시켰는지에 무게를 둔다. 보고서는 구조 선택, 대규모 사전학습, 추론·에이전트 능력을 위한 사후학습까지 개발 전 과정을 다룬다.
구조 설계에서는 모델의 표현 능력과 실제 연산 비용 사이의 균형을 살폈다. 연구진은 희소 활성화(sparse activation), 어텐션 설계, 모델의 깊이와 너비, 추측 디코딩(speculative decoding)이 각각 모델 용량과 연산량, 메모리 접근, 실행 오버헤드에 어떤 영향을 주는지 분석했다. 희소 활성화는 입력마다 모델 일부만 계산에 쓰는 방식이고, 추측 디코딩은 답을 빨리 내기 위해 다음에 올 토큰을 먼저 추정한 뒤 검증하는 기법이다. 모델을 무작정 키우기보다 하드웨어에서 실제로 효율이 나는 구조를 찾으려 했다는 뜻으로 읽힌다.
사전학습 인프라는 MindSpore HyperParallel을 기반으로 만들었다. 연구진은 통신 구조를 고려한 하이브리드 샤딩, 분산 옵티마이저의 효율적 실행, 긴 시퀀스 작업과 활성화 메모리의 통합 관리를 결합했다고 밝혔다. 여기에 CPU 친화도 설정과 코어 격리를 더해 호스트 쪽 스케줄링 간섭도 줄였다. 이런 장치들이 모여 Ascend 910C 8,192장 규모에서 285B 모델 학습을 떠받쳤고, 연구진은 이 학습 환경을 구조·시스템 연구의 실험 무대로도 활용했다.
사후학습에서는 'TeleGym'이라는 통합 에이전트 실행 플랫폼을 새로 내놨다. TeleGym은 에이전트의 작업 실행과 평가, 학습용 궤적(trajectory) 생성을 정책 최적화 단계와 한 흐름으로 묶는다. 에이전트 과제는 몇 초 만에 끝나는 것도 있고 오래 걸리는 것도 있어, 학습 효율을 떨어뜨리는 원인이 된다. 연구진은 실행을 분리한 비동기 처리, 상한을 둔 오버샘플링(bounded oversampling), 부분 롤아웃(partial rollout)으로 이런 작업 시간 차이를 흡수하면서도 정책이 갱신되는 동안 궤적의 연속성을 유지했다고 설명했다.
연구진은 이번 성과가 Ascend에 맞춘 학습 기반을 마련한 것이라고 평가했다. 앞으로 Xing 4를 다양한 크기로 키우고, 갈수록 까다로워지는 추론·에이전트 작업에 대응하는 데 이 기반을 쓰겠다는 구상이다. 기업들이 엔비디아 GPU가 아닌 하드웨어로 프런티어급 모델을 학습시키는 공학적 세부를 공개했다는 점에서, 대형 모델 학습 인프라의 선택지를 보여주는 자료이기도 하다.
이 내용은 저자들이 arXiv에 공개한 초록을 바탕으로 정리했으며, 논문은 동료평가를 거치지 않은 사전공개본이다.



