오픈소스 AI 진영에 역대급 스케일의 모델이 등장했네요! 문샷 AI(Moonshot AI)가 무려 2.8조 개(2.8T)의 매개변수를 가진 초거대 혼합 전문가(MoE) 모델인 'Kimi K3'를 공개하고 오는 7월 27일에 가중치(weights)를 완전 오픈하겠다고 선언했습니다. 오픈웨이트 역사상 최대 크기인데, 단순히 덩치만 큰 게 아니라 아키텍처와 벤치마크 점수 모두 꽤나 흥미로운 구석이 많습니다.

가장 눈에 띄는 건 극단적인 스파스(Sparse) 라우팅 구조입니다. 총 896개의 전문가 중 토큰당 딱 16개만 활성화해서 실제 추론할 때는 약 500억 개(50B)의 활성 매개변수만 씁니다. 여기에 'Kimi Delta Attention'이라는 하이브리드 어텐션 기술을 더해 100만 토큰의 초장문 컨텍스트를 지원합니다. vLLM 팀과 협력해 Day-0 지원과 캐싱 최적화까지 미리 준비해 뒀다니 오픈소스 생태계에 진심인 것 같네요 ㅎㅎ

실제 성능은 어떨까요? 아레나(Arena.ai) 프론트엔드 코드 부문에서 1위(1,679 Elo)를 차지할 정도로 코딩과 장기 추론 영역에서 독보적인 모습을 보여줍니다. 벤치마크 사이트인 아티피셜 애널리시스(Artificial Analysis)에서도 클로즈드 플래그십 모델들의 턱밑까지 추격한 상태입니다.

다만 그림의 떡이 되지 않으려면 하드웨어 장벽을 넘어야 합니다. 양자화를 거친 MXFP4 포맷마저도 모델 용량이 약 1.4TB에 달해, 로컬에서 제대로 구동하려면 64개 이상의 가속기로 구성된 기업용 슈퍼노드 클러스터가 필요하다고 합니다. 라이선스 조건은 가중치가 풀리는 27일에 공개될 예정인데, 현실적으로 개인이 쓰기보다는 클라우드 기반의 분산 에이전트 환경이나 엔터프라이즈 레벨에서 오픈소스 주권을 확보하는 데 아주 강력한 무기가 될 듯합니다~