Cursor, 'Mixture-of-Kittens' 공개 — AI 모델 학습 속도 41% 빨라진다

개발자들의 필수 코딩 에디터로 자리 잡은 Cursor가 모두를 깜짝 놀라게 할 성능 최적화 인프라 기술을 오픈소스로 공개했습니다. 바로 앤비디아의 차세대 블랙웰 NVL72 서버에 맞춰 설계된 혼합 전문가(MoE) 모델 학습용 메가커널, 'Mixture-of-Kittens'입니다. 이들은 자사의 대표 AI 코딩 에이전트인 'Composer'를 직접 학습시키기 위해 하드웨어의 한계까지 쥐어짜는 핵심 기술을 개발했고, 이를 전 세계 개발자들을 위해 투명하게 공유하기로 결정했습니다.

아무리 빠른 GPU라도 피해갈 수 없는 '통신 병목'

MoE 모델은 각 분야에 특화된 여러 전문 모델이 협업하는 구조라 성능이 매우 뛰어납니다. 하지만 치명적인 단점이 있습니다. 서로 다른 GPU가 연산 결과를 계속 주고받아야 하는 올투올 통신 과정이 전체 학습 시간의 절반 이상을 잡아먹기 때문입니다.

이것은 마치 여러 명의 동료가 모여 공동 작업을 하는 상황과 비슷합니다. 각자가 자기 일은 눈 깜짝할 사이에 끝내더라도, 다음 단계로 넘어가기 위해 매번 느린 사내 메신저로 서로 쪽지를 주고받으며 확인해야 한다면 어떨까요? 결국 실제로 일하는 시간보다 쪽지를 보내고 답장을 기다리는 데 더 많은 시간을 허비하게 됩니다.

앤비디아의 최신 블랙웰 NVL72 시스템이 아무리 하드웨어 전송 속도를 혁신적으로 끌어올렸어도 이 장벽은 여전했습니다. GPU가 연산 결과를 보낼 때마다 상대적으로 느린 메인 CPU와 신호를 맞추는 동기화 단계를 거쳐야 했고, 이 과정에서 발생하는 미세한 지연 시간들이 모여 결국 전체 시스템의 발목을 잡는 난제로 남아있었습니다.

통신과 연산을 한 몸으로 합친 '메가커널'

커서는 이 문제를 해결하기 위해 연산과 통신을 하나로 묶은 '메가커널'이라는 개념을 도입했습니다. 데이터를 처리하는 연산 단계와 다른 GPU로 데이터를 전송하는 통신 단계를 따로 나누지 않고, 단 하나의 파이프라인 안에서 동시에 처리하도록 설계한 것입니다.

특히 이번 개발에서는 파이토치(PyTorch)의 대칭 메모리 기술을 적극적으로 활용했습니다. 덕분에 성능이 상대적으로 느린 메인 프로세서인 CPU를 거치지 않고, GPU들이 고속 네트워크를 통해 서로의 메모리에 직접 접근할 수 있게 되었습니다.

기존에는 GPU가 연산을 마친 뒤 CPU가 "이제 데이터를 전송해도 좋다"라고 신호를 보낼 때까지 기다려야 하는 병목 현상이 있었습니다. 하지만 메가커널 구조에서는 이 대기 시간이 완전히 사라집니다. GPU들이 서로의 메모리를 실시간으로 읽고 쓰며 끊김 없이 연산을 이어갈 수 있게 된 것이죠.

이 메가커널을 실제로 구동하기 위해서는 다음과 같은 하드웨어와 소프트웨어 요구 사양을 충족해야 합니다.

# Mixture-of-Kittens 시스템 요구 사양 (2026년 8월 기준)
python --version      # Python 3.12 이상 필요
pip show torch        # PyTorch 2.10 이상 필요
nvcc --version        # CUDA 13.0 이상 및 Blackwell GPU 필요

이처럼 최신 소프트웨어 스택과 차세대 하드웨어의 잠재력을 극한으로 결합한 덕분에, 데이터가 오가는 길목의 신호등 자체를 완전히 제거하는 최적화를 달성할 수 있었습니다.

실제 훈련에서 입증된 '41% 성능 향상'

실제 결과는 어땠을까요? 성능 측정 데이터는 기대 이상이었습니다.

개별 레이어 수준의 테스트에서 차세대 데이터 포맷인 MXFP8 순방향 연산은 기존에 가장 빠르다고 알려진 벤치마크보다 최대 2.37배 빨랐습니다. 데이터를 역방향으로 처리하는 역방향 연산에서도 1.78배 빠른 속도를 기록했습니다.

이 성능 향상은 실험실 안에서만 그치지 않았습니다. 커서는 512대의 실제 GB300 GPU 클러스터 환경에서 자사의 최고 성능 코딩 모델인 컴포저를 직접 학습시켰습니다. 그 결과, 최종 모델의 전체 훈련 처리량이 41%나 증가했습니다.

대규모 서버 환경에서 전체 학습 처리량이 41%나 올랐다는 것은 엄청난 결과입니다. AI 모델을 학습시키는 데 필요한 시간과 하드웨어 비용을 실질적으로 아낄 수 있는 증거이기 때문입니다.

오픈소스로 퍼지는 '아기 고양이'들의 활약

이 흥미로운 프로젝트는 맨땅에서 갑자기 나온 것이 아닙니다. 스탠퍼드 대학교 헤이지 리서치 연구팀이 개발한 오픈소스 하드웨어 가속 프레임워크인 '썬더키튼'을 기반으로 커서 연구팀이 확장해 완성했습니다. '아기 고양이'라는 귀여운 이름 뒤에는 GPU 반도체의 한계를 쥐어짜기 위한 엔지니어들의 집요한 집념이 녹아 있습니다.

이번 공개가 AI 업계에 던지는 울림은 꽤 큽니다. 이제 AI 서비스 기업의 경쟁력은 단순히 남이 만든 API를 잘 가져다 쓰는 수준에 머무르지 않습니다. 하드웨어 아키텍처의 잠재력을 바닥까지 긁어모아 최적의 소프트웨어를 함께 짜는 '하드웨어-소프트웨어 공동 설계' 능력이 진정한 차별점이 되고 있기 때문입니다.

커서는 이 강력한 메가커널 기술을 아파치 2.0 라이선스로 세상에 아낌없이 풀었습니다. 덕분에 대규모 고성능 인프라를 다루는 일류 기업의 기술 장벽이 허물어지고 있으며, 더 많은 개발팀이 효율적인 MoE 모델 훈련의 혜택을 누릴 수 있게 되었습니다.

성능 경쟁의 진짜 무대는 보이지 않는 인프라에 있습니다

커서의 'Mixture-of-Kittens' 공개는 고성능 하드웨어의 잠재력을 어떻게 극대화할 수 있는지 보여주는 아주 좋은 사례입니다. 물론 앞으로 하드웨어 자체적으로 연산을 더 세밀하게 조율해 주는 엔비디아 루빈 같은 차세대 GPU가 등장하면, 이런 복잡한 메가커널의 역할도 또 어떻게 달라질지 지켜보는 재미가 있을 것입니다. 하지만 지금 당장 하드웨어의 한계를 뚫고 모델 학습 속도를 올리려는 수많은 개발자와 연구팀에게 이 오픈소스는 가장 실질적이고 든든한 돌파구가 되어줄 것입니다.