Cursorが「Mixture-of-Kittens」を公開 — AIモデルの学習速度が41%向上

エンジニアの必須コーディングエディタとなったCursorが、誰もを驚かせる性能最適化インフラ技術をオープンソースとして公開しました。NVIDIAの次世代サーバー「Blackwell NVL72」向けに設計された、混合エキスパート（MoE）モデル学習用メガカーネル「Mixture-of-Kittens」です。彼らは自社の代表的なAIコーディングエージェント「Composer」を自ら学習させるために、ハードウェアの限界を突き詰めるコア技術を開発し、それを世界中の開発者のために惜しみなく共有することを決めました。

どんなに高速なGPUでも避けられない「通信のボトルネック」

MoEモデルは、各分野に特化した複数の専門モデルが協力する構造のため、非常に高い性能を誇ります。しかし、致命的な欠点があります。異なるGPU間で演算結果を絶えずやり取りする必要がある「オールツーオール通信」のプロセスが、学習時間全体の半分以上を占めてしまうためです。

これは、複数の同僚が集まって共同作業をする状況に似ています。各人が自分の作業を瞬時に終わらせても、次のステップに進むために毎回動作の遅い社内メッセンジャーでメモを送り合い、確認しなければならないとしたらどうでしょうか？結局、実際に作業している時間よりも、メモを送って返信を待つ時間に多くの時間を費やすことになってしまいます。

NVIDIAの最新のBlackwell NVL72システムが、どれほどハードウェアの転送速度を革新的に向上させても、この壁は依然として残っていました。GPUが演算結果を送るたびに、比較的低速なメインCPUと信号を合わせる同期ステップを経る必要があり、その過程で発生する微細な遅延の積み重ねが、システム全体の足かせとなる課題として残っていたのです。

通信と演算を一体化させた「メガカーネル」

Cursorはこの問題を解決するために、演算と通信を一つにまとめた「メガカーネル」というコンセプトを導入しました。データを処理する演算ステップと、他GPUへデータを転送する通信ステップを分けるのではなく、単一のパイプラインの中で同時に処理するように設計したのです。

今回の開発では特に、PyTorchの対称メモリ技術を積極的に活用しました。これにより、性能が比較的遅いメインプロセッサであるCPUを経由せず、GPU同士が高速ネットワークを通じて互いのメモリに直接アクセスできるようになりました。

従来は、GPUが演算を終えた後、CPUが「データを転送してよし」と信号を送るまで待機しなければならないボトルネックが存在しました。しかし、メガカーネル構造ではこの待機時間が完全に解消されます。GPU同士が互いのメモリをリアルタイムで読み書きし、途切れなく演算を継続できるようになったのです。

このメガカーネルを実際に動作させるためには、以下のハードウェアおよびソフトウェアの要件を満たす必要があります。

# Mixture-of-Kittens 시스템 요구 사양 (2026년 8월 기준)
python --version      # Python 3.12 이상 필요
pip show torch        # PyTorch 2.10 이상 필요
nvcc --version        # CUDA 13.0 이상 및 Blackwell GPU 필요

このように最新のソフトウェアスタックと次世代ハードウェアのポテンシャルを極限まで融合させたことで、データが行き交う道の信号機そのものを完全に取り除く最適化を達成できたのです。

実際の学習で証明された「41%の性能向上」

実際のところ、結果はどうだったのでしょうか？性能測定データは期待以上のものでした。

個別のレイヤーレベルでのテストにおいて、次世代データフォーマットであるMXFP8の順方向演算は、これまで最速とされていたベンチマークよりも最大2.37倍の高速化を記録しました。データを逆方向に処理する逆方向演算でも1.78倍の速度を達成しました。

この性能向上は、研究室の中だけにとどまりませんでした。Cursorは、512台の実際のGB300 GPUクラスタ環境において、自社の最高性能コーディングモデルであるComposerを直接学習させました。その結果、最終的なモデルの全体的な学習スループットが41%も増加しました。

大規模サーバー環境において全体の学習スループットが41%向上したというのは驚異的な結果です。AIモデルの学習に必要な時間とハードウェアコストを実質的に削減できることを証明したからです。

オープンソースとして広がる「子猫」たちの活躍

この興味深いプロジェクトは、何もないところから突然生まれたわけではありません。スタンフォード大学のHazy Researchチームが開発したオープンソースのハードウェア加速フレームワーク「ThunderKittens」をベースに、Cursorの研究チームが拡張して完成させたものです。「子猫（Kittens）」という可愛らしい名前の裏には、GPU半導体の限界を絞り出すためのエンジニアたちの執念が溶け込んでいます。

今回の公開がAI業界に与える反響は小さくありません。もはやAIサービス企業の競争力は、他社が作ったAPIをうまく使うだけにとどまらなくなりました。ハードウェアアーキテクチャのポテンシャルを底まで引き出し、最適なソフトウェアを組み上げる「ハードウェア・ソフトウェアの共同設計」能力こそが、真の差別化要因になっているからです。

Cursorはこの強力なメガカーネル技術を、Apache 2.0ライセンスのもとで世界に向けて惜しみなく公開しました。これにより、大規模かつ高性能なインフラを扱う一流企業の技術障壁が取り払われ、より多くの開発チームが効率的なMoEモデル学習の恩恵を受けられるようになりました。

性能競争の主戦場は、目に見えないインフラにあります

Cursorの「Mixture-of-Kittens」公開は、高性能ハードウェアのポテンシャルをどのように最大化できるかを示す非常に優れた例です。もちろん今後、ハードウェア自身が演算をより細かく調整してくれるNVIDIA Rubinのような次世代GPUが登場すれば、このような複雑なメガカーネルの役割もまた変わっていくことでしょう。しかし、今まさにハードウェアの限界を突き破ってモデル学習速度を向上させようとしている多くの開発者や研究チームにとって、このオープンソースは最も実用的で心強い突破口となってくれるはずです。