オープンソースAI陣営に史上最大級のモデルが登場しました！Moonshot AI（月之暗面）が、なんと2.8兆（2.8T）パラメータを持つ巨大な混合エキスパート（MoE）モデル「Kimi K3」を発表し、7月27日に重み（weights）を完全オープンにすると宣言しました。オープンウェイトの歴史上最大サイズであり、単に大きいだけでなく、アーキテクチャやベンチマークスコアにおいても非常に興味深い点が多く見られます。

最も注目すべきは、極端なスパース（Sparse）ルーティング構造です。合計896個のエキスパートのうち、トークンあたりわずか16個のみをアクティブ化し、実際の推論時には約500億（50B）の活性パラメータのみを使用します。ここに「Kimi Delta Attention」というハイブリッドアテンション技術を加え、100万トークンの超長文コンテキストをサポートしています。vLLMチームと協力してDay-0サポートやキャッシング最適化まで準備しているあたり、オープンソースのエコシステムに本気で取り組んでいるようです。

実際の性能はどうでしょうか？LMSYS Chatbot Arenaのコーディング部門で1位（1,679 Elo）を獲得するほど、コーディングや長期推論の領域で独歩的な強さを見せています。ベンチマークサイト「Artificial Analysis」でも、クローズドソースのフラッグシップモデルに肉薄する勢いです。

ただし、高嶺の花とならないためにはハードウェアの壁を越える必要があります。量子化されたMXFP4フォーマットであってもモデル容量は約1.4TBに達するため、ローカルでまともに動作させるには64個以上のアクセラレータで構成された企業用スーパーノードクラスタが必要とのことです。ライセンス条件は重みが公開される27日に発表される予定ですが、現実的には個人が使うというよりは、クラウドベースの分散エージェント環境や、エンタープライズレベルでのオープンソース主権を確保するための非常に強力な武器になると思われます。