Moonshot AI、2.8兆パラメータの新LLM「Kimi K3」を公開

出典:Kimi K3 Tech Blog: Open Frontier Intelligence

中国のAI企業Moonshot AIは、新たな大規模言語モデル「Kimi K3」を公開しました。総パラメータ数は2.8兆に達し、最大100万トークンのコンテキストウィンドウに対応します。テキストだけでなく、画像や動画も同一モデルで処理できるネイティブなマルチモーダル機能を備えており、同社はKimi K3を世界初の「オープン3兆パラメータ級モデル」と位置付けています。

Kimi K3は、長時間にわたるコーディング、ナレッジワーク、推論、複数のツールを使ったエージェント処理などを想定して設計されました。人間による細かな監視を抑えながら、大規模なコードリポジトリを調査し、ターミナル上のツールを操作して作業を継続できるとしています。スクリーンショットや映像を確認しながらコードを修正することも可能で、ゲーム開発、フロントエンド制作、CAD、動画編集など、視覚情報とソフトウェア開発を組み合わせた用途にも対応します。

アーキテクチャには、独自技術の「Kimi Delta Attention」と「Attention Residuals」が採用されました。Kimi Delta Attentionは長い入力を効率的に処理する仕組みで、100万トークン規模のコンテキストでは、デコード速度を最大6.3倍に高められるとしています。Attention Residualsは、追加コストを2%未満に抑えながら学習効率を約25%向上させる技術です。

また、Kimi K3はMixture of Expertsと呼ばれる構造を採用し、896個の専門家ネットワークのうち、処理内容に応じて16個を選択的に稼働させます。これらの構造や学習方法の改善により、前世代のKimi K2と比べて、計算資源を性能へ変換する全体的なスケーリング効率が約2.5倍に向上したということです。

Moonshot AIが公表したベンチマークでは、Kimi K3の総合性能はClaude Fable 5やGPT-5.6 Solにまだ及ばないと明記されています。一方、一部のコーディング評価では両モデルを上回りました。Program BenchではKimi K3が77.8を記録し、Claude Fable 5の76.8、GPT-5.6 Solの77.6を上回っています。SWE Marathonでも42.0となり、Claude Fable 5の35.0、GPT-5.6 Solの39.0を超えました。社内評価のKimi Code Bench 2.0では72.9を記録し、GPT-5.6 Solの64.8を上回っています。

出典:Kimi K3 Tech Blog: Open Frontier Intelligence

エージェント関連では、BrowseCompで91.2、Automation Benchで30.8を記録し、比較対象の中で最高値となりました。SpreadsheetBench 2やOmniDocBenchなどでも首位の結果を示しています。ただし、ベンチマークによってKimiCode、Claude Code、Codexなど異なる実行環境が使われているため、モデル単体の性能を完全に同一条件で比較したものではありません。

実際の活用例として、GPUカーネル最適化では、順伝播と逆伝播を合わせた処理時間を283.6ミリ秒から114.4ミリ秒まで短縮しました。さらに、独自の中間表現やPTXコード生成機能を持つGPUコンパイラ「MiniTriton」をゼロから開発し、一部の処理では既存のTritonを上回ったとしています。

このほか、ブラウザ上で動作する3Dオープンワールドゲームの制作、半導体チップの設計、科学論文を基にした数値計算の実装、インタラクティブな調査レポートやプレゼンテーションの作成、56本の素材を使った動画編集なども実施しました。

Kimi K3はKimi.com、Kimi Work、Kimi Code、Kimi APIで利用できます。API料金は、キャッシュが利用された入力100万トークン当たり0.30ドル、通常の入力が3ドル、出力が15ドルです。完全なモデルウェイトは2026年7月27日までに公開される予定で、詳しい技術仕様や学習方法、評価結果も今後発表されます。


出典:Kimi K3 Tech Blog: Open Frontier Intelligence

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次