本文へ移動
相談する

BLOG

Kimi K3.1 Proは手元で動くのか。2.8兆の重みと推論のしくみ

Moonshot AIが重みを公開したKimi K3.1 Pro。2.8兆パラメータのうち推論で有効になるのは1,040億。約1.56 TBの配布ファイルから、メモリ、GPU間通信、100万トークンの入力に必要な条件を読み解きます。

広がる雲の中で一部だけが照らされるイメージ

重みは入手できる。配布サイズは約1.56 TB

Kimi K3.1 Proは、Moonshot AIが開発した、テキストや画像を扱うAIモデルです。前世代のKimi K3を土台に、プログラミングなど複数の領域に向けた追加学習を行っています。11月4日にはvLLMが対応を発表し、Moonshotの公式Hugging Faceリポジトリから重みを入手できます。

公開された96個のSafetensorsファイルを配布情報から合計すると約1.56 TBです。配布物は、専門部分の重みをすでに4ビット系のMXFP4で圧縮しています。単純に「2.8兆に4ビットを掛ける」計算とファイルサイズが一致しないのは、専門部分の外にある重みはBF16で保持され、量子化用の補助情報も入るためです。

Moonshot AIの公開ファイル一覧

2.8兆と1,040億は、何を数えているか

2.8兆はモデル全体のパラメータ数、1,040億は1トークンの処理で有効になるパラメータ数です。Kimiは、入力に応じて複数の専門部分を選ぶMoE方式を使っています。各MoE層では、896の候補から1トークンごとに16の専門部分を選び、常に使う共通部分と合わせて計算します。

モデル全体は2.8兆パラメータ、配布ファイルは約1.56 TB。1トークンの処理で有効になるのは1,040億パラメータ。右のマスは入力に応じて選ばれる部分のイメージ。
パラメータ数はMoonshot AIのモデルカードに基づき、配布サイズは公開された96個のSafetensorsファイルを合計しています。

どの専門部分が選ばれるかは入力によって変わります。モデル全体をGPUメモリに置く構成では、次のトークンで呼ばれる可能性がある重みも保持します。1,040億という数は計算対象の規模を考えるときに役立ちます。保存先やGPUメモリを見積もるときは、配布ファイル全体と実行時の作業領域を見ます。

Moonshot AIのモデルカードとアーキテクチャ仕様

Mac Studio一台と、B300を8基載せた構成

Mac Studio M5 Ultraの上限は512 GB、DGX Sparkの比較構成は128 GBです。公式配布の重み約1.56 TBを、どちらか一台のメモリにすべて載せるには容量が足りません。入力に応じて増えるキャッシュや推論エンジンの作業領域は、この重みの容量に加わります。

vLLMが示す動作構成の一つは、B300を8基載せたサーバーで、8基にモデルの計算を分ける構成です。GPUを足せば使えるメモリは増えますが、計算の途中でGPU間のデータ交換も起きます。公称容量の合計に加え、GPU間の接続と、その分け方に推論エンジンが対応しているかも動作条件になります。

vLLMのKimi K3.1 Pro実行構成

SSDに置けば、容量の問題は読み出し時間に変わる

大きなMoEモデルを手元で動かす方法として、重みをさらに量子化する、複数台へ分割する、SSDやCPU側メモリから一部を読み込む方法があります。SSDを使う場合、必要な重みがメモリになければ読み出しを待つため、ストレージの帯域と読み出し頻度が生成速度を左右します。

この方法が使えるかは、対象モデルの形式と実行エンジンの対応次第です。本稿で確認したKimi K3.1 Proの実行例は、vLLMが公開したサーバー構成です。購入や構成の判断に使うなら、同じモデルと配布形式で、希望する入力長のときに何秒で返答が始まるかまで確認します。

Mac StudioとDGX Sparkの容量・帯域比較

100万トークンでは、履歴を参照する仕組みも効く

公式モデルカードのコンテキスト長は100万トークンです。前世代から変わった点の一つは、一部のアテンション層にGated DeepSeek Sparse Attentionを使うことです。この層では、まず索引で履歴の候補を絞り、最大2,048の位置を詳しく参照します。

それでも、長い入力を最初に処理する時間や、入力と出力の途中経過を保存するキャッシュの容量は残ります。vLLMの資料には、キャッシュを複数GPUに分けて容量を稼ぐ方法と、条件によって生成ステップが遅くなるトレードオフが載っています。入力できる長さ、回答が始まるまでの時間、同時に扱える会話数は、それぞれ測る必要があります。

vLLMの対応発表と長文処理の仕組み

コーディングの成績には、周囲のツールも関わる

MoonshotはTerminal-Bench 4.0で65.7%を報告しています。ファイルを調べ、コマンドを実行し、採点用のテストを通す形式の評価で、Kimiの測定にはClaude Codeが使われています。同じモデルでも、利用するツール、実行環境、使える時間によって結果は変わります。

長い作業を任せるなら、自分の案件から典型的なタスクを選び、完了率に加えて、修正の手戻り、使ったトークン、ツール実行を含む所要時間を比べると、モデルの性能が実際の仕事にどう現れるかを確認できます。

Moonshot AIの発表とベンチマーク

公開された重みを、誰にどう提供するか

Kimi K3.1 Proには独自ライセンスが付きます。利用・改変・配布を認める条項があり、著作権と許諾表示の保持などが求められます。第三者が入力や調整に関与できる形でモデルを提供する事業には、一定の売上規模で別契約が必要になる条項があります。大規模な商用製品・サービスには名称の表示条件もあります。

ライセンスは内部利用やMoonshotの公式製品・認定推論パートナー経由の利用を、これら二つの追加条件の対象外としています。社内で使う場合と顧客に推論APIを提供する場合では、参照すべき条項が変わります。導入の検討では、先に利用者と提供形態を決めてから、必要な機材や配布条件を確かめます。

公開チェックポイントのライセンス原文