本文へ移動
localllm

moonshotai

Kimi-K2-Instruct

パラメータ数
1,026.4B
最大コンテキスト長
131,072
アーキテクチャ
deepseek2
ライセンス
条件付き
ライセンス
modified-mit

Kimi-K2-Instruct の概要

Kimi-K2-Instruct は、Hugging Face の moonshotai/Kimi-K2-Instruct をもとにした GGUF 形式のモデルです。GGUF は unsloth/Kimi-K2-Instruct-GGUF が公開しています。パラメータ数は約 1,026.4B(10,264億)、アーキテクチャは deepseek2、最大コンテキスト長は 131,072 トークンです(GGUF に書かれた値)。

量子化は 27 種類あり、ファイルサイズは UD-TQ1_0 の 244 GB から BF16 の 2,053 GB まであります(Hugging Face 上の実際のサイズ)。

Q4_K_M(621 GB)を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 622 GB、32,768 トークンでは推定 624 GBです。最も小さい UD-TQ1_0(244 GB)なら、8,192 トークンで推定 245 GBです。

元のモデルのライセンスは Modified MIT License(Moonshot AI の Kimi) で、商用利用には規模・用途などの条件があります。利用条件は原文で確認してください。

量子化ごとのファイルサイズと必要メモリの目安

  • 8 GB まで
  • 16 GB まで
  • 24 GB まで
  • 48 GB まで
  • 128 GB まで
  • それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値(KVキャッシュ f16)。計算式は 必要メモリの計算方法で公開しています。

必要メモリはすべて 推定 (KVキャッシュ f16)。このページの「必要メモリ」以上の VRAM(または Mac の統合メモリ)を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧(GPU・Macで探す)に移動します。

「品質の目安」について(量子化でどれだけ元のモデルからずれるか)

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD(元のモデルと量子化したモデルの、次の単語の確率の分布の差)で、小さいほど元のモデルに近い出力になります。imatrix(重要度の情報)を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値(無い型は使った値)で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型(UD-Q4_K_XL など)は型の名前だけでは当てはめられないので「-」にしています。

量子化 品質の目安 KLD(imatrix なし) KLD(imatrix あり) サイズ(Llama-3-8B)
Q8_0 ほぼ同じ 0.0014 - 7.96 GiB
Q6_K ごく小さい 0.0055 - 6.14 GiB
Q5_K_M ごく小さい 0.0108 - 5.33 GiB
Q5_K_S 小さい 0.0166 - 5.21 GiB
Q5_1 小さい 0.0180 - 5.65 GiB
Q5_0 小さい 0.0222 - 5.21 GiB
Q4_K_M 小さい 0.0313 0.0282 4.58 GiB
Q4_K_S 中くらい 0.0431 0.0320 4.37 GiB
IQ4_NL 小さい - 0.0357 4.35 GiB
IQ4_XS 小さい - 0.0363 4.14 GiB
Q4_1 中くらい 0.0717 - 4.78 GiB
Q4_0 中くらい 0.0719 - 4.34 GiB
Q3_K_L 中くらい 0.0872 0.0731 4.03 GiB
Q3_K_M 中くらい 0.1019 0.0844 3.74 GiB
IQ3_M 中くらい - 0.1025 3.53 GiB
IQ3_S 中くらい - 0.1113 3.42 GiB
IQ3_XS 大きい - 0.1387 3.28 GiB
IQ3_XXS 大きい - 0.1836 3.05 GiB
Q3_K_S 大きい 0.2282 0.1998 3.41 GiB
IQ2_M 大きい - 0.3260 2.74 GiB
Q2_K とても大きい 0.4451 0.3322 2.96 GiB
Q2_K_S とても大きい - 0.4034 2.96 GiB
IQ2_S とても大きい - 0.4392 2.56 GiB
IQ2_XS とても大きい - 0.5463 2.43 GiB
IQ2_XXS とても大きい - 0.8120 2.24 GiB
IQ1_M とても大きい - 1.3931 2.01 GiB
IQ1_S とても大きい - 2.2546 1.88 GiB

出典:llama.cpp(MIT)、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方

GGUF配布元

unsloth/Kimi-K2-Instruct-GGUF

第三者が変換して配布 この表示について

最終確認:2026年10月5日

アーキテクチャ
deepseek2
llama.cpp b4409 より前から
パラメータ数
1,026.4B
最大コンテキスト長
131,072
ライセンス
modified-mit 条件付き
Kimi-K2-Instruct(unsloth/Kimi-K2-Instruct-GGUF)の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 最大
UD-TQ1_0 (5分割) 244 GB - 245 GB 245 GB 246 GB 247 GB 249 GB 254 GB
UD-IQ1_S (6分割) 280 GB - 281 GB 282 GB 282 GB 283 GB 286 GB 290 GB
UD-IQ1_M (7分割) 304 GB - 305 GB 306 GB 306 GB 307 GB 310 GB 314 GB
UD-IQ2_XXS (7分割) 329 GB - 330 GB 330 GB 331 GB 332 GB 334 GB 339 GB
UD-IQ2_M (8分割) 347 GB - 348 GB 349 GB 349 GB 350 GB 353 GB 357 GB
Q2_K (8分割) 373 GB とても大きい 374 GB 375 GB 375 GB 376 GB 379 GB 383 GB
Q2_K_L (8分割) 373 GB - 375 GB 375 GB 375 GB 377 GB 379 GB 384 GB
UD-Q2_K_XL (8分割) 382 GB - 383 GB 383 GB 384 GB 385 GB 387 GB 392 GB
UD-IQ3_XXS (9分割) 417 GB - 418 GB 418 GB 419 GB 420 GB 422 GB 427 GB
Q3_K_S (10分割) 442 GB 大きい 444 GB 444 GB 444 GB 446 GB 448 GB 453 GB
UD-Q3_K_XL (10分割) 452 GB - 453 GB 454 GB 454 GB 455 GB 458 GB 462 GB
Q3_K_M (11分割) 489 GB 中くらい 491 GB 491 GB 491 GB 493 GB 495 GB 499 GB
IQ4_XS (12分割) 547 GB 小さい 548 GB 548 GB 549 GB 550 GB 552 GB 557 GB
IQ4_NL (12分割) 578 GB 小さい 580 GB 580 GB 581 GB 582 GB 584 GB 589 GB
Q4_0 (13分割) 581 GB 中くらい 582 GB 582 GB 583 GB 584 GB 586 GB 591 GB
Q4_K_S (13分割) 583 GB 中くらい 584 GB 584 GB 585 GB 586 GB 588 GB 593 GB
UD-Q4_K_XL (13分割) 587 GB - 588 GB 589 GB 589 GB 590 GB 593 GB 597 GB
Q4_K_M (13分割) 621 GB 小さい 622 GB 622 GB 623 GB 624 GB 626 GB 631 GB
Q4_1 (13分割) 643 GB 中くらい 644 GB 644 GB 645 GB 646 GB 648 GB 653 GB
Q5_K_S (15分割) 707 GB 小さい 708 GB 708 GB 709 GB 710 GB 712 GB 717 GB
Q5_K_M (16分割) 728 GB ごく小さい 730 GB 730 GB 730 GB 732 GB 734 GB 738 GB
UD-Q5_K_XL (16分割) 731 GB - 732 GB 732 GB 733 GB 734 GB 736 GB 741 GB
Q6_K (18分割) 843 GB ごく小さい 844 GB 844 GB 845 GB 846 GB 848 GB 853 GB
UD-Q6_K_XL (19分割) 879 GB - 880 GB 881 GB 881 GB 882 GB 885 GB 889 GB
Q8_0 (23分割) 1,091 GB ほぼ同じ 1,092 GB 1,093 GB 1,093 GB 1,094 GB 1,097 GB 1,101 GB
UD-Q8_K_XL (25分割) 1,190 GB - 1,191 GB 1,192 GB 1,192 GB 1,193 GB 1,196 GB 1,200 GB
BF16 (45分割) 2,053 GB 元の精度 2,054 GB 2,055 GB 2,055 GB 2,056 GB 2,059 GB 2,063 GB
Ollama  ollama run hf.co/unsloth/Kimi-K2-Instruct-GGUF:Q4_K_M
llama.cpp  llama-server -hf unsloth/Kimi-K2-Instruct-GGUF:Q4_K_M

ライセンスと商用利用

Modified MIT License(Moonshot AI の Kimi) 条件付き

MIT ライセンスに1つ条件を足したものです。商用の製品・サービスの月間アクティブユーザーが1億人を超える、または月の売上が2,000万米ドルを超えるときは、画面にモデル名(Kimi K2・Kimi K2.6・Kimi K2.7 Code など)を目立つように表示します。そのほかは MIT と同じで、著作権表示とライセンス文を残します。確かめたのは Moonshot AI の Kimi K2・K2.6・K2.7 Code の原文です。ほかの作者が同じ名前で出していても条件が同じとは限りません。

元のモデルの Hugging Face のページにあるライセンスで判定しています。 ライセンスの原文(2026年11月1日 に確認)

要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。 ライセンスごとの一覧

動かし方

例として Q4_K_M を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。 ローカルLLMの動かし方

Ollama

Hugging Face 上の GGUF を直接指定して動かせます。

ollama run hf.co/unsloth/Kimi-K2-Instruct-GGUF:Q4_K_M

llama.cpp

llama-server(または llama-cli)に -hf でリポジトリと量子化名を指定します。

llama-server -hf unsloth/Kimi-K2-Instruct-GGUF:Q4_K_M

LM Studio

検索欄に unsloth/Kimi-K2-Instruct-GGUF を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。

よくある質問

Kimi-K2-Instruct(Q4_K_M)を動かすのに必要なメモリはどれくらいですか?
ファイルサイズは621 GB(実測)。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは622 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
Kimi-K2-Instructは商用利用できますか?
元のモデルのライセンスはModified MIT License(Moonshot AI の Kimi)(商用利用は条件付き)。MIT ライセンスに1つ条件を足したものです。商用の製品・サービスの月間アクティブユーザーが1億人を超える、または月の売上が2,000万米ドルを超えるときは、画面にモデル名(Kimi K2・Kimi K2.6・Kimi K2.7 Code など)を目立つように表示します。そのほかは MIT と同じで、著作権表示とライセンス文を残します。確かめたのは Moonshot AI の Kimi K2・K2.6・K2.7 Code の原文です。ほかの作者が同じ名前で出していても条件が同じとは限りません。最終的な判断はライセンスの原文で確認してください。
Kimi-K2-Instruct は VRAM 8GB・12GB・16GB・24GB で動きますか?
8GB に収まる量子化は無し、12GB に収まる量子化は無し、16GB に収まる量子化は無し、24GB に収まる量子化は無し(8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル)。
Kimi-K2-Instruct を Ollama で動かすコマンドは?
「ollama run hf.co/unsloth/Kimi-K2-Instruct-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。