ガイド
量子化（Q4_K_M・Q8_0 など）の読み方と選び方
ローカルLLMの GGUF ファイルには、Q4_K_M や Q8_0 のような「量子化の型」が付いています。型によってファイルの大きさと、元のモデルからの品質のずれが変わります。このページでは、型の名前の読み方と、当サイトに載っている実際のファイルから集計した大きさ、品質の目安をまとめます。
集計は毎日更新（当サイトに載っている 20,780 ファイル・1,276 モデルから）
最終更新
量子化とは
LLM の重み（パラメータ）は、もともと 1 つあたり 16 ビット（BF16・F16）で持たれています。量子化は、これを 8 ビット・4 ビット・2 ビットのように少ないビット数で表し直して、ファイルと必要メモリを小さくする方法です。
ビット数を減らすほど小さくなりますが、元のモデルの出力からのずれ（品質の低下）も大きくなります。必要メモリはおおよそ「ファイルサイズ + KV キャッシュ（会話の長さに比例）+ 少しの余裕」なので、まず自分の VRAM に収まる型を探すのが出発点になります。
型の名前の読み方
名前は、いくつかの部品の組み合わせです。
| 部品 | 意味 |
|---|---|
| Q4・Q5・Q8 など | 1つの重みにおおよそ何ビット使うか（4 なら約 4 ビット）。実際は尺度などの情報も入るので、少し大きくなります。 |
| _K（Q4_K_M など） | k-quants。重みを小さなまとまり（ブロック）に分け、まとまりごとに尺度を持つ方式。同じビット数なら古い方式（_0・_1）より元のモデルに近い。 |
| _S・_M・_L | 同じ型の中での大きさ（Small・Medium・Large）。重要な層に多めのビットを使うほど大きく、元のモデルに近くなります。 |
| IQ（IQ4_XS・IQ2_M など） | i-quants。少ないビット数でもずれを小さくする方式で、2〜4 ビットの小さい型に多い。imatrix と一緒に使われます。 |
| _0・_1（Q4_0・Q8_0 など） | 古くからある単純な方式。Q8_0 は 8 ビットで、元のモデルとほぼ同じ出力になります。 |
| F16・BF16・F32 | 量子化していない元の精度。いちばん大きく、品質のずれはありません。 |
| MXFP4・NVFP4 | 4 ビットの浮動小数点の形式。モデルの作者が最初からこの形式で配っていることがあります（gpt-oss など）。 |
| UD-・*_XL・*_L（配布元の独自の型） | 配布元が層ごとに型を混ぜて作ったもの（Unsloth の UD-Q4_K_XL など）。名前だけでは中身が決まらないので、配布元の説明を確かめてください。 |
| imatrix（i1 など） | 量子化するときに「どの重みが大事か」の情報を使ったもの。同じ型でも元のモデルに少し近くなります。 |
型ごとの実際のサイズと品質の目安
当サイトに載っている GGUF ファイルの実際のサイズを、GGUF に書かれたパラメータ数で割って、1 パラメータあたりのビット数を出しました（20,780 ファイルから）。同じ型でも、モデルや配布元によって幅があります。
| 型 | 1パラメータあたり（中央値） 実測 | 半分が入る範囲 | 8B のモデルなら | ファイル数 | 品質の目安 |
|---|---|---|---|---|---|
| F32 | 32.01 ビット | 32.01–32.04 | 32.0 GB | 44 | 元の精度 |
| BF16 | 16.01 ビット | 16.00–16.02 | 16.0 GB | 385 | 元の精度 |
| F16 | 16.01 ビット | 16.00–16.02 | 16.0 GB | 447 | 元の精度 |
| UD-Q8_K_XL | 9.52 ビット | 9.09–10.57 | 9.5 GB | 107 | - |
| Q8_K | 9.51 ビット | 9.07–10.06 | 9.5 GB | 11 | - |
| Q8_0 | 8.51 ビット | 8.50–8.52 | 8.5 GB | 1,309 | ほぼ同じ |
| UD-Q6_K_XL | 7.34 ビット | 7.18–7.63 | 7.3 GB | 109 | - |
| Q6_K_L | 6.90 ビット | 6.77–7.25 | 6.9 GB | 126 | - |
| Q6_K_S | 6.71 ビット | 6.69–6.73 | 6.7 GB | 12 | - |
| UD-Q6_K | 6.70 ビット | 6.61–6.76 | 6.7 GB | 17 | - |
| Q6_K | 6.57 ビット | 6.57–6.61 | 6.6 GB | 1,252 | ごく小さい |
| Q5_1 | 6.03 ビット | 6.02–6.05 | 6.0 GB | 122 | 小さい |
| Q5_K_L | 6.02 ビット | 5.91–6.31 | 6.0 GB | 113 | - |
| UD-Q5_K_M | 6.02 ビット | 5.94–6.11 | 6.0 GB | 16 | - |
| UD-Q5_K_XL | 5.97 ビット | 5.75–6.12 | 6.0 GB | 105 | - |
| UD-Q5_K_S | 5.76 ビット | 5.64–5.79 | 5.8 GB | 19 | - |
| Q5_K_M | 5.71 ビット | 5.69–5.80 | 5.7 GB | 1,179 | ごく小さい |
| Q5_K | 5.69 ビット | 5.68–5.76 | 5.7 GB | 84 | - |
| Q5_K_S | 5.58 ビット | 5.53–5.63 | 5.6 GB | 941 | 小さい |
| Q5_0 | 5.55 ビット | 5.52–5.58 | 5.6 GB | 255 | 小さい |
| Q4_K_L | 5.31 ビット | 5.13–5.54 | 5.3 GB | 131 | - |
| TQ3_0 | 5.26 ビット | 3.48–6.89 | 5.3 GB | 6 | - |
| Q4_K_XL | 5.18 ビット | 5.13–5.43 | 5.2 GB | 10 | - |
| Q4_1 | 5.10 ビット | 5.04–5.18 | 5.1 GB | 390 | 中くらい |
| UD-Q4_K_M | 5.08 ビット | 4.95–5.11 | 5.1 GB | 19 | - |
| UD-Q4_K_XL | 5.05 ビット | 4.89–5.27 | 5.0 GB | 129 | - |
| Q4_K_M | 4.92 ビット | 4.87–5.06 | 4.9 GB | 1,612 | 小さい |
| Q4_K | 4.86 ビット | 4.84–4.99 | 4.9 GB | 98 | - |
| UD-Q4_K_S | 4.82 ビット | 4.63–4.82 | 4.8 GB | 19 | - |
| MXFP4_MOE | 4.80 ビット | 4.63–5.01 | 4.8 GB | 38 | - |
| NVFP4 | 4.76 ビット | 4.65–4.96 | 4.8 GB | 17 | - |
| Q4_K_S | 4.67 ビット | 4.59–4.77 | 4.7 GB | 968 | 中くらい |
| IQ4_NL | 4.66 ビット | 4.57–4.78 | 4.7 GB | 448 | 小さい |
| Q3_K_XL | 4.65 ビット | 4.36–4.86 | 4.6 GB | 114 | - |
| Q4_0_4_8 | 4.64 ビット | 4.60–4.73 | 4.6 GB | 35 | - |
| Q4_0_8_8 | 4.64 ビット | 4.59–4.74 | 4.6 GB | 33 | - |
| Q4_0_4_4 | 4.64 ビット | 4.56–4.71 | 4.6 GB | 38 | - |
| Q4_0 | 4.63 ビット | 4.55–4.72 | 4.6 GB | 677 | 中くらい |
| MXFP4 | 4.46 ビット | 4.39–4.63 | 4.5 GB | 10 | - |
| IQ4_XS | 4.43 ビット | 4.34–4.53 | 4.4 GB | 919 | 小さい |
| Q3_K_L | 4.29 ビット | 4.22–4.37 | 4.3 GB | 847 | 中くらい |
| UD-IQ4_NL | 4.09 ビット | 3.95–4.18 | 4.1 GB | 18 | - |
| UD-IQ4_XS | 4.09 ビット | 3.88–4.21 | 4.1 GB | 33 | - |
| UD-Q3_K_XL | 4.06 ビット | 3.83–4.36 | 4.1 GB | 117 | - |
| Q3_K_M | 4.00 ビット | 3.89–4.12 | 4.0 GB | 1,014 | 中くらい |
| Q3_K | 3.92 ビット | 3.89–4.00 | 3.9 GB | 82 | - |
| IQ3_M | 3.76 ビット | 3.67–3.92 | 3.8 GB | 526 | 中くらい |
| UD-Q3_K_M | 3.73 ビット | 3.62–3.85 | 3.7 GB | 15 | - |
| Q3_K_S | 3.63 ビット | 3.51–3.73 | 3.6 GB | 868 | 大きい |
| IQ3_S | 3.60 ビット | 3.51–3.68 | 3.6 GB | 352 | 中くらい |
| Q2_K_L | 3.50 ビット | 3.16–3.80 | 3.5 GB | 163 | - |
| IQ3_XS | 3.49 ビット | 3.34–3.61 | 3.5 GB | 469 | 大きい |
| UD-IQ3_XXS | 3.33 ビット | 3.17–3.62 | 3.3 GB | 108 | - |
| UD-Q2_K_XL | 3.30 ビット | 2.90–3.65 | 3.3 GB | 119 | - |
| UD-IQ3_S | 3.27 ビット | 3.16–3.46 | 3.3 GB | 24 | - |
| IQ3_XXS | 3.26 ビット | 3.12–3.46 | 3.3 GB | 377 | 大きい |
| Q2_K | 3.17 ビット | 3.01–3.32 | 3.2 GB | 932 | とても大きい |
| UD-IQ2_M | 3.04 ビット | 2.80–3.35 | 3.0 GB | 94 | - |
| Q2_K_S | 2.96 ビット | 2.81–3.08 | 3.0 GB | 134 | とても大きい |
| IQ2_M | 2.94 ビット | 2.76–3.11 | 2.9 GB | 392 | 大きい |
| TQ2_0 | 2.77 ビット | 2.57–5.85 | 2.8 GB | 9 | - |
| Q2_0 | 2.73 ビット | 2.27–3.01 | 2.7 GB | 17 | - |
| IQ2_S | 2.71 ビット | 2.54–2.81 | 2.7 GB | 315 | とても大きい |
| UD-IQ2_XXS | 2.59 ビット | 2.49–2.82 | 2.6 GB | 92 | - |
| IQ2_XS | 2.56 ビット | 2.43–2.66 | 2.6 GB | 330 | とても大きい |
| UD-IQ1_M | 2.39 ビット | 2.27–2.55 | 2.4 GB | 73 | - |
| TQ1_0 | 2.35 ビット | 1.89–3.72 | 2.3 GB | 8 | - |
| IQ2_XXS | 2.35 ビット | 2.20–2.51 | 2.3 GB | 291 | とても大きい |
| UD-IQ1_S | 2.27 ビット | 2.15–2.41 | 2.3 GB | 61 | - |
| UD-TQ1_0 | 2.11 ビット | 2.02–2.16 | 2.1 GB | 14 | - |
| IQ1_M | 2.10 ビット | 1.92–2.20 | 2.1 GB | 265 | とても大きい |
| IQ1_S | 1.95 ビット | 1.78–2.05 | 1.9 GB | 245 | とても大きい |
| Q1_0 | 1.23 ビット | 1.14–1.43 | 1.2 GB | 12 | - |
「8B のモデルなら」は、中央値のビット数から計算したファイルサイズの目安です（8,000,000,000 パラメータ × ビット数 ÷ 8）。品質の目安は llama.cpp が Llama-3-8B で測った値（平均 KLD）からの段階で、このモデルでの測定ではありません。
VRAM に合わせた選び方の手順
- GPU の VRAM（Mac なら統合メモリ）の量を確かめます。
- 使いたいモデルのページで、その量に収まる量子化を探します。必要メモリは会話の長さ（コンテキスト長）で増えるので、使う長さの列を見ます。
- 収まる中で、品質の目安を見ます。Q4_K_M あたりより小さい型は、元のモデルからのずれが大きくなっていきます。
- 「小さいモデルの大きい型」と「大きいモデルの小さい型」は、どちらも選べます。外部の評価（ランキング）も参考にして、用途で確かめてください。
関連するページ
よくある質問
- Q4_K_M と Q4_K_S の違いは？
- どちらも約 4 ビットの k-quants ですが、Q4_K_M のほうが一部の重要な層に多めのビットを使うので、少し大きく、元のモデルに近くなります。
- Q8_0 と F16（BF16）の違いは？
- Q8_0 は 8 ビットで、ファイルは F16 の約半分です。llama.cpp の測定では、元のモデルとの出力のずれはとても小さい（平均 KLD 0.0014）です。
- imatrix（i1）付きのファイルは何が違う？
- 量子化するときに、どの重みが大事かの情報（importance matrix）を使ったものです。同じ型・同じ大きさでも、元のモデルに少し近くなります。
- KV キャッシュの量子化とは別のもの？
- 別のものです。ここで説明しているのはモデルの重み（ファイル）の量子化です。KV キャッシュ（会話の長さに比例するメモリ）も q8_0・q4_0 にでき、必要メモリを減らせます。詳しくは必要メモリの計算方法のページにあります。