性能ランキング(外部の評価)
VRAM 48 GB で動くモデルの性能ランキング(GPQA Diamond (Epoch AI))
Epoch AI が自分で実行した GPQA Diamond(大学院レベルの生物・物理・化学の4択問題 198 問)の正答率です。でたらめに答えると約 25% です。横の幅は 95% の区間(標準誤差から計算)です。
8,192 トークンのコンテキストで、必要メモリ(推定)が 48 GB に収まる量子化があるモデルだけを並べています。
当サイトに載っている 33 モデル中、上位 33 件
2026年8月30日 版の値
-
1Qwen3.6-27B
Qwen 26.9B qwen3.6-27b
正答率(95%区間) 85.9% 81.0%〜90.7%
UD-Q8_K_XL 37.1 GB
-
2Qwen3.6-35B-A3B
Qwen 34.7B qwen3.6-35b-a3b
正答率(95%区間) 83.8% 78.7%〜89.0%
UD-Q8_K_XL 39.7 GB
-
3Qwen3.5-35B-A3B
Qwen 34.7B qwen3.5-35b-a3b
正答率(95%区間) 83.5% 79.2%〜87.7%
UD-Q8_K_XL 50.0 GB
-
4Qwen3.5-9B
Qwen 9B qwen3.5-9B
正答率(95%区間) 79.0% 74.3%〜83.6%
BF16 19.8 GB
-
5Qwen3-30B-A3B-Thinking-2507
Qwen 30.5B qwen3-30b-a3b-thinking-2507
正答率(95%区間) 70.1% 64.5%〜75.6%
UD-Q8_K_XL 37.6 GB
-
6Qwen3-32B
Qwen 32.8B Qwen3-32B
正答率(95%区間) 65.7% 60.3%〜71.2%
UD-Q8_K_XL 42.5 GB
-
7QwQ-32B
Qwen 32.8B QwQ-32B
正答率(95%区間) 65.3% 59.8%〜70.9%
Q8_0 37.8 GB
-
8DeepSeek-R1-Distill-Qwen-32B
deepseek-ai 32.8B DeepSeek-R1-Distill-Qwen-32B
正答率(95%区間) 64.1% 58.7%〜69.5%
Q8_0 37.8 GB
-
9Qwen3-14B
Qwen 14.8B qwen3-14b
正答率(95%区間) 63.8% 58.0%〜69.5%
BF16 31.7 GB
-
10Qwen3-30B-A3B
Qwen 30.5B Qwen3-30B-A3B
正答率(95%区間) 61.7% 55.9%〜67.5%
UD-Q8_K_XL 37.6 GB
-
11gpt-oss-20b
openai 20.9B gpt-oss-20b_medium
正答率(95%区間) 60.8% 55.9%〜65.7%
F16 15.0 GB
-
12Qwen3-8B
Qwen 8.2B qwen3-8b
正答率(95%区間) 56.8% 51.0%〜62.5%
BF16 18.4 GB
-
13phi-4
microsoft 14.7B phi-4
正答率(95%区間) 56.1% 51.0%〜61.1%
F16 31.7 GB
-
14DeepSeek-R1-Distill-Llama-70B
deepseek-ai 70.6B DeepSeek-R1-Distill-Llama-70B
正答率(95%区間) 55.7% 49.9%〜61.6%
Q4_1 47.8 GB
-
15Qwen3-30B-A3B-Instruct-2507
Qwen 30.5B qwen3-30b-a3b-instruct-2507
正答率(95%区間) 55.6% 50.0%〜61.3%
UD-Q8_K_XL 37.6 GB
-
16Qwen3-4B
Qwen 4B qwen3-4b
正答率(95%区間) 52.3% 46.4%〜58.2%
BF16 10.1 GB
-
17Llama-4-Scout-17B-16E-Instruct
meta-llama 107.8B Llama-4-Scout-17B-16E-Instruct
正答率(95%区間) 51.8% 45.6%〜58.0%
Q3_K_S 49.3 GB
-
18Qwen2.5-72B-Instruct
Qwen 72.7B qwen2.5-72b-instruct
正答率(95%区間) 49.1% 43.9%〜54.4%
Q4_K_M 50.9 GB
-
19Mistral-Small-3.2-24B-Instruct-2506
mistralai 23.6B mistral-small-3.2-2506
正答率(95%区間) 49.1% 43.6%〜54.5%
BF16 49.3 GB
-
20gemma-3-27b-it
google 27B gemma-3-27b-it
正答率(95%区間) 47.7% 42.4%〜53.0%
UD-Q8_K_XL 34.2 GB
-
21Llama-3.3-70B-Instruct
meta-llama 70.6B Llama-3.3-70B-Instruct
正答率(95%区間) 47.4% 41.9%〜53.0%
Q4_1 47.8 GB
-
22Qwen2.5-32B-Instruct
Qwen 32.8B qwen2.5-32b-instruct
正答率(95%区間) 46.1% 41.0%〜51.2%
Q8_0 37.8 GB
-
23DeepSeek-R1-Distill-Qwen-14B
deepseek-ai 14.8B DeepSeek-R1-Distill-Qwen-14B
正答率(95%区間) 44.7% 39.1%〜50.3%
F16 32.0 GB
-
24Meta-Llama-3-70B-Instruct
NousResearch 70.6B Meta-Llama-3-70B-Instruct
正答率(95%区間) 40.6% 35.4%〜45.7%
Q4_K_M 46.0 GB
-
25gemma-3-12b-it
google 11.8B gemma-3-12b-it
正答率(95%区間) 39.5% 34.5%〜44.4%
BF16 25.7 GB
-
26Qwen3-1.7B
Qwen 1.7B qwen3-1.7b
正答率(95%区間) 38.0% 32.6%〜43.4%
BF16 5.86 GB
-
27gemma-2-27b-it
google 27.2B gemma-2-27b-it
正答率(95%区間) 36.5% 31.8%〜41.2%
Q8_0 33.5 GB
-
28Qwen2.5-7B-Instruct
Qwen 7.6B qwen2.5-7b-instruct
正答率(95%区間) 35.5% 31.0%〜40.0%
F16 16.6 GB
-
29DeepSeek-R1-Distill-Qwen-1.5B
deepseek-ai 1.8B DeepSeek-R1-Distill-Qwen-1.5B
正答率(95%区間) 33.6% 29.5%〜37.6%
F32 8.20 GB
-
30gemma-2-9b-it
google 9.2B gemma-2-9b-it
正答率(95%区間) 27.5% 22.9%〜32.0%
F32 40.2 GB
-
31Llama-3.2-1B-Instruct
meta-llama 1.2B Llama-3.2-1B-Instruct
正答率(95%区間) 23.9% 20.7%〜27.1%
F16 3.55 GB
-
32gemma-3-4b-it
google 3.9B gemma-3-4b-it
正答率(95%区間) 23.2% 19.6%〜26.9%
BF16 9.19 GB
-
33gemma-3-1b-it
google 1B gemma-3-1b-it
正答率(95%区間) 19.9% 17.0%〜22.9%
F16 3.14 GB
推定 8K で必要なメモリ:計算式による推定値です。実行環境・設定で変わります。
このランキングについて
- Epoch AI のデータ(GPQA Diamond)から、重みが公開されているモデルの値を取っています。同じモデルを複数の提供元で測っている場合は、新しく測った値を1つだけ使います(いちばん良い値を選びません)。週1回更新します。
- 値は量子化する前の元のモデルのものです。GGUF の量子化(特に小さい量子化)では性能が下がることがあります。
- 出典のモデル名と、当サイトに載っているモデル(元のモデルの Hugging Face のリポジトリ)の名前が一致するものだけに付けています。ファインチューンや改変版には付けません。
- 出典ごとに別のランキングです。複数の出典の値を混ぜたり、当サイトが点数を付けたりはしていません。
- 小さいモデルや新しいモデルは、出典で評価されていないことが多く、ここには出ません。
値は GPQA Diamond (Epoch AI) のデータ(CC BY 4.0)を、そのまま載せています(変更していません。並べ替えと絞り込みは当サイト)。