本文へ移動
localllm

性能ランキング(外部の評価)

VRAM 8 GB で動くモデルの性能ランキング(GPQA Diamond (Epoch AI))

Epoch AI が自分で実行した GPQA Diamond(大学院レベルの生物・物理・化学の4択問題 198 問)の正答率です。でたらめに答えると約 25% です。横の幅は 95% の区間(標準誤差から計算)です。

8,192 トークンのコンテキストで、必要メモリ(推定)が 8 GB に収まる量子化があるモデルだけを並べています。

当サイトに載っている 15 モデル中、上位 15 件

2026年8月30日 版の値

  1. 1
    Qwen3.5-9B

    Qwen 9B qwen3.5-9B

    正答率(95%区間) 79.0% 74.3%〜83.6%

    Q5_K_M 8.48 GB

  2. 2
    Qwen3-14B

    Qwen 14.8B qwen3-14b

    正答率(95%区間) 63.8% 58.0%〜69.5%

    IQ3_XS 8.57 GB

  3. 3
    Qwen3-8B

    Qwen 8.2B qwen3-8b

    正答率(95%区間) 56.8% 51.0%〜62.5%

    Q5_K_L 8.29 GB

  4. 4
    phi-4

    microsoft 14.7B phi-4

    正答率(95%区間) 56.1% 51.0%〜61.1%

    Q2_K 7.97 GB

  5. 5
    Qwen3-4B

    Qwen 4B qwen3-4b

    正答率(95%区間) 52.3% 46.4%〜58.2%

    UD-Q8_K_XL 7.11 GB

  6. 6
    Mistral-Small-3.2-24B-Instruct-2506

    mistralai 23.6B mistral-small-3.2-2506

    正答率(95%区間) 49.1% 43.6%〜54.5%

    UD-IQ1_M 8.16 GB

  7. 7
    DeepSeek-R1-Distill-Qwen-14B

    deepseek-ai 14.8B DeepSeek-R1-Distill-Qwen-14B

    正答率(95%区間) 44.7% 39.1%〜50.3%

    Q2_K_L 8.41 GB

  8. 8
    gemma-3-12b-it

    google 11.8B gemma-3-12b-it

    正答率(95%区間) 39.5% 34.5%〜44.4%

    UD-Q3_K_XL 8.26 GB

  9. 9
    Qwen3-1.7B

    Qwen 1.7B qwen3-1.7b

    正答率(95%区間) 38.0% 32.6%〜43.4%

    BF16 5.86 GB

  10. 10
    Qwen2.5-7B-Instruct

    Qwen 7.6B qwen2.5-7b-instruct

    正答率(95%区間) 35.5% 31.0%〜40.0%

    Q6_K_L 7.84 GB

  11. 11
    DeepSeek-R1-Distill-Qwen-1.5B

    deepseek-ai 1.8B DeepSeek-R1-Distill-Qwen-1.5B

    正答率(95%区間) 33.6% 29.5%〜37.6%

    F32 8.20 GB

  12. 12
    gemma-2-9b-it

    google 9.2B gemma-2-9b-it

    正答率(95%区間) 27.5% 22.9%〜32.0%

    IQ4_XS 8.45 GB

  13. 13
    Llama-3.2-1B-Instruct

    meta-llama 1.2B Llama-3.2-1B-Instruct

    正答率(95%区間) 23.9% 20.7%〜27.1%

    F16 3.55 GB

  14. 14
    gemma-3-4b-it

    google 3.9B gemma-3-4b-it

    正答率(95%区間) 23.2% 19.6%〜26.9%

    UD-Q8_K_XL 6.59 GB

  15. 15
    gemma-3-1b-it

    google 1B gemma-3-1b-it

    正答率(95%区間) 19.9% 17.0%〜22.9%

    F16 3.14 GB

推定 8K で必要なメモリ:計算式による推定値です。実行環境・設定で変わります。

このランキングについて

値は GPQA Diamond (Epoch AI) のデータ(CC BY 4.0)を、そのまま載せています(変更していません。並べ替えと絞り込みは当サイト)。