本文へ移動
localllm
EN

VRAM・統合メモリから探す

VRAM 96 GB で動くローカルLLM

当サイトに載っている 1,276 モデルのうち、8,192 トークンのコンテキストで、必要メモリ（推定）が 96 GB に収まる量子化があるのは 1,029 モデルです。モデルごとに、収まるうち最も大きい（精度の高い）量子化を出しています。

データの取得日：

収まるモデルの数
1,029
収まるいちばん大きいモデル
MiniMax-M3.1-Flash-Maya 426.2B
96 GB の機種（当サイトに掲載）
3

Hugging Face のダウンロード数（直近30日・配布元の合計）の多い順です。性能の順位ではありません。

  1. 1 Qwen3.8-27B 27.3B BF16 56.4 GB
  2. 2 Qwen3.8-Flash-Next-GSQ-RCO 176.9B IQ3_S 85.0 GB
  3. 3 Ornith-1.5-9B 9.2B BF16 19.8 GB
  4. 4 Huihui-Qwen3.6-35B-A3B-abliterated-MTP 35.5B F16 72.3 GB
  5. 5 Ornith-1.5-35B-A3B 35.5B BF16 72.4 GB
  6. 6 Qwen3.8-Flash-Next-GSQ-RCO-abliterated 176.9B IQ3_S 85.3 GB
  7. 7 Huihui-Qwen3.8-27B-abliterated 27.3B BF16 56.4 GB
  8. 8 OTel-2.0-Decision-26B-A4B-4bit 25.2B Q8_0 28.4 GB
  9. 9 Qwen3.8-27B-iMatrix-NVFP4-MTP NVFP4 18.9 GB
  10. 10 Tiel-Coder-35B-A3B-GGUF-MTP UD-Q8_K_XL 40.1 GB

推定 必要メモリは 8,192 トークン・KV キャッシュ f16 の推定です。

VRAM 96 GB で動くモデルの外部の評価

他の機関が、量子化する前の元のモデルを評価した値の上位です（当サイトの評価ではありません）。

人の評価（LMArena）

  1. 1.Hy3 1,454
  2. 2.DeepSeek-V4-Flash 1,436
  3. 3.Qwen3.8-27B 1,433
  4. 4.Qwen3.5-122B-A10B 1,416
  5. 5.Qwen3.5-27B 1,409

出典：LMArena（CC BY 4.0）。

総合能力（Epoch AI）

  1. 1.DeepSeek-V4-Flash-0731 154.4
  2. 2.Qwen3.8-27B 152.7
  3. 3.DeepSeek-V4-Flash 146.9
  4. 4.Qwen3.6-27B 146.7
  5. 5.gemma-4-31B-it 144.2

出典：Epoch Capabilities Index (Epoch AI)（CC BY 4.0）。

VRAM・統合メモリが 96 GB の機種

機種を選ぶと、その機種のページで動くモデルと生成の速さの目安が見られます。

VRAM 96 GB に収まるモデルの一覧

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

よくある質問

VRAM 96 GB でどんなローカルLLMが動きますか？
当サイトでは 1,029 モデルに、8,192 トークンで 96 GB に収まる量子化があります（推定）。よく使われているのは Qwen3.8-27B・Qwen3.8-Flash-Next-GSQ-RCO・Ornith-1.5-9B・Huihui-Qwen3.6-35B-A3B-abliterated-MTP・Ornith-1.5-35B-A3B などです。
VRAM 96 GB で動く、いちばん大きいモデルは？
当サイトに載っている中では MiniMax-M3.1-Flash-Maya（約 426.2B）です。IQ1_S なら 8,192 トークンで推定 95.1 GB です。小さい量子化ほど品質は下がります。
Mac の統合メモリ 96 GB でも同じですか？
macOS は GPU が使えるメモリに上限を設けているので、搭載メモリ 96 GB のすべてをモデルに使えるわけではありません。Mac では、必要メモリに余裕を見て選んでください。
コンテキストを長くするとどうなりますか？
KV キャッシュが増えるので、必要メモリも増えます。各モデルのページで、コンテキスト長ごとの必要メモリ（推定）を確かめられます。