本文へ移動
localllm
EN

VRAM・統合メモリから探す

VRAM 4 GB で動くローカルLLM

当サイトに載っている 1,276 モデルのうち、8,192 トークンのコンテキストで、必要メモリ（推定）が 4 GB に収まる量子化があるのは 277 モデルです。モデルごとに、収まるうち最も大きい（精度の高い）量子化を出しています。

データの取得日：

収まるモデルの数
277
収まるいちばん大きいモデル
Qwen3.8-Flash-Next-FP4-Local-Strata 51.2B
4 GB の機種（当サイトに掲載）
2

Hugging Face のダウンロード数（直近30日・配布元の合計）の多い順です。性能の順位ではありません。

  1. 1 Ornith-1.5-9B 9.2B IQ1_M 4.18 GB
  2. 2 MOSS-Music-8B-Instruct F16 3.78 GB
  3. 3 Qwen3.5-4B 4.2B UD-Q4_K_XL 4.28 GB
  4. 4 Qwen3-4B 4B UD-Q3_K_XL 4.19 GB
  5. 5 Ternary-Bonsai-2-9B Q8_0 4.04 GB
  6. 6 HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M 1.8B Q4_K_M 2.70 GB
  7. 7 Qwen3-VL-4B-Instruct 4B UD-Q3_K_XL 4.18 GB
  8. 8 gemma-4-E2B-it 4.6B Q4_1 4.29 GB
  9. 9 Ternary-Bonsai-2-2B 1.9B Q2_0 1.71 GB
  10. 10 Qwen2.5-7B-Instruct 7.6B IQ2_M 4.10 GB

推定 必要メモリは 8,192 トークン・KV キャッシュ f16 の推定です。

VRAM 4 GB で動くモデルの外部の評価

他の機関が、量子化する前の元のモデルを評価した値の上位です（当サイトの評価ではありません）。

人の評価（LMArena）

  1. 1.gemma-3n-E4B-it 1,317
  2. 2.gemma-3-4b-it 1,303
  3. 3.granite-4.2-3b 1,289
  4. 4.gemma-2-2b-it 1,200
  5. 5.Llama-3.2-3B-Instruct 1,167

出典：LMArena（CC BY 4.0）。

VRAM・統合メモリが 4 GB の機種

機種を選ぶと、その機種のページで動くモデルと生成の速さの目安が見られます。

VRAM 4 GB に収まるモデルの一覧

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

よくある質問

VRAM 4 GB でどんなローカルLLMが動きますか？
当サイトでは 277 モデルに、8,192 トークンで 4 GB に収まる量子化があります（推定）。よく使われているのは Ornith-1.5-9B・MOSS-Music-8B-Instruct・Qwen3.5-4B・Qwen3-4B・Ternary-Bonsai-2-9B などです。
VRAM 4 GB で動く、いちばん大きいモデルは？
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata（約 51.2B）です。BF16 なら 8,192 トークンで推定 2.66 GB です。小さい量子化ほど品質は下がります。
Mac の統合メモリ 4 GB でも同じですか？
macOS は GPU が使えるメモリに上限を設けているので、搭載メモリ 4 GB のすべてをモデルに使えるわけではありません。Mac では、必要メモリに余裕を見て選んでください。
コンテキストを長くするとどうなりますか？
KV キャッシュが増えるので、必要メモリも増えます。各モデルのページで、コンテキスト長ごとの必要メモリ（推定）を確かめられます。