本文へ移動
localllm

単体GPU

GeForce RTX 4070 SUPER

データの取得日:

12 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • Qwen3.8-27B IQ2_S 画像も入力
    コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB(ぎりぎり)
  • コンテキスト長 32,768 推定 12.0 GB 残り 0.90 GB
  • Huihui-Qwen3.8-27B-abliterated UD-IQ3_XXS 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.12 GB(ぎりぎり)
  • gemma-4-12B-it UD-Q6_K_XL 画像も入力
    コンテキスト長 32,768 推定 12.8 GB 残り 0.09 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 12.4 GB 残り 0.52 GB(ぎりぎり)
  • コンテキスト長 65,536 推定 12.8 GB 残り 0.08 GB(ぎりぎり)
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 10.5 GB
  • Qwen3.6-35B-A3B-MTP UD-IQ1_M 画像も入力
    コンテキスト長 16,384 推定 12.8 GB 残り 0.07 GB(ぎりぎり)
  • コンテキスト長 16,384 推定 12.4 GB 残り 0.51 GB(ぎりぎり)
  • コンテキスト長 16,384 推定 12.0 GB 残り 0.91 GB
  • コンテキスト長 8,192 推定 12.4 GB 残り 0.47 GB(ぎりぎり)
  • gemma-4-26B-A4B-it UD-IQ3_S 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.04 GB(ぎりぎり)
  • Qwen3-VL-8B-Instruct UD-Q8_K_XL 画像も入力
    コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB(ぎりぎり)
  • Qwen3.5-9B Q8_0 画像も入力
    コンテキスト長 32,768 推定 12.0 GB 残り 0.91 GB
  • コンテキスト長 65,536 推定 12.8 GB 残り 0.11 GB(ぎりぎり)
  • Qwen3.6-35B-A3B UD-IQ2_M 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.08 GB(ぎりぎり)
  • コンテキスト長 32,768 推定 11.0 GB 残り 1.91 GB
  • コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 65,536 推定 11.9 GB 残り 0.97 GB
  • Dirk-Qwen3.8-27B IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
  • Wan2.1 IQ2_M
    コンテキスト長 8,192 推定 12.4 GB 残り 0.49 GB(ぎりぎり)
  • Qwen3.8-27B-GSQ-RCO IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 65,536 推定 12.5 GB 残り 0.43 GB(ぎりぎり)
  • コンテキスト長 4,096 推定 12.9 GB 残り 0.03 GB(ぎりぎり)
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 131,072 推定 8.42 GB 残り 4.47 GB
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 262,144 推定 12.4 GB 残り 0.52 GB(ぎりぎり)
  • コンテキスト長 65,536 推定 8.34 GB 残り 4.55 GB
  • gemma-4-12B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 262,144 推定 12.8 GB 残り 0.04 GB(ぎりぎり)
  • Hy-MT2-7B Q8_0
    コンテキスト長 16,384 推定 10.9 GB 残り 1.96 GB
  • Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)

よくある質問

GeForce RTX 4070 SUPER でどんなローカルLLMが動きますか?
当サイトでは 753 モデルに、12GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Qwen3.8-27B・Ornith-1.5-9B・Ornith-1.5-35B-A3B・Huihui-Qwen3.8-27B-abliterated・gemma-4-12B-it などです。
GeForce RTX 4070 SUPER で動く、いちばん大きいモデルは?
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata(約 51.2B)で、BF16 なら 12GB に収まります(8,192 トークンの推定)。