単体GPU
GeForce RTX 4070 SUPER
データの取得日:
- 出典
- 確認日:
12 GB のとき
モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。
-
コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB(ぎりぎり)
-
Ornith-1.5-9B Q8_0コンテキスト長 32,768 推定 12.0 GB 残り 0.90 GB
-
コンテキスト長 8,192 推定 12.8 GB 残り 0.12 GB(ぎりぎり)
-
コンテキスト長 32,768 推定 12.8 GB 残り 0.09 GB(ぎりぎり)
-
Qwen3.8-27B-Uncensored IQ2_Mコンテキスト長 8,192 推定 12.4 GB 残り 0.52 GB(ぎりぎり)
-
Ornith-1.0-9B Q8_0コンテキスト長 65,536 推定 12.8 GB 残り 0.08 GB(ぎりぎり)
-
コンテキスト長 512 推定 2.41 GB 残り 10.5 GB
-
コンテキスト長 16,384 推定 12.8 GB 残り 0.07 GB(ぎりぎり)
-
コンテキスト長 16,384 推定 12.4 GB 残り 0.51 GB(ぎりぎり)
-
コンテキスト長 16,384 推定 12.0 GB 残り 0.91 GB
-
コンテキスト長 8,192 推定 12.4 GB 残り 0.47 GB(ぎりぎり)
-
コンテキスト長 8,192 推定 12.8 GB 残り 0.04 GB(ぎりぎり)
-
コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB(ぎりぎり)
-
コンテキスト長 32,768 推定 12.0 GB 残り 0.91 GB
-
コンテキスト長 65,536 推定 12.8 GB 残り 0.11 GB(ぎりぎり)
-
コンテキスト長 8,192 推定 12.8 GB 残り 0.08 GB(ぎりぎり)
-
Ternary-Bonsai-2-27B Q2_0コンテキスト長 32,768 推定 11.0 GB 残り 1.91 GB
-
Swift-1.5-Qwen3.8-27B-GSQ-RCO IQ3_XXSコンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
-
コンテキスト長 65,536 推定 11.9 GB 残り 0.97 GB
-
コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
-
Wan2.1 IQ2_Mコンテキスト長 8,192 推定 12.4 GB 残り 0.49 GB(ぎりぎり)
-
コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
-
コンテキスト長 65,536 推定 12.5 GB 残り 0.43 GB(ぎりぎり)
-
コンテキスト長 4,096 推定 12.9 GB 残り 0.03 GB(ぎりぎり)
-
コンテキスト長 131,072 推定 8.42 GB 残り 4.47 GB
-
コンテキスト長 262,144 推定 12.4 GB 残り 0.52 GB(ぎりぎり)
-
コンテキスト長 65,536 推定 8.34 GB 残り 4.55 GB
-
コンテキスト長 262,144 推定 12.8 GB 残り 0.04 GB(ぎりぎり)
-
Hy-MT2-7B Q8_0コンテキスト長 16,384 推定 10.9 GB 残り 1.96 GB
-
コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB(ぎりぎり)
よくある質問
- GeForce RTX 4070 SUPER でどんなローカルLLMが動きますか?
- 当サイトでは 753 モデルに、12GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Qwen3.8-27B・Ornith-1.5-9B・Ornith-1.5-35B-A3B・Huihui-Qwen3.8-27B-abliterated・gemma-4-12B-it などです。
- GeForce RTX 4070 SUPER で動く、いちばん大きいモデルは?
- 当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata(約 51.2B)で、BF16 なら 12GB に収まります(8,192 トークンの推定)。