本文へ移動
localllm
EN

単体GPU

GeForce RTX 3080 Ti

データの取得日：

メモリ帯域
912 GB/s
出典
確認日：

12 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

  • Qwen3.8-27B IQ2_S 画像も入力
    コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB（ぎりぎり） 生成の速さ 49〜65
  • Ornith-1.5-9B Q8_0
    コンテキスト長 32,768 推定 12.0 GB 残り 0.90 GB 生成の速さ 56〜75
  • Huihui-Qwen3.8-27B-abliterated UD-IQ3_XXS 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.12 GB（ぎりぎり） 生成の速さ 50〜66
  • gemma-4-12B-it UD-Q6_K_XL 画像も入力
    コンテキスト長 32,768 推定 12.8 GB 残り 0.09 GB（ぎりぎり） 生成の速さ 51〜68
  • Qwen3.8-27B-Uncensored IQ2_M
    コンテキスト長 8,192 推定 12.4 GB 残り 0.52 GB（ぎりぎり） 生成の速さ 52〜69
  • Ornith-1.0-9B Q8_0
    コンテキスト長 65,536 推定 12.8 GB 残り 0.08 GB（ぎりぎり） 生成の速さ 57〜77
  • mxbai-embed-large-v1 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 10.5 GB 生成の速さ 409〜546
  • Qwen3.6-35B-A3B-MTP UD-IQ1_M 画像も入力
    コンテキスト長 16,384 推定 12.8 GB 残り 0.07 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP Q8_0 画像も入力
    コンテキスト長 16,384 推定 12.4 GB 残り 0.51 GB（ぎりぎり） 生成の速さ 51〜68
  • MOSS-Music-8B-Instruct Q8_0 音声
    コンテキスト長 16,384 推定 12.0 GB 残り 0.91 GB 生成の速さ 63〜84
  • Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP Q2_K 画像も入力
    コンテキスト長 8,192 推定 12.4 GB 残り 0.47 GB（ぎりぎり） 生成の速さ 51〜68
  • gemma-4-26B-A4B-it UD-IQ3_S 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.04 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct UD-Q8_K_XL 画像も入力
    コンテキスト長 8,192 推定 12.9 GB 残り 0.00 GB（ぎりぎり） 生成の速さ 51〜67
  • Qwen3.5-9B Q8_0 画像も入力
    コンテキスト長 32,768 推定 12.0 GB 残り 0.91 GB 生成の速さ 56〜74
  • Ornith-1.5-9B-uncensored Q8_0
    コンテキスト長 65,536 推定 12.8 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 57〜77
  • Qwen3.6-35B-A3B UD-IQ2_M 画像も入力
    コンテキスト長 8,192 推定 12.8 GB 残り 0.08 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Ternary-Bonsai-2-27B Q2_0
    コンテキスト長 32,768 推定 11.0 GB 残り 1.91 GB 生成の速さ 72〜96
  • Swift-1.5-Qwen3.8-27B-GSQ-RCO IQ3_XXS
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB（ぎりぎり） 生成の速さ 52〜70
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 65,536 推定 11.9 GB 残り 0.97 GB 生成の速さ 63〜84
  • Dirk-Qwen3.8-27B IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB（ぎりぎり） 生成の速さ 52〜70
  • Wan2.1 IQ2_M
    コンテキスト長 8,192 推定 12.4 GB 残り 0.49 GB（ぎりぎり） 生成の速さ 52〜69
  • Qwen3.8-27B-GSQ-RCO IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB（ぎりぎり） 生成の速さ 52〜70
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 65,536 推定 12.5 GB 残り 0.43 GB（ぎりぎり） 生成の速さ 134〜178
  • Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive IQ2_M 画像も入力
    コンテキスト長 4,096 推定 12.9 GB 残り 0.03 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 131,072 推定 8.42 GB 残り 4.47 GB 生成の速さ 106〜142
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 262,144 推定 12.4 GB 残り 0.52 GB（ぎりぎり） 生成の速さ 205〜273
  • HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M Q4_K_M
    コンテキスト長 65,536 推定 8.34 GB 残り 4.55 GB 生成の速さ 483〜643
  • gemma-4-12B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 262,144 推定 12.8 GB 残り 0.04 GB（ぎりぎり） 生成の速さ 78〜105
  • Hy-MT2-7B Q8_0
    コンテキスト長 16,384 推定 10.9 GB 残り 1.96 GB 生成の速さ 69〜91
  • Swift-1.5-Qwen3.8-27B-heretic-GSQ-RCO IQ3_XXS 画像も入力
    コンテキスト長 16,384 推定 12.7 GB 残り 0.17 GB（ぎりぎり） 生成の速さ 52〜70

よくある質問

GeForce RTX 3080 Ti でどんなローカルLLMが動きますか？
当サイトでは 753 モデルに、12GB・8,192 トークンで収まる量子化があります（推定）。よく使われているのは Qwen3.8-27B・Ornith-1.5-9B・Ornith-1.5-35B-A3B・Huihui-Qwen3.8-27B-abliterated・gemma-4-12B-it などです。
GeForce RTX 3080 Ti で動く、いちばん大きいモデルは？
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata（約 51.2B）で、BF16 なら 12GB に収まります（8,192 トークンの推定）。
GeForce RTX 3080 Ti で文章を生成する速さは？
メモリ帯域が 912 GB/s なので、たとえば Qwen3.8-27B の IQ2_S（11.1 GB）なら、推定で毎秒 49〜65 トークンほどです（帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません）。