本文へ移動
localllm
EN

単体GPU

GeForce RTX 5060 Ti

データの取得日：

メモリ帯域
448 GB/s
出典
確認日：

8 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

  • Qwen3.8-27B UD-IQ1_M
    コンテキスト長 8,192 推定 8.47 GB 残り 0.12 GB（ぎりぎり） 生成の速さ 40〜53
  • Ornith-1.5-9B Q5_K_M
    コンテキスト長 16,384 推定 8.49 GB 残り 0.10 GB（ぎりぎり） 生成の速さ 39〜52
  • gemma-4-12B-it IQ4_XS 画像も入力
    コンテキスト長 8,192 推定 8.49 GB 残り 0.10 GB（ぎりぎり） 生成の速さ 40〜53
  • Ornith-1.0-9B Q5_K_M
    コンテキスト長 16,384 推定 8.13 GB 残り 0.46 GB 生成の速さ 42〜55
  • mxbai-embed-large-v1 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 6.18 GB 生成の速さ 201〜268
  • Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP Q4_K_M 画像も入力
    コンテキスト長 8,192 推定 8.35 GB 残り 0.24 GB（ぎりぎり） 生成の速さ 39〜51
  • MOSS-Music-8B-Instruct Q4_K_M
    コンテキスト長 16,384 推定 8.45 GB 残り 0.14 GB（ぎりぎり） 生成の速さ 52〜69
  • Qwen3-VL-8B-Instruct UD-Q5_K_XL 画像も入力
    コンテキスト長 8,192 推定 7.94 GB 残り 0.65 GB 生成の速さ 46〜61
  • Qwen3.5-9B Q5_K_M 画像も入力
    コンテキスト長 8,192 推定 8.48 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 38〜50
  • Ornith-1.5-9B-uncensored Q5_K_M
    コンテキスト長 16,384 推定 8.10 GB 残り 0.49 GB 生成の速さ 42〜55
  • Qwen3.5-4B UD-Q8_K_XL 画像も入力
    コンテキスト長 32,768 推定 8.12 GB 残り 0.47 GB 生成の速さ 45〜60
  • Wan2.1 Q4_K_M
    コンテキスト長 16,384 推定 8.08 GB 残り 0.51 GB 生成の速さ 47〜62
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 16,384 推定 6.82 GB 残り 1.77 GB 生成の速さ 66〜88
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 131,072 推定 8.42 GB 残り 0.17 GB（ぎりぎり） 生成の速さ 52〜70
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 131,072 推定 8.07 GB 残り 0.52 GB 生成の速さ 100〜134
  • HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M Q4_K_M
    コンテキスト長 65,536 推定 8.34 GB 残り 0.25 GB（ぎりぎり） 生成の速さ 237〜316
  • Hy-MT2-7B Q6_K
    コンテキスト長 8,192 推定 8.04 GB 残り 0.55 GB 生成の速さ 44〜58
  • Ternary-Bonsai-2-2B Q2_0 画像も入力
    コンテキスト長 262,144 推定 4.83 GB 残り 3.76 GB 生成の速さ 492〜656
  • MiMo-V2.6-Distill-Qwen-9B Q5_K_M 画像も入力
    コンテキスト長 16,384 推定 8.51 GB 残り 0.08 GB（ぎりぎり） 生成の速さ 39〜52
  • Cyber-Ornith-1.5-9B-OBLITERATED Q5_K_M
    コンテキスト長 16,384 推定 8.10 GB 残り 0.49 GB 生成の速さ 42〜55
  • Sharp-Spark-X2.5-4B Q6_K_XL
    コンテキスト長 65,536 推定 6.95 GB 残り 1.64 GB 生成の速さ 74〜99
  • AdaVaR-3B F16
    コンテキスト長 32,768 推定 8.23 GB 残り 0.36 GB（ぎりぎり） 生成の速さ 44〜58
  • Qwen3-8B Q5_K_L
    コンテキスト長 8,192 推定 8.29 GB 残り 0.30 GB（ぎりぎり） 生成の速さ 43〜57
  • Qwen3.5-9B-Kimi-k3-Distilled Q5_K_M
    コンテキスト長 16,384 推定 8.28 GB 残り 0.31 GB（ぎりぎり） 生成の速さ 40〜54
  • Qwen3-4B-Instruct-2507 UD-Q8_K_XL
    コンテキスト長 16,384 推定 8.32 GB 残り 0.27 GB（ぎりぎり） 生成の速さ 53〜71
  • B1-9B Q5_K_M
    コンテキスト長 16,384 推定 8.28 GB 残り 0.31 GB（ぎりぎり） 生成の速さ 40〜54
  • Qwen3-VL-4B-Instruct UD-Q8_K_XL 画像も入力
    コンテキスト長 16,384 推定 8.32 GB 残り 0.27 GB（ぎりぎり） 生成の速さ 53〜71
  • Qwen2.5-7B-Instruct Q6_K_L
    コンテキスト長 16,384 推定 8.31 GB 残り 0.28 GB（ぎりぎり） 生成の速さ 41〜55
  • Qwen3-4B UD-Q8_K_XL
    コンテキスト長 16,384 推定 8.32 GB 残り 0.27 GB（ぎりぎり） 生成の速さ 53〜71
  • Qwen-Image-2.1-Turbo-Uncensored Q5_K 画像・動画の生成
    コンテキスト長 8,192 推定 8.34 GB 残り 0.25 GB（ぎりぎり） 生成の速さ 43〜57

16 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

  • Qwen3.8-27B UD-Q4_K_S
    コンテキスト長 8,192 推定 17.1 GB 残り 0.08 GB（ぎりぎり） 生成の速さ 18〜23
  • Ornith-1.5-9B Q8_0
    コンテキスト長 131,072 推定 15.2 GB 残り 1.97 GB 生成の速さ 27〜37
  • Huihui-Qwen3.6-35B-A3B-abliterated-MTP Q2_K 画像も入力
    コンテキスト長 131,072 推定 17.0 GB 残り 0.14 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Huihui-Qwen3.8-27B-abliterated IQ4_XS
    コンテキスト長 8,192 推定 17.2 GB 残り 0.02 GB（ぎりぎり） 生成の速さ 17〜23
  • Tiel-Coder-35B-A3B-GGUF-MTP UD-IQ3_S 画像も入力
    コンテキスト長 65,536 推定 16.5 GB 残り 0.66 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • gemma-4-12B-it UD-Q8_K_XL 画像も入力
    コンテキスト長 65,536 推定 16.3 GB 残り 0.89 GB 生成の速さ 20〜26
  • Qwen3.8-27B-Uncensored IQ4_XS
    コンテキスト長 8,192 推定 17.0 GB 残り 0.13 GB（ぎりぎり） 生成の速さ 18〜23
  • Ornith-1.0-9B Q8_0
    コンテキスト長 131,072 推定 14.9 GB 残り 2.23 GB 生成の速さ 28〜38
  • mxbai-embed-large-v1 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 14.8 GB 生成の速さ 201〜268
  • Qwen3.6-35B-A3B-MTP UD-IQ3_S 画像も入力
    コンテキスト長 32,768 推定 17.1 GB 残り 0.05 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP Q8_0 画像も入力
    コンテキスト長 131,072 推定 16.1 GB 残り 1.05 GB 生成の速さ 25〜33
  • MOSS-Music-8B-Instruct Q8_0 音声
    コンテキスト長 40,960 推定 15.6 GB 残り 1.58 GB 生成の速さ 31〜41
  • Qwen3.8-27B-Uncensored-HauhauCS-Aggressive-MTP Q3_K 画像も入力
    コンテキスト長 32,768 推定 16.8 GB 残り 0.39 GB（ぎりぎり） 生成の速さ 20〜27
  • gemma-4-26B-A4B-it Q4_0 画像も入力
    コンテキスト長 32,768 推定 16.8 GB 残り 0.36 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct UD-Q8_K_XL 画像も入力
    コンテキスト長 32,768 推定 16.5 GB 残り 0.68 GB（ぎりぎり） 生成の速さ 25〜33
  • Qwen3.5-9B UD-Q8_K_XL 画像も入力
    コンテキスト長 65,536 推定 16.2 GB 残り 0.96 GB 生成の速さ 21〜28
  • Ornith-1.5-9B-uncensored Q8_0
    コンテキスト長 131,072 推定 14.9 GB 残り 2.26 GB 生成の速さ 28〜38
  • Qwen3.6-35B-A3B IQ3_XXS 画像も入力
    コンテキスト長 8,192 推定 17.0 GB 残り 0.14 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • Ternary-Bonsai-2-27B Q2_0
    コンテキスト長 65,536 推定 13.1 GB 残り 4.06 GB 生成の速さ 35〜47
  • Swift-1.5-Qwen3.8-27B-GSQ-RCO IQ3_S
    コンテキスト長 32,768 推定 15.5 GB 残り 1.71 GB 生成の速さ 22〜30
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 131,072 推定 14.1 GB 残り 3.12 GB 生成の速さ 31〜41
  • Qwen3.8-27B-TURBO-Fable-Cold-Fusion-735-882-Heretic-Uncensored-NEO-CODER-MAX-MTP IQ4_XS 画像も入力
    コンテキスト長 8,192 推定 17.0 GB 残り 0.13 GB（ぎりぎり） 生成の速さ 18〜23
  • Dirk-Qwen3.8-27B UD-Q4_K_S 画像も入力
    コンテキスト長 8,192 推定 17.1 GB 残り 0.08 GB（ぎりぎり） 生成の速さ 18〜23
  • Wan2.1 IQ3_S
    コンテキスト長 32,768 推定 16.0 GB 残り 1.21 GB 生成の速さ 21〜28
  • Qwen3.8-27B-GSQ-RCO IQ3_S 画像も入力
    コンテキスト長 32,768 推定 15.5 GB 残り 1.71 GB 生成の速さ 22〜30
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 65,536 推定 12.5 GB 残り 4.72 GB 生成の速さ 66〜88
  • Qwen3.8-35B-A3B-Distill Q2_K
    コンテキスト長 65,536 推定 16.3 GB 残り 0.89 GB 生成の速さ MoE のため推定なし
  • Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive IQ3_M 画像も入力
    コンテキスト長 16,384 推定 16.9 GB 残り 0.29 GB（ぎりぎり） 生成の速さ MoE のため推定なし
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 131,072 推定 8.42 GB 残り 8.76 GB 生成の速さ 52〜70
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 262,144 推定 12.4 GB 残り 4.82 GB 生成の速さ 100〜134

よくある質問

GeForce RTX 5060 Ti でどんなローカルLLMが動きますか？
当サイトでは 834 モデルに、16GB・8,192 トークンで収まる量子化があります（推定）。よく使われているのは Qwen3.8-27B・Ornith-1.5-9B・Huihui-Qwen3.6-35B-A3B-abliterated-MTP・Ornith-1.5-35B-A3B・Huihui-Qwen3.8-27B-abliterated などです。
GeForce RTX 5060 Ti で動く、いちばん大きいモデルは？
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata（約 51.2B）で、BF16 なら 16GB に収まります（8,192 トークンの推定）。
GeForce RTX 5060 Ti で文章を生成する速さは？
メモリ帯域が 448 GB/s なので、たとえば Qwen3.8-27B の UD-Q4_K_S（15.4 GB）なら、推定で毎秒 18〜23 トークンほどです（帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません）。