本文へ移動
localllm

単体GPU

Radeon RX 7900 XT

データの取得日:

メモリ帯域
800 GB/s

20 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • Qwen3.8-27B Q5_K_S 画像も入力
    コンテキスト長 8,192 推定 21.3 GB 残り 0.17 GB(ぎりぎり) 生成の速さ 25〜33
  • コンテキスト長 32,768 推定 20.6 GB 残り 0.87 GB(ぎりぎり) 生成の速さ 26〜35
  • コンテキスト長 131,072 推定 21.0 GB 残り 0.51 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • コンテキスト長 8,192 推定 21.3 GB 残り 0.20 GB(ぎりぎり) 生成の速さ 25〜33
  • コンテキスト長 131,072 推定 20.9 GB 残り 0.61 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • Qwen3.8-27B-iMatrix-NVFP4-MTP NVFP4 画像も入力
    コンテキスト長 32,768 推定 20.5 GB 残り 1.00 GB(ぎりぎり) 生成の速さ 28〜37
  • Tiel-Coder-35B-A3B-GGUF-MTP UD-IQ4_XS 画像も入力
    コンテキスト長 65,536 推定 20.6 GB 残り 0.90 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • gemma-4-12B-it UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 19.5 GB 残り 1.97 GB 生成の速さ 35〜47
  • コンテキスト長 8,192 推定 21.3 GB 残り 0.20 GB(ぎりぎり) 生成の速さ 25〜33
  • コンテキスト長 65,536 推定 21.2 GB 残り 0.28 GB(ぎりぎり) 生成の速さ 27〜36
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 19.1 GB 生成の速さ 359〜479
  • Qwen3.6-35B-A3B-MTP UD-IQ4_NL 画像も入力
    コンテキスト長 65,536 推定 21.0 GB 残り 0.49 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • コンテキスト長 32,768 推定 20.6 GB 残り 0.90 GB(ぎりぎり) 生成の速さ 26〜35
  • コンテキスト長 16,384 推定 19.7 GB 残り 1.82 GB 生成の速さ 29〜39
  • コンテキスト長 32,768 推定 21.3 GB 残り 0.20 GB(ぎりぎり) 生成の速さ 27〜36
  • gemma-4-26B-A4B-it Q5_K_L 画像も入力
    コンテキスト長 16,384 推定 21.2 GB 残り 0.25 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct BF16 画像も入力
    コンテキスト長 16,384 推定 19.7 GB 残り 1.82 GB 生成の速さ 29〜39
  • Qwen3.5-9B BF16 画像も入力
    コンテキスト長 32,768 推定 20.6 GB 残り 0.90 GB(ぎりぎり) 生成の速さ 26〜35
  • コンテキスト長 65,536 推定 21.2 GB 残り 0.31 GB(ぎりぎり) 生成の速さ 27〜36
  • Qwen3.6-35B-A3B IQ4_XS 画像も入力
    コンテキスト長 16,384 推定 21.1 GB 残り 0.33 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • コンテキスト長 131,072 推定 17.4 GB 残り 4.06 GB 生成の速さ 63〜84
  • コンテキスト長 65,536 推定 17.6 GB 残り 3.86 GB 生成の速さ 40〜53
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 262,144 推定 18.4 GB 残り 3.12 GB 生成の速さ 55〜74
  • コンテキスト長 16,384 推定 20.8 GB 残り 0.70 GB(ぎりぎり) 生成の速さ 26〜35
  • Dirk-Qwen3.8-27B UD-Q4_K_XL 画像も入力
    コンテキスト長 32,768 推定 20.9 GB 残り 0.57 GB(ぎりぎり) 生成の速さ 27〜36
  • Wan2.1 Q4_K_M
    コンテキスト長 32,768 推定 20.2 GB 残り 1.29 GB 生成の速さ 29〜38
  • Qwen3.8-27B-GSQ-RCO IQ3_S 画像も入力
    コンテキスト長 65,536 推定 17.6 GB 残り 3.86 GB 生成の速さ 40〜53
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 65,536 推定 12.5 GB 残り 9.02 GB 生成の速さ 117〜156
  • コンテキスト長 32,768 推定 21.4 GB 残り 0.06 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • コンテキスト長 16,384 推定 21.2 GB 残り 0.25 GB(ぎりぎり) 生成の速さ MoE のため推定なし

よくある質問

Radeon RX 7900 XT でどんなローカルLLMが動きますか?
当サイトでは 912 モデルに、20GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Qwen3.8-27B・Ornith-1.5-9B・Huihui-Qwen3.6-35B-A3B-abliterated-MTP・Ornith-1.5-35B-A3B・Huihui-Qwen3.8-27B-abliterated などです。
Radeon RX 7900 XT で動く、いちばん大きいモデルは?
当サイトに載っている中では Ling-3.0-flash(約 127.5B)で、Q1_0 なら 20GB に収まります(8,192 トークンの推定)。
Radeon RX 7900 XT で文章を生成する速さは?
メモリ帯域が 800 GB/s なので、たとえば Qwen3.8-27B の Q5_K_S(19.6 GB)なら、推定で毎秒 25〜33 トークンほどです(帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません)。