本文へ移動
localllm

単体GPU

GeForce RTX 4050 Laptop GPU

データの取得日:

6 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • gemma-4-12B-it IQ2_S 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB(ぎりぎり)
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 4.03 GB
  • コンテキスト長 8,192 推定 6.31 GB 残り 0.13 GB(ぎりぎり)
  • コンテキスト長 16,384 推定 4.99 GB 残り 1.45 GB
  • Qwen3.5-9B UD-Q3_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 6.29 GB 残り 0.15 GB(ぎりぎり)
  • Qwen3.5-4B Q8_0 画像も入力
    コンテキスト長 16,384 推定 6.26 GB 残り 0.19 GB(ぎりぎり)
  • Wan2.1 Q4_K_M
    コンテキスト長 32,768 推定 6.10 GB 残り 0.34 GB
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 8,192 推定 5.88 GB 残り 0.56 GB
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 8,192 推定 6.40 GB 残り 0.04 GB(ぎりぎり)
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 65,536 推定 5.92 GB 残り 0.52 GB
  • コンテキスト長 32,768 推定 5.12 GB 残り 1.32 GB
  • Hy-MT2-7B Q4_K_M
    コンテキスト長 4,096 推定 5.96 GB 残り 0.48 GB
  • Ternary-Bonsai-2-2B Q2_0 画像も入力
    コンテキスト長 262,144 推定 4.83 GB 残り 1.61 GB
  • MiMo-V2.6-Distill-Qwen-9B IQ3_M 画像も入力
    コンテキスト長 8,192 推定 6.21 GB 残り 0.23 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 6.29 GB 残り 0.15 GB(ぎりぎり)
  • コンテキスト長 32,768 推定 5.74 GB 残り 0.70 GB
  • AdaVaR-3B Q8_0
    コンテキスト長 32,768 推定 5.34 GB 残り 1.10 GB
  • コンテキスト長 8,192 推定 6.42 GB 残り 0.03 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB(ぎりぎり)
  • B1-9B Q3_K_L
    コンテキスト長 8,192 推定 6.42 GB 残り 0.03 GB(ぎりぎり)
  • Qwen3-VL-4B-Instruct Q8_0 画像も入力
    コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 6.41 GB 残り 0.04 GB(ぎりぎり)
  • Qwen3-4B Q8_0
    コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB(ぎりぎり)
  • Qwen-Image-2.1-Turbo-Uncensored Q3_K 画像・動画の生成
    コンテキスト長 8,192 推定 6.24 GB 残り 0.20 GB(ぎりぎり)
  • gemma-4-E4B-it UD-Q4_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.38 GB 残り 0.07 GB(ぎりぎり)
  • gemma-4-E2B-it UD-Q8_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB(ぎりぎり)
  • コンテキスト長 16,384 推定 5.90 GB 残り 0.54 GB
  • コンテキスト長 8,192 推定 6.32 GB 残り 0.12 GB(ぎりぎり)
  • コンテキスト長 8,192 推定 6.41 GB 残り 0.04 GB(ぎりぎり)

よくある質問

GeForce RTX 4050 Laptop GPU でどんなローカルLLMが動きますか?
当サイトでは 473 モデルに、6GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Ornith-1.5-9B・gemma-4-12B-it・Qwen3.5-9B・MOSS-Music-8B-Instruct・Qwen3-VL-8B-Instruct などです。
GeForce RTX 4050 Laptop GPU で動く、いちばん大きいモデルは?
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata(約 51.2B)で、BF16 なら 6GB に収まります(8,192 トークンの推定)。