本文へ移動
localllm
EN

単体GPU

Arc A380

データの取得日：

メモリ帯域
186 GB/s
出典
確認日：

6 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

  • gemma-4-12B-it IQ2_S 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB（ぎりぎり） 生成の速さ 24〜32
  • mxbai-embed-large-v1 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 4.03 GB 生成の速さ 83〜111
  • Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP IQ2_M 画像も入力
    コンテキスト長 8,192 推定 6.31 GB 残り 0.13 GB（ぎりぎり） 生成の速さ 23〜30
  • MOSS-Music-8B-Instruct F16 音声
    コンテキスト長 16,384 推定 4.99 GB 残り 1.45 GB 生成の速さ 65〜86
  • Qwen3.5-9B UD-Q3_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB（ぎりぎり） 生成の速さ 22〜29
  • Ornith-1.5-9B-uncensored Q3_K_L
    コンテキスト長 8,192 推定 6.29 GB 残り 0.15 GB（ぎりぎり） 生成の速さ 23〜30
  • Qwen3.5-4B Q8_0 画像も入力
    コンテキスト長 16,384 推定 6.26 GB 残り 0.19 GB（ぎりぎり） 生成の速さ 24〜32
  • Wan2.1 Q4_K_M
    コンテキスト長 32,768 推定 6.10 GB 残り 0.34 GB 生成の速さ 41〜55
  • Qwen3-ASR-1.7B F16 音声
    コンテキスト長 8,192 推定 5.88 GB 残り 0.56 GB 生成の速さ 27〜36
  • gemma-4-E4B-it-qat-q4_0 Q4_0 画像も入力
    コンテキスト長 8,192 推定 6.40 GB 残り 0.04 GB（ぎりぎり） 生成の速さ 22〜29
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 65,536 推定 5.92 GB 残り 0.52 GB 生成の速さ 42〜56
  • HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M Q4_K_M
    コンテキスト長 32,768 推定 5.12 GB 残り 1.32 GB 生成の速さ 98〜131
  • Hy-MT2-7B Q4_K_M
    コンテキスト長 4,096 推定 5.96 GB 残り 0.48 GB 生成の速さ 24〜32
  • Ternary-Bonsai-2-2B Q2_0 画像も入力
    コンテキスト長 262,144 推定 4.83 GB 残り 1.61 GB 生成の速さ 204〜272
  • MiMo-V2.6-Distill-Qwen-9B IQ3_M 画像も入力
    コンテキスト長 8,192 推定 6.21 GB 残り 0.23 GB（ぎりぎり） 生成の速さ 23〜31
  • Cyber-Ornith-1.5-9B-OBLITERATED Q3_K_L
    コンテキスト長 8,192 推定 6.29 GB 残り 0.15 GB（ぎりぎり） 生成の速さ 23〜30
  • Sharp-Spark-X2.5-4B Q6_K_XL
    コンテキスト長 32,768 推定 5.74 GB 残り 0.70 GB 生成の速さ 31〜41
  • AdaVaR-3B Q8_0
    コンテキスト長 32,768 推定 5.34 GB 残り 1.10 GB 生成の速さ 34〜45
  • Qwen3.5-9B-Kimi-k3-Distilled Q3_K_L
    コンテキスト長 8,192 推定 6.42 GB 残り 0.03 GB（ぎりぎり） 生成の速さ 22〜29
  • Qwen3-4B-Instruct-2507 Q8_0
    コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 26〜35
  • B1-9B Q3_K_L
    コンテキスト長 8,192 推定 6.42 GB 残り 0.03 GB（ぎりぎり） 生成の速さ 22〜29
  • Qwen3-VL-4B-Instruct Q8_0 画像も入力
    コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 26〜35
  • Qwen2.5-7B-Instruct Q4_K_L
    コンテキスト長 8,192 推定 6.41 GB 残り 0.04 GB（ぎりぎり） 生成の速さ 22〜29
  • Qwen3-4B Q8_0
    コンテキスト長 8,192 推定 6.34 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 26〜35
  • Qwen-Image-2.1-Turbo-Uncensored Q3_K 画像・動画の生成
    コンテキスト長 8,192 推定 6.24 GB 残り 0.20 GB（ぎりぎり） 生成の速さ 27〜36
  • gemma-4-E4B-it UD-Q4_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.38 GB 残り 0.07 GB（ぎりぎり） 生成の速さ 22〜29
  • gemma-4-E2B-it UD-Q8_K_XL 画像も入力
    コンテキスト長 8,192 推定 6.42 GB 残り 0.02 GB（ぎりぎり） 生成の速さ 21〜28
  • Spark-X2.6-4B Q8_0
    コンテキスト長 16,384 推定 5.90 GB 残り 0.54 GB 生成の速さ 26〜34
  • Gemma-4-E4B-Uncensored-HauhauCS-Aggressive IQ4_XS 画像も入力
    コンテキスト長 8,192 推定 6.32 GB 残り 0.12 GB（ぎりぎり） 生成の速さ 22〜29
  • Qwen3-VL-8B-Instruct-abliterated Q3_K_M
    コンテキスト長 8,192 推定 6.41 GB 残り 0.04 GB（ぎりぎり） 生成の速さ 27〜36

よくある質問

Arc A380 でどんなローカルLLMが動きますか？
当サイトでは 473 モデルに、6GB・8,192 トークンで収まる量子化があります（推定）。よく使われているのは Ornith-1.5-9B・gemma-4-12B-it・Qwen3.5-9B・MOSS-Music-8B-Instruct・Qwen3-VL-8B-Instruct などです。
Arc A380 で動く、いちばん大きいモデルは？
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata（約 51.2B）で、BF16 なら 6GB に収まります（8,192 トークンの推定）。
Arc A380 で文章を生成する速さは？
メモリ帯域が 186 GB/s なので、たとえば Ornith-1.5-9B の Q2_K_L（5.06 GB）なら、推定で毎秒 22〜29 トークンほどです（帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません）。