本文へ移動
localllm
EN

単体GPU

Arc A370M

データの取得日：

メモリ帯域
112 GB/s
出典
確認日：

4 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい（精度が高い）ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です（埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ）。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています（収まることの保証ではありません）。

  • mxbai-embed-large-v1 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 1.88 GB 生成の速さ 50〜67
  • MOSS-Music-8B-Instruct F16 音声
    コンテキスト長 8,192 推定 3.78 GB 残り 0.51 GB 生成の速さ 39〜52
  • Qwen3.5-4B UD-Q4_K_XL 画像も入力
    コンテキスト長 8,192 推定 4.28 GB 残り 0.02 GB（ぎりぎり） 生成の速さ 23〜31
  • Wan2.1 Q4_K_M
    コンテキスト長 4,096 推定 4.22 GB 残り 0.07 GB（ぎりぎり） 生成の速さ 25〜33
  • Qwen3-ASR-1.7B Q8_0 音声
    コンテキスト長 8,192 推定 3.97 GB 残り 0.32 GB 生成の速さ 31〜41
  • Ternary-Bonsai-2-9B Q8_0 画像も入力
    コンテキスト長 8,192 推定 4.04 GB 残り 0.25 GB 生成の速さ 25〜33
  • HyperCLOVAX-SEED-Text-Instruct-1.5B-Q4_K_M Q4_K_M
    コンテキスト長 16,384 推定 3.51 GB 残り 0.79 GB 生成の速さ 59〜79
  • Ternary-Bonsai-2-2B Q2_0 画像も入力
    コンテキスト長 131,072 推定 3.22 GB 残り 1.07 GB 生成の速さ 123〜164
  • Cyber-Ornith-1.5-9B-OBLITERATED IQ1_M
    コンテキスト長 8,192 推定 4.24 GB 残り 0.05 GB（ぎりぎり） 生成の速さ 23〜31
  • Sharp-Spark-X2.5-4B Q4_K_XL
    コンテキスト長 16,384 推定 4.20 GB 残り 0.09 GB（ぎりぎり） 生成の速さ 25〜33
  • AdaVaR-3B Q6_K
    コンテキスト長 16,384 推定 3.99 GB 残り 0.30 GB 生成の速さ 26〜35
  • Qwen3-4B-Instruct-2507 UD-Q3_K_XL
    コンテキスト長 8,192 推定 4.18 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 32〜42
  • Qwen3-VL-4B-Instruct UD-Q3_K_XL 画像も入力
    コンテキスト長 8,192 推定 4.18 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 32〜42
  • Qwen2.5-7B-Instruct IQ2_M
    コンテキスト長 8,192 推定 4.10 GB 残り 0.20 GB（ぎりぎり） 生成の速さ 24〜32
  • Qwen3-4B UD-Q3_K_XL
    コンテキスト長 8,192 推定 4.19 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 32〜42
  • gemma-4-E2B-it Q4_1 画像も入力
    コンテキスト長 8,192 推定 4.29 GB 残り 0.00 GB（ぎりぎり） 生成の速さ 21〜28
  • Qwen3.8-4B-Distill Q4_K_M
    コンテキスト長 8,192 推定 4.15 GB 残り 0.14 GB（ぎりぎり） 生成の速さ 24〜32
  • Spark-X2.5-4B-Heretic-jp Q5_K_M
    コンテキスト長 8,192 推定 4.20 GB 残り 0.10 GB（ぎりぎり） 生成の速さ 23〜30
  • nomic-embed-text-v1.5 F32 埋め込み（会話には使えない）
    コンテキスト長 2,048 推定 1.62 GB 残り 2.67 GB 生成の速さ 123〜164
  • jinen-v1-small F16
    コンテキスト長 1,024 推定 1.55 GB 残り 2.74 GB 生成の速さ 152〜202
  • Qwen3.8-2B-Distill Q8_0
    コンテキスト長 65,536 推定 3.95 GB 残り 0.35 GB 生成の速さ 32〜43
  • Qwen2.5-1.5B-Instruct F16
    コンテキスト長 8,192 推定 4.18 GB 残り 0.12 GB（ぎりぎり） 生成の速さ 22〜29
  • Qwen3.5-2B UD-Q8_K_XL 画像も入力
    コンテキスト長 16,384 推定 4.10 GB 残り 0.19 GB（ぎりぎり） 生成の速さ 24〜32
  • bge-large-en-v1.5 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 2.41 GB 残り 1.88 GB 生成の速さ 50〜67
  • Qwen3.5-0.8B-Artemis Q5_K_M 画像も入力
    コンテキスト長 131,072 推定 3.25 GB 残り 1.05 GB 生成の速さ 118〜157
  • bge-small-en-v1.5 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 1.21 GB 残り 3.09 GB 生成の速さ 503〜671
  • MiniCPM5-2B Q8_0
    コンテキスト長 16,384 推定 4.19 GB 残り 0.11 GB（ぎりぎり） 生成の速さ 25〜33
  • Qwen2.5-0.5B-Instruct F16
    コンテキスト長 8,192 推定 2.22 GB 残り 2.08 GB 生成の速さ 53〜71
  • bge-base-en-v1.5 F32 埋め込み（会話には使えない）
    コンテキスト長 512 推定 1.51 GB 残り 2.78 GB 生成の速さ 154〜205
  • gemma-4-E2B-it-Artemis Q3_K_L 画像も入力
    コンテキスト長 131,072 推定 4.20 GB 残り 0.09 GB（ぎりぎり） 生成の速さ 29〜39

よくある質問

Arc A370M でどんなローカルLLMが動きますか？
当サイトでは 277 モデルに、4GB・8,192 トークンで収まる量子化があります（推定）。よく使われているのは Ornith-1.5-9B・MOSS-Music-8B-Instruct・Qwen3.5-4B・Qwen3-4B・Ternary-Bonsai-2-9B などです。
Arc A370M で動く、いちばん大きいモデルは？
当サイトに載っている中では Qwen3.8-Flash-Next-FP4-Local-Strata（約 51.2B）で、BF16 なら 4GB に収まります（8,192 トークンの推定）。
Arc A370M で文章を生成する速さは？
メモリ帯域が 112 GB/s なので、たとえば Ornith-1.5-9B の IQ1_M（2.81 GB）なら、推定で毎秒 24〜32 トークンほどです（帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません）。