本文へ移動
localllm

Apple Silicon(Mac)

Apple M5 Ultra

データの取得日:

メモリ帯域
1,200 GB/s

96 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • Qwen3.8-Flash-Next-GSQ-RCO IQ3_S 画像も入力
    コンテキスト長 262,144 推定 92.0 GB 残り 11.1 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 73.0 GB 残り 30.0 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 28.1 GB 残り 75.0 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 77.5 GB 残り 25.5 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 92.3 GB 残り 10.8 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 77.6 GB 残り 25.5 GB 生成の速さ MoE のため推定なし
  • Huihui-Qwen3.8-27B-abliterated BF16 画像も入力
    コンテキスト長 262,144 推定 73.0 GB 残り 30.0 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 33.6 GB 残り 69.5 GB 生成の速さ MoE のため推定なし
  • Qwen3.8-27B-iMatrix-NVFP4-MTP NVFP4 画像も入力
    コンテキスト長 262,144 推定 35.5 GB 残り 67.6 GB 生成の速さ 42〜56
  • Tiel-Coder-35B-A3B-GGUF-MTP UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 45.3 GB 残り 57.8 GB 生成の速さ MoE のため推定なし
  • gemma-4-12B-it BF16 画像も入力
    コンテキスト長 262,144 推定 29.7 GB 残り 73.4 GB 生成の速さ 30〜40
  • コンテキスト長 262,144 推定 47.4 GB 残り 55.6 GB 生成の速さ 25〜33
  • コンテキスト長 262,144 推定 27.6 GB 残り 75.4 GB 生成の速さ 40〜54
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 101 GB 生成の速さ 538〜718
  • Qwen3.6-35B-A3B-MTP BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 25.5 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 28.1 GB 残り 75.0 GB 生成の速さ 39〜52
  • コンテキスト長 40,960 推定 23.3 GB 残り 79.8 GB 生成の速さ 44〜59
  • コンテキスト長 262,144 推定 49.8 GB 残り 53.2 GB 生成の速さ 23〜31
  • gemma-4-26B-A4B-it BF16 画像も入力
    コンテキスト長 262,144 推定 57.3 GB 残り 45.8 GB 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct BF16 画像も入力
    コンテキスト長 262,144 推定 55.9 GB 残り 47.2 GB 生成の速さ 44〜59
  • Qwen3.8-Flash-Next Q4_0 画像も入力
    コンテキスト長 32,768 推定 103 GB 残り 0.41 GB(ぎりぎり) 生成の速さ MoE のため推定なし
  • Qwen3.5-9B BF16 画像も入力
    コンテキスト長 262,144 推定 28.1 GB 残り 75.0 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 27.6 GB 残り 75.5 GB 生成の速さ 40〜54
  • Qwen3.6-35B-A3B BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 25.5 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 72.2 GB 残り 30.9 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 30.5 GB 残り 72.6 GB 生成の速さ 59〜79
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 262,144 推定 18.4 GB 残り 84.7 GB 生成の速さ 83〜111
  • コンテキスト長 262,144 推定 75.9 GB 残り 27.2 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 48.6 GB 残り 54.5 GB 生成の速さ 24〜32
  • Dirk-Qwen3.8-27B UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 49.8 GB 残り 53.2 GB 生成の速さ 23〜31

256 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • Qwen3.8-Flash-Next-GSQ-RCO IQ3_S 画像も入力
    コンテキスト長 262,144 推定 92.0 GB 残り 183 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 73.0 GB 残り 202 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 28.1 GB 残り 247 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 77.5 GB 残り 197 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 92.3 GB 残り 183 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 77.6 GB 残り 197 GB 生成の速さ MoE のため推定なし
  • Huihui-Qwen3.8-27B-abliterated BF16 画像も入力
    コンテキスト長 262,144 推定 73.0 GB 残り 202 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 33.6 GB 残り 241 GB 生成の速さ MoE のため推定なし
  • Qwen3.8-27B-iMatrix-NVFP4-MTP NVFP4 画像も入力
    コンテキスト長 262,144 推定 35.5 GB 残り 239 GB 生成の速さ 42〜56
  • Tiel-Coder-35B-A3B-GGUF-MTP UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 45.3 GB 残り 230 GB 生成の速さ MoE のため推定なし
  • gemma-4-12B-it BF16 画像も入力
    コンテキスト長 262,144 推定 29.7 GB 残り 245 GB 生成の速さ 30〜40
  • コンテキスト長 262,144 推定 47.4 GB 残り 227 GB 生成の速さ 25〜33
  • コンテキスト長 262,144 推定 27.6 GB 残り 247 GB 生成の速さ 40〜54
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 272 GB 生成の速さ 538〜718
  • Qwen3.6-35B-A3B-MTP BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 197 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 28.1 GB 残り 247 GB 生成の速さ 39〜52
  • コンテキスト長 40,960 推定 23.3 GB 残り 252 GB 生成の速さ 44〜59
  • コンテキスト長 262,144 推定 49.8 GB 残り 225 GB 生成の速さ 23〜31
  • gemma-4-26B-A4B-it BF16 画像も入力
    コンテキスト長 262,144 推定 57.3 GB 残り 218 GB 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct BF16 画像も入力
    コンテキスト長 262,144 推定 55.9 GB 残り 219 GB 生成の速さ 44〜59
  • Qwen3.8-Flash-Next Q8_0 画像も入力
    コンテキスト長 262,144 推定 197 GB 残り 78.2 GB 生成の速さ MoE のため推定なし
  • Qwen3.5-9B BF16 画像も入力
    コンテキスト長 262,144 推定 28.1 GB 残り 247 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 27.6 GB 残り 247 GB 生成の速さ 40〜54
  • Qwen3.6-35B-A3B BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 197 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 72.2 GB 残り 203 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 30.5 GB 残り 244 GB 生成の速さ 59〜79
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 262,144 推定 18.4 GB 残り 257 GB 生成の速さ 83〜111
  • コンテキスト長 262,144 推定 75.9 GB 残り 199 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 48.6 GB 残り 226 GB 生成の速さ 24〜32
  • Dirk-Qwen3.8-27B UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 49.8 GB 残り 225 GB 生成の速さ 23〜31

512 GB のとき

モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。

  • Qwen3.8-Flash-Next-GSQ-RCO IQ3_S 画像も入力
    コンテキスト長 262,144 推定 92.0 GB 残り 458 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 73.0 GB 残り 477 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 28.1 GB 残り 522 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 77.5 GB 残り 472 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 92.3 GB 残り 457 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 77.6 GB 残り 472 GB 生成の速さ MoE のため推定なし
  • Huihui-Qwen3.8-27B-abliterated BF16 画像も入力
    コンテキスト長 262,144 推定 73.0 GB 残り 477 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 33.6 GB 残り 516 GB 生成の速さ MoE のため推定なし
  • Qwen3.8-27B-iMatrix-NVFP4-MTP NVFP4 画像も入力
    コンテキスト長 262,144 推定 35.5 GB 残り 514 GB 生成の速さ 42〜56
  • Tiel-Coder-35B-A3B-GGUF-MTP UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 45.3 GB 残り 504 GB 生成の速さ MoE のため推定なし
  • gemma-4-12B-it BF16 画像も入力
    コンテキスト長 262,144 推定 29.7 GB 残り 520 GB 生成の速さ 30〜40
  • コンテキスト長 262,144 推定 47.4 GB 残り 502 GB 生成の速さ 25〜33
  • コンテキスト長 262,144 推定 27.6 GB 残り 522 GB 生成の速さ 40〜54
  • mxbai-embed-large-v1 F32 埋め込み(会話には使えない)
    コンテキスト長 512 推定 2.41 GB 残り 547 GB 生成の速さ 538〜718
  • Qwen3.6-35B-A3B-MTP BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 472 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 28.1 GB 残り 522 GB 生成の速さ 39〜52
  • コンテキスト長 40,960 推定 23.3 GB 残り 526 GB 生成の速さ 44〜59
  • コンテキスト長 262,144 推定 49.8 GB 残り 500 GB 生成の速さ 23〜31
  • gemma-4-26B-A4B-it BF16 画像も入力
    コンテキスト長 262,144 推定 57.3 GB 残り 492 GB 生成の速さ MoE のため推定なし
  • Qwen3-VL-8B-Instruct BF16 画像も入力
    コンテキスト長 262,144 推定 55.9 GB 残り 494 GB 生成の速さ 44〜59
  • Qwen3.8-Flash-Next BF16 画像も入力
    コンテキスト長 262,144 推定 362 GB 残り 187 GB 生成の速さ MoE のため推定なし
  • Qwen3.5-9B BF16 画像も入力
    コンテキスト長 262,144 推定 28.1 GB 残り 522 GB 生成の速さ 39〜52
  • コンテキスト長 262,144 推定 27.6 GB 残り 522 GB 生成の速さ 40〜54
  • Qwen3.6-35B-A3B BF16 画像も入力
    コンテキスト長 262,144 推定 77.5 GB 残り 472 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 72.2 GB 残り 478 GB 生成の速さ 13〜18
  • コンテキスト長 262,144 推定 30.5 GB 残り 519 GB 生成の速さ 59〜79
  • Qwen3.5-4B BF16 画像も入力
    コンテキスト長 262,144 推定 18.4 GB 残り 531 GB 生成の速さ 83〜111
  • コンテキスト長 262,144 推定 75.9 GB 残り 474 GB 生成の速さ MoE のため推定なし
  • コンテキスト長 262,144 推定 48.6 GB 残り 501 GB 生成の速さ 24〜32
  • Dirk-Qwen3.8-27B UD-Q8_K_XL 画像も入力
    コンテキスト長 262,144 推定 49.8 GB 残り 500 GB 生成の速さ 23〜31

よくある質問

Apple M5 Ultra でどんなローカルLLMが動きますか?
当サイトでは 1,052 モデルに、512GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Qwen3.8-27B・Qwen3.8-Flash-Next-GSQ-RCO・Ornith-1.5-9B・Huihui-Qwen3.6-35B-A3B-abliterated-MTP・Ornith-1.5-35B-A3B などです。
Apple M5 Ultra で動く、いちばん大きいモデルは?
当サイトに載っている中では Kimi-K3(約 2,779.5B)で、UD-TQ1_0 なら 512GB に収まります(8,192 トークンの推定)。
Apple M5 Ultra で文章を生成する速さは?
メモリ帯域が 1,200 GB/s なので、たとえば Qwen3.8-27B の BF16(54.7 GB)なら、推定で毎秒 13〜18 トークンほどです(帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません)。