Apple Silicon(Mac)
Apple M5 Pro
データの取得日:
- メモリ帯域
- 307 GB/s
- 出典
- 確認日:
24 GB のとき
モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。
-
コンテキスト長 8,192 推定 25.6 GB 残り 0.17 GB(ぎりぎり) 生成の速さ 7.7〜10
-
Ornith-1.5-9B BF16コンテキスト長 131,072 推定 23.8 GB 残り 1.94 GB 生成の速さ 10〜13
-
コンテキスト長 131,072 推定 25.5 GB 残り 0.26 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 65,536 推定 24.9 GB 残り 0.87 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 8,192 推定 25.7 GB 残り 0.09 GB(ぎりぎり) 生成の速さ 7.7〜10
-
コンテキスト長 262,144 推定 23.6 GB 残り 2.22 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 65,536 推定 22.6 GB 残り 3.15 GB 生成の速さ 11〜14
-
コンテキスト長 65,536 推定 25.2 GB 残り 0.57 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 16,384 推定 25.7 GB 残り 0.09 GB(ぎりぎり) 生成の速さ 7.7〜10
-
コンテキスト長 16,384 推定 24.7 GB 残り 1.06 GB(ぎりぎり) 生成の速さ 8.2〜11
-
Ornith-1.0-9B BF16コンテキスト長 131,072 推定 23.3 GB 残り 2.43 GB 生成の速さ 10〜14
-
コンテキスト長 512 推定 2.41 GB 残り 23.4 GB 生成の速さ 138〜184
-
コンテキスト長 65,536 推定 25.3 GB 残り 0.46 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 131,072 推定 23.8 GB 残り 1.97 GB 生成の速さ 10〜13
-
コンテキスト長 40,960 推定 23.3 GB 残り 2.49 GB 生成の速さ 11〜15
-
コンテキスト長 65,536 推定 25.7 GB 残り 0.05 GB(ぎりぎり) 生成の速さ 9.1〜12
-
コンテキスト長 32,768 推定 25.4 GB 残り 0.42 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 32,768 推定 22.1 GB 残り 3.70 GB 生成の速さ 11〜15
-
コンテキスト長 131,072 推定 23.8 GB 残り 1.97 GB 生成の速さ 10〜13
-
コンテキスト長 131,072 推定 23.3 GB 残り 2.46 GB 生成の速さ 10〜14
-
コンテキスト長 65,536 推定 25.3 GB 残り 0.45 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
Ternary-Bonsai-2-27B Q2_0コンテキスト長 131,072 推定 17.4 GB 残り 8.35 GB 生成の速さ 24〜32
-
コンテキスト長 131,072 推定 21.9 GB 残り 3.86 GB 生成の速さ 15〜20
-
コンテキスト長 262,144 推定 18.4 GB 残り 7.42 GB 生成の速さ 21〜28
-
Ornith-1.0-35B Q4_K_Mコンテキスト長 131,072 推定 25.0 GB 残り 0.78 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 8,192 推定 25.3 GB 残り 0.45 GB(ぎりぎり) 生成の速さ 7.8〜10
-
コンテキスト長 32,768 推定 25.3 GB 残り 0.44 GB(ぎりぎり) 生成の速さ 8.4〜11
-
Wan2.1 Q4_K_Mコンテキスト長 65,536 推定 22.3 GB 残り 3.43 GB 生成の速さ 11〜15
-
コンテキスト長 131,072 推定 21.9 GB 残り 3.86 GB 生成の速さ 15〜20
-
コンテキスト長 65,536 推定 12.5 GB 残り 13.3 GB 生成の速さ 45〜60
48 GB のとき
モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。
-
Qwen3.8-27B UD-Q8_K_XLコンテキスト長 262,144 推定 49.8 GB 残り 1.70 GB(ぎりぎり) 生成の速さ 5.9〜7.8
-
Ornith-1.5-9B BF16コンテキスト長 262,144 推定 28.1 GB 残り 23.4 GB 生成の速さ 10〜13
-
コンテキスト長 262,144 推定 44.3 GB 残り 7.26 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 44.3 GB 残り 7.25 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 131,072 推定 48.6 GB 残り 2.97 GB 生成の速さ 4.7〜6.3
-
コンテキスト長 262,144 推定 33.6 GB 残り 17.9 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 35.5 GB 残り 16.0 GB 生成の速さ 11〜14
-
コンテキスト長 262,144 推定 45.3 GB 残り 6.22 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 29.7 GB 残り 21.8 GB 生成の速さ 7.7〜10
-
コンテキスト長 262,144 推定 47.4 GB 残り 4.11 GB 生成の速さ 6.3〜8.5
-
Ornith-1.0-9B BF16コンテキスト長 262,144 推定 27.6 GB 残り 23.9 GB 生成の速さ 10〜14
-
コンテキスト長 512 推定 2.41 GB 残り 49.1 GB 生成の速さ 138〜184
-
コンテキスト長 262,144 推定 45.6 GB 残り 5.96 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 28.1 GB 残り 23.4 GB 生成の速さ 10〜13
-
コンテキスト長 40,960 推定 23.3 GB 残り 28.3 GB 生成の速さ 11〜15
-
コンテキスト長 262,144 推定 49.8 GB 残り 1.70 GB(ぎりぎり) 生成の速さ 5.9〜7.8
-
コンテキスト長 262,144 推定 34.4 GB 残り 17.1 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 131,072 推定 36.6 GB 残り 15.0 GB 生成の速さ 11〜15
-
コンテキスト長 262,144 推定 28.1 GB 残り 23.4 GB 生成の速さ 10〜13
-
コンテキスト長 262,144 推定 27.6 GB 残り 23.9 GB 生成の速さ 10〜14
-
コンテキスト長 262,144 推定 44.9 GB 残り 6.61 GB 生成の速さ MoE のため推定なし
-
Ternary-Bonsai-2-27B Q2_0コンテキスト長 262,144 推定 26.0 GB 残り 25.5 GB 生成の速さ 24〜32
-
コンテキスト長 262,144 推定 30.5 GB 残り 21.0 GB 生成の速さ 15〜20
-
コンテキスト長 262,144 推定 18.4 GB 残り 33.2 GB 生成の速さ 21〜28
-
Ornith-1.0-35B Q8_0コンテキスト長 262,144 推定 43.4 GB 残り 8.13 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 48.6 GB 残り 2.92 GB 生成の速さ 6.1〜8.1
-
コンテキスト長 262,144 推定 49.8 GB 残り 1.70 GB(ぎりぎり) 生成の速さ 5.9〜7.8
-
Wan2.1 IQ4_NLコンテキスト長 262,144 推定 47.2 GB 残り 4.33 GB 生成の速さ 6.4〜8.5
-
コンテキスト長 262,144 推定 30.5 GB 残り 21.0 GB 生成の速さ 15〜20
-
コンテキスト長 65,536 推定 12.5 GB 残り 39.1 GB 生成の速さ 45〜60
64 GB のとき
モデルごとに1件、このメモリに収まる量子化のうち、8K トークン以上のコンテキストで収まる中でファイルが最も大きい(精度が高い)ものを、よく使われている順に最大30件出しています。コンテキスト長は、その量子化が収まる最も長い値です(埋め込みモデルなど、扱える長さが 8K より短いモデルはその最大の長さ)。会話・文章の生成以外のモデルには用途を付けています。「残り」はメモリの量から推定を引いた値で、容量の 5% 未満は「ぎりぎり」としています(収まることの保証ではありません)。
-
コンテキスト長 32,768 推定 68.5 GB 残り 0.23 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
Qwen3.8-27B BF16コンテキスト長 131,072 推定 64.4 GB 残り 4.27 GB 生成の速さ 3.4〜4.5
-
Ornith-1.5-9B BF16コンテキスト長 262,144 推定 28.1 GB 残り 40.6 GB 生成の速さ 10〜13
-
コンテキスト長 262,144 推定 44.3 GB 残り 24.4 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 16,384 推定 68.4 GB 残り 0.28 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 44.3 GB 残り 24.4 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 131,072 推定 64.4 GB 残り 4.27 GB 生成の速さ 3.4〜4.5
-
コンテキスト長 262,144 推定 33.6 GB 残り 35.1 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 35.5 GB 残り 33.2 GB 生成の速さ 11〜14
-
コンテキスト長 262,144 推定 45.3 GB 残り 23.4 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 29.7 GB 残り 39.0 GB 生成の速さ 7.7〜10
-
コンテキスト長 262,144 推定 47.4 GB 残り 21.3 GB 生成の速さ 6.3〜8.5
-
Ornith-1.0-9B BF16コンテキスト長 262,144 推定 27.6 GB 残り 41.1 GB 生成の速さ 10〜14
-
コンテキスト長 512 推定 2.41 GB 残り 66.3 GB 生成の速さ 138〜184
-
コンテキスト長 262,144 推定 45.6 GB 残り 23.1 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 28.1 GB 残り 40.6 GB 生成の速さ 10〜13
-
コンテキスト長 40,960 推定 23.3 GB 残り 45.4 GB 生成の速さ 11〜15
-
コンテキスト長 262,144 推定 49.8 GB 残り 18.9 GB 生成の速さ 5.9〜7.8
-
コンテキスト長 262,144 推定 57.3 GB 残り 11.5 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 55.9 GB 残り 12.8 GB 生成の速さ 11〜15
-
コンテキスト長 32,768 推定 68.4 GB 残り 0.27 GB(ぎりぎり) 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 28.1 GB 残り 40.6 GB 生成の速さ 10〜13
-
コンテキスト長 262,144 推定 27.6 GB 残り 41.1 GB 生成の速さ 10〜14
-
コンテキスト長 262,144 推定 44.9 GB 残り 23.8 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 131,072 推定 63.6 GB 残り 5.12 GB 生成の速さ 3.4〜4.6
-
コンテキスト長 262,144 推定 30.5 GB 残り 38.2 GB 生成の速さ 15〜20
-
コンテキスト長 262,144 推定 18.4 GB 残り 50.4 GB 生成の速さ 21〜28
-
Ornith-1.0-35B Q8_0コンテキスト長 262,144 推定 43.4 GB 残り 25.3 GB 生成の速さ MoE のため推定なし
-
コンテキスト長 262,144 推定 48.6 GB 残り 20.1 GB 生成の速さ 6.1〜8.1
-
コンテキスト長 262,144 推定 49.8 GB 残り 18.9 GB 生成の速さ 5.9〜7.8
よくある質問
- Apple M5 Pro でどんなローカルLLMが動きますか?
- 当サイトでは 998 モデルに、64GB・8,192 トークンで収まる量子化があります(推定)。よく使われているのは Qwen3.8-27B・Qwen3.8-Flash-Next-GSQ-RCO・Ornith-1.5-9B・Huihui-Qwen3.6-35B-A3B-abliterated-MTP・Ornith-1.5-35B-A3B などです。
- Apple M5 Pro で動く、いちばん大きいモデルは?
- 当サイトに載っている中では Grok-1(約 316.5B)で、IQ1_S なら 64GB に収まります(8,192 トークンの推定)。
- Apple M5 Pro で文章を生成する速さは?
- メモリ帯域が 307 GB/s なので、たとえば Qwen3.8-27B の BF16(54.7 GB)なら、推定で毎秒 3.4〜4.5 トークンほどです(帯域 ÷ ファイルサイズの 6〜8 割。プロンプトの読み込みは含みません)。