Llama-3.1-Swallow-8B-v0.5（Q4_K_M）を動かすのに必要なメモリはどれくらいですか？

ファイルサイズは4.92 GB（実測）。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは6.79 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。

Llama-3.1-Swallow-8B-v0.5 は VRAM 8GB・12GB・16GB・24GB で動きますか？

8GB なら Q6_K（推定 8.47 GB）まで、12GB なら Q6_K（推定 8.47 GB）まで、16GB なら Q6_K（推定 8.47 GB）まで、24GB なら Q6_K（推定 8.47 GB）まで（8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル）。

Llama-3.1-Swallow-8B-v0.5 を Ollama で動かすコマンドは？

「ollama run hf.co/mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。

tokyotech-llm

Llama-3.1-Swallow-8B-v0.5

パラメータ数: 8B
最大コンテキスト長: 131,072
アーキテクチャ: llama
ライセンス: 条件付き

元モデル: tokyotech-llm/Llama-3.1-Swallow-8B-v0.5
ライセンス: llama3.3

Q4_K_M を 8K トークンで動かすときの必要メモリ

6.79 GB 推定

ファイルサイズ 4.92 GB 実測

収まる VRAM の量（目安）

8 GB 収まる
12 GB 収まる
16 GB 収まる
24 GB 収まる
32 GB 収まる
48 GB 収まる

8 GB で動く機種・モデルを見る

いちばん小さい IQ1_S なら、8K で推定 3.89 GB です。

Mac は GPU が使えるメモリに上限があるため、統合メモリには余裕を見てください。

データの取得日：2026年11月11日

Llama-3.1-Swallow-8B-v0.5 の概要

Llama-3.1-Swallow-8B-v0.5 は、Hugging Face の tokyotech-llm/Llama-3.1-Swallow-8B-v0.5 をもとにした GGUF 形式のモデルです。GGUF は mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF が公開しています。パラメータ数は約 8B（80億）、アーキテクチャは llama、最大コンテキスト長は 131,072 トークンです（GGUF に書かれた値）。

量子化は 24 種類あり、ファイルサイズは IQ1_S の 2.02 GB から Q6_K の 6.60 GB まであります（Hugging Face 上の実際のサイズ）。

Q4_K_M（4.92 GB）を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 6.79 GB、32,768 トークンでは推定 10.0 GBです。8,192 トークンなら、VRAM 8 GB 以上の GPU（GeForce RTX 3070 Ti・Arc A580 など）か、統合メモリ 8 GB 以上の Mac が目安です（macOS は GPU が使えるメモリに上限があるため、実際には余裕が要ります）。最も小さい IQ1_S（2.02 GB）なら、8,192 トークンで推定 3.89 GBです。

元のモデルのライセンスは Llama 3.3 Community License で、商用利用には規模・用途などの条件があります。利用条件は原文で確認してください。

量子化ごとのファイルサイズと必要メモリの目安

8 GB まで
16 GB まで
24 GB まで
48 GB まで
128 GB まで
それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値（KVキャッシュ f16）。計算式は必要メモリの計算方法で公開しています。

必要メモリはすべて推定（KVキャッシュ f16）。このページの「必要メモリ」以上の VRAM（または Mac の統合メモリ）を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧（GPU・Macで探す）に移動します。

「品質の目安」について（量子化でどれだけ元のモデルからずれるか）

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD（元のモデルと量子化したモデルの、次の単語の確率の分布の差）で、小さいほど元のモデルに近い出力になります。imatrix（重要度の情報）を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値（無い型は使った値）で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型（UD-Q4_K_XL など）は型の名前だけでは当てはめられないので「-」にしています。

量子化	品質の目安	KLD（imatrix なし）	KLD（imatrix あり）	サイズ（Llama-3-8B）
Q8_0	ほぼ同じ	0.0014	-	7.96 GiB
Q6_K	ごく小さい	0.0055	-	6.14 GiB
Q5_K_M	ごく小さい	0.0108	-	5.33 GiB
Q5_K_S	小さい	0.0166	-	5.21 GiB
Q5_1	小さい	0.0180	-	5.65 GiB
Q5_0	小さい	0.0222	-	5.21 GiB
Q4_K_M	小さい	0.0313	0.0282	4.58 GiB
Q4_K_S	中くらい	0.0431	0.0320	4.37 GiB
IQ4_NL	小さい	-	0.0357	4.35 GiB
IQ4_XS	小さい	-	0.0363	4.14 GiB
Q4_1	中くらい	0.0717	-	4.78 GiB
Q4_0	中くらい	0.0719	-	4.34 GiB
Q3_K_L	中くらい	0.0872	0.0731	4.03 GiB
Q3_K_M	中くらい	0.1019	0.0844	3.74 GiB
IQ3_M	中くらい	-	0.1025	3.53 GiB
IQ3_S	中くらい	-	0.1113	3.42 GiB
IQ3_XS	大きい	-	0.1387	3.28 GiB
IQ3_XXS	大きい	-	0.1836	3.05 GiB
Q3_K_S	大きい	0.2282	0.1998	3.41 GiB
IQ2_M	大きい	-	0.3260	2.74 GiB
Q2_K	とても大きい	0.4451	0.3322	2.96 GiB
Q2_K_S	とても大きい	-	0.4034	2.96 GiB
IQ2_S	とても大きい	-	0.4392	2.56 GiB
IQ2_XS	とても大きい	-	0.5463	2.43 GiB
IQ2_XXS	とても大きい	-	0.8120	2.24 GiB
IQ1_M	とても大きい	-	1.3931	2.01 GiB
IQ1_S	とても大きい	-	2.2546	1.88 GiB

出典：llama.cpp（MIT）、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。元の表 · 量子化の読み方と選び方

GGUF配布元

mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF

第三者が変換して配布この表示について

最終確認：2026年11月11日

アーキテクチャ: llama; llama.cpp b4409 より前から
パラメータ数: 8.0B
最大コンテキスト長: 131,072
ライセンス: llama3.3 条件付き

Llama-3.1-Swallow-8B-v0.5（mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化	ファイルサイズ実測	品質の目安	4,096	8,192	16,384	32,768	65,536	131,072 最大
IQ1_S	2.02 GB	とても大きい	3.36 GB	3.89 GB	4.97 GB	7.11 GB	11.4 GB	20.0 GB
IQ1_M	2.16 GB	とても大きい	3.50 GB	4.04 GB	5.11 GB	7.26 GB	11.6 GB	20.1 GB
IQ2_XXS	2.40 GB	とても大きい	3.74 GB	4.27 GB	5.35 GB	7.49 GB	11.8 GB	20.4 GB
IQ2_XS	2.61 GB	とても大きい	3.94 GB	4.48 GB	5.55 GB	7.70 GB	12.0 GB	20.6 GB
IQ2_S	2.76 GB	とても大きい	4.09 GB	4.63 GB	5.71 GB	7.85 GB	12.1 GB	20.7 GB
IQ2_M	2.95 GB	大きい	4.28 GB	4.82 GB	5.90 GB	8.04 GB	12.3 GB	20.9 GB
Q2_K_S	2.99 GB	とても大きい	4.33 GB	4.86 GB	5.94 GB	8.08 GB	12.4 GB	21.0 GB
Q2_K	3.18 GB	とても大きい	4.52 GB	5.05 GB	6.13 GB	8.27 GB	12.6 GB	21.2 GB
IQ3_XXS	3.27 GB	大きい	4.61 GB	5.15 GB	6.22 GB	8.37 GB	12.7 GB	21.3 GB
IQ3_XS	3.52 GB	大きい	4.86 GB	5.39 GB	6.47 GB	8.61 GB	12.9 GB	21.5 GB
Q3_K_S	3.66 GB	大きい	5.00 GB	5.54 GB	6.61 GB	8.76 GB	13.1 GB	21.6 GB
IQ3_S	3.68 GB	中くらい	5.02 GB	5.56 GB	6.63 GB	8.78 GB	13.1 GB	21.7 GB
IQ3_M	3.78 GB	中くらい	5.12 GB	5.66 GB	6.73 GB	8.88 GB	13.2 GB	21.8 GB
Q3_K_M	4.02 GB	中くらい	5.36 GB	5.89 GB	6.97 GB	9.11 GB	13.4 GB	22.0 GB
Q3_K_L	4.32 GB	中くらい	5.66 GB	6.20 GB	7.27 GB	9.42 GB	13.7 GB	22.3 GB
IQ4_XS	4.45 GB	小さい	5.78 GB	6.32 GB	7.39 GB	9.54 GB	13.8 GB	22.4 GB
Q4_0	4.68 GB	中くらい	6.01 GB	6.55 GB	7.62 GB	9.77 GB	14.1 GB	22.7 GB
IQ4_NL	4.68 GB	小さい	6.01 GB	6.55 GB	7.63 GB	9.77 GB	14.1 GB	22.7 GB
Q4_K_S	4.69 GB	中くらい	6.03 GB	6.57 GB	7.64 GB	9.79 GB	14.1 GB	22.7 GB
Q4_K_M	4.92 GB	小さい	6.26 GB	6.79 GB	7.87 GB	10.0 GB	14.3 GB	22.9 GB
Q4_1	5.13 GB	中くらい	6.47 GB	7.00 GB	8.08 GB	10.2 GB	14.5 GB	23.1 GB
Q5_K_S	5.60 GB	小さい	6.94 GB	7.47 GB	8.55 GB	10.7 GB	15.0 GB	23.6 GB
Q5_K_M	5.73 GB	ごく小さい	7.07 GB	7.61 GB	8.68 GB	10.8 GB	15.1 GB	23.7 GB
Q6_K	6.60 GB	ごく小さい	7.93 GB	8.47 GB	9.54 GB	11.7 GB	16.0 GB	24.6 GB

Ollama  ollama run hf.co/mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M

llama.cpp  llama-server -hf mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M

主な GPU・Mac での生成の速さ（推定）

Q4_K_M（4.92 GB）で文章を生成する速さの目安です。1トークンごとにモデルの重みを1回読むので、上限はメモリの帯域 ÷ ファイルサイズで決まります。目安はその 6〜8 割で、公開されている実測の多くがこの範囲に入ります。

機種	メモリ帯域	目安（トークン/秒）推定	上限
Arc A550M 8 GB	224 GB/s	27〜36	46
Radeon RX 6800 16 GB	512 GB/s	62〜83	104
GeForce RTX 5090 32 GB	1,792 GB/s	219〜291	364
Apple M2 16 GB	100 GB/s	12〜16	20
Apple M2 Pro 16 GB	200 GB/s	24〜33	41
Apple M5 Ultra 96 GB	1,200 GB/s	146〜195	244

推定です。プロンプトを読み込む速さ（計算の速さで決まる）は含みません。コンテキストが長いほど、また一部を CPU に逃がすと遅くなります。Mac は搭載メモリが必要量の 4/3 以上のものだけを出しています。帯域が公表されていない機種（一部の GeForce など）は出ません。

ライセンスと商用利用

Llama 3.3 Community License 条件付き

商用利用できます。月間アクティブユーザーが7億人を超える場合は Meta の許諾が別に必要です。再配布や派生モデルの公開では「Built with Llama」の表示が要り、利用規定（Acceptable Use Policy）を守ります。

元のモデルの Hugging Face のページにあるライセンスで判定しています。ライセンスの原文（2026年10月18日に確認）

要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。ライセンスごとの一覧

動かし方

例として Q4_K_M を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。ローカルLLMの動かし方

Ollama

Hugging Face 上の GGUF を直接指定して動かせます。

ollama run hf.co/mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M

llama.cpp

llama-server（または llama-cli）に -hf でリポジトリと量子化名を指定します。

llama-server -hf mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M

LM Studio

検索欄に mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。

よくある質問

Llama-3.1-Swallow-8B-v0.5（Q4_K_M）を動かすのに必要なメモリはどれくらいですか？: ファイルサイズは4.92 GB（実測）。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは6.79 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
Llama-3.1-Swallow-8B-v0.5は商用利用できますか？: 元のモデルのライセンスはLlama 3.3 Community License（商用利用は条件付き）。商用利用できます。月間アクティブユーザーが7億人を超える場合は Meta の許諾が別に必要です。再配布や派生モデルの公開では「Built with Llama」の表示が要り、利用規定（Acceptable Use Policy）を守ります。最終的な判断はライセンスの原文で確認してください。
Llama-3.1-Swallow-8B-v0.5 は VRAM 8GB・12GB・16GB・24GB で動きますか？: 8GB なら Q6_K（推定 8.47 GB）まで、12GB なら Q6_K（推定 8.47 GB）まで、16GB なら Q6_K（推定 8.47 GB）まで、24GB なら Q6_K（推定 8.47 GB）まで（8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル）。
Llama-3.1-Swallow-8B-v0.5 を Ollama で動かすコマンドは？: 「ollama run hf.co/mradermacher/Llama-3.1-Swallow-8B-v0.5-i1-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。