本文へ移動
localllm

meta-llama

Llama-3.3-70B-Instruct

パラメータ数
70.6B
最大コンテキスト長
131,072
アーキテクチャ
llama
ライセンス
条件付き
ライセンス
llama3.3

Llama-3.3-70B-Instruct の概要

Llama-3.3-70B-Instruct は、Hugging Face の meta-llama/Llama-3.3-70B-Instruct をもとにした GGUF 形式のモデルです。GGUF は 3 つの配布元(bartowski/Llama-3.3-70B-Instruct-GGUF・MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF・unsloth/Llama-3.3-70B-Instruct-GGUF)が公開しています。パラメータ数は約 70.6B(706億)、アーキテクチャは llama、最大コンテキスト長は 131,072 トークンです(GGUF に書かれた値)。

量子化は 43 種類あり、ファイルサイズは UD-IQ1_S の 15.9 GB から F16 の 141 GB まであります(Hugging Face 上の実際のサイズ)。

Q4_K_M(42.5 GB)を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 46.0 GB、32,768 トークンでは推定 54.1 GBです。8,192 トークンなら、VRAM 48 GB 以上の GPUか、統合メモリ 48 GB 以上の Mac が目安です(macOS は GPU が使えるメモリに上限があるため、実際には余裕が要ります)。最も小さい UD-IQ1_S(15.9 GB)なら、8,192 トークンで推定 19.3 GBです。

元のモデルのライセンスは Llama 3.3 Community License で、商用利用には規模・用途などの条件があります。利用条件は原文で確認してください。

量子化ごとのファイルサイズと必要メモリの目安

  • 8 GB まで
  • 16 GB まで
  • 24 GB まで
  • 48 GB まで
  • 128 GB まで
  • それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値(KVキャッシュ f16)。計算式は 必要メモリの計算方法で公開しています。

必要メモリはすべて 推定 (KVキャッシュ f16)。このページの「必要メモリ」以上の VRAM(または Mac の統合メモリ)を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧(GPU・Macで探す)に移動します。

同じモデルの GGUF を 3 つの配布元が公開しています。量子化の種類とファイルサイズは配布元ごとに少しずつ違うので、下に配布元ごとの表を載せています。

「品質の目安」について(量子化でどれだけ元のモデルからずれるか)

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD(元のモデルと量子化したモデルの、次の単語の確率の分布の差)で、小さいほど元のモデルに近い出力になります。imatrix(重要度の情報)を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値(無い型は使った値)で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型(UD-Q4_K_XL など)は型の名前だけでは当てはめられないので「-」にしています。

量子化 品質の目安 KLD(imatrix なし) KLD(imatrix あり) サイズ(Llama-3-8B)
Q8_0 ほぼ同じ 0.0014 - 7.96 GiB
Q6_K ごく小さい 0.0055 - 6.14 GiB
Q5_K_M ごく小さい 0.0108 - 5.33 GiB
Q5_K_S 小さい 0.0166 - 5.21 GiB
Q5_1 小さい 0.0180 - 5.65 GiB
Q5_0 小さい 0.0222 - 5.21 GiB
Q4_K_M 小さい 0.0313 0.0282 4.58 GiB
Q4_K_S 中くらい 0.0431 0.0320 4.37 GiB
IQ4_NL 小さい - 0.0357 4.35 GiB
IQ4_XS 小さい - 0.0363 4.14 GiB
Q4_1 中くらい 0.0717 - 4.78 GiB
Q4_0 中くらい 0.0719 - 4.34 GiB
Q3_K_L 中くらい 0.0872 0.0731 4.03 GiB
Q3_K_M 中くらい 0.1019 0.0844 3.74 GiB
IQ3_M 中くらい - 0.1025 3.53 GiB
IQ3_S 中くらい - 0.1113 3.42 GiB
IQ3_XS 大きい - 0.1387 3.28 GiB
IQ3_XXS 大きい - 0.1836 3.05 GiB
Q3_K_S 大きい 0.2282 0.1998 3.41 GiB
IQ2_M 大きい - 0.3260 2.74 GiB
Q2_K とても大きい 0.4451 0.3322 2.96 GiB
Q2_K_S とても大きい - 0.4034 2.96 GiB
IQ2_S とても大きい - 0.4392 2.56 GiB
IQ2_XS とても大きい - 0.5463 2.43 GiB
IQ2_XXS とても大きい - 0.8120 2.24 GiB
IQ1_M とても大きい - 1.3931 2.01 GiB
IQ1_S とても大きい - 2.2546 1.88 GiB

出典:llama.cpp(MIT)、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方

GGUF配布元

bartowski/Llama-3.3-70B-Instruct-GGUF

第三者が変換して配布 この表示について

元モデルの利用には Hugging Face 上での申請・同意が必要です(GGUF自体のダウンロードには影響しません)。

最終確認:2026年11月11日

アーキテクチャ
llama
llama.cpp b4409 より前から
パラメータ数
70.6B
最大コンテキスト長
131,072
ライセンス
llama3.3 条件付き
Llama-3.3-70B-Instruct(bartowski/Llama-3.3-70B-Instruct-GGUF)の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 最大
IQ1_M 16.8 GB とても大きい 18.9 GB 20.2 GB 22.9 GB 28.3 GB 39.0 GB 60.5 GB
IQ2_XXS 19.1 GB とても大きい 21.2 GB 22.6 GB 25.3 GB 30.6 GB 41.4 GB 62.8 GB
IQ2_XS 21.1 GB とても大きい 23.3 GB 24.6 GB 27.3 GB 32.7 GB 43.4 GB 64.9 GB
IQ2_S 22.2 GB とても大きい 24.4 GB 25.7 GB 28.4 GB 33.8 GB 44.5 GB 66.0 GB
IQ2_M 24.1 GB 大きい 26.3 GB 27.6 GB 30.3 GB 35.7 GB 46.4 GB 67.9 GB
Q2_K 26.4 GB とても大きい 28.5 GB 29.9 GB 32.5 GB 37.9 GB 48.6 GB 70.1 GB
Q2_K_L 27.4 GB - 29.5 GB 30.9 GB 33.6 GB 38.9 GB 49.7 GB 71.2 GB
IQ3_XXS 27.5 GB 大きい 29.6 GB 31.0 GB 33.6 GB 39.0 GB 49.7 GB 71.2 GB
IQ3_XS 29.3 GB 大きい 31.4 GB 32.8 GB 35.5 GB 40.8 GB 51.6 GB 73.1 GB
Q3_K_S 30.9 GB 大きい 33.1 GB 34.4 GB 37.1 GB 42.4 GB 53.2 GB 74.7 GB
IQ3_M 31.9 GB 中くらい 34.1 GB 35.4 GB 38.1 GB 43.5 GB 54.2 GB 75.7 GB
Q3_K_M 34.3 GB 中くらい 36.4 GB 37.8 GB 40.4 GB 45.8 GB 56.5 GB 78.0 GB
Q3_K_L 37.1 GB 中くらい 39.3 GB 40.6 GB 43.3 GB 48.7 GB 59.4 GB 80.9 GB
IQ4_XS 37.9 GB 小さい 40.0 GB 41.4 GB 44.1 GB 49.4 GB 60.2 GB 81.7 GB
Q3_K_XL 38.1 GB - 40.2 GB 41.5 GB 44.2 GB 49.6 GB 60.3 GB 81.8 GB
Q4_0_8_8 40.0 GB - 42.1 GB 43.5 GB 46.1 GB 51.5 GB 62.2 GB 83.7 GB
Q4_0_4_4 40.0 GB - 42.1 GB 43.5 GB 46.1 GB 51.5 GB 62.2 GB 83.7 GB
Q4_0_4_8 40.0 GB - 42.1 GB 43.5 GB 46.1 GB 51.5 GB 62.2 GB 83.7 GB
IQ4_NL 40.1 GB 小さい 42.2 GB 43.5 GB 46.2 GB 51.6 GB 62.3 GB 83.8 GB
Q4_0 40.1 GB 中くらい 42.3 GB 43.6 GB 46.3 GB 51.7 GB 62.4 GB 83.9 GB
Q4_K_S 40.3 GB 中くらい 42.5 GB 43.8 GB 46.5 GB 51.9 GB 62.6 GB 84.1 GB
Q4_K_M 42.5 GB 小さい 44.7 GB 46.0 GB 48.7 GB 54.1 GB 64.8 GB 86.3 GB
Q4_K_L 43.3 GB - 45.4 GB 46.8 GB 49.5 GB 54.8 GB 65.6 GB 87.0 GB
Q5_K_S 48.7 GB 小さい 50.8 GB 52.1 GB 54.8 GB 60.2 GB 70.9 GB 92.4 GB
Q5_K_M (2分割) 49.9 GB ごく小さい 52.1 GB 53.4 GB 56.1 GB 61.5 GB 72.2 GB 93.7 GB
Q5_K_L (2分割) 50.6 GB - 52.7 GB 54.1 GB 56.8 GB 62.1 GB 72.9 GB 94.3 GB
Q6_K (2分割) 57.9 GB ごく小さい 60.0 GB 61.4 GB 64.1 GB 69.4 GB 80.2 GB 102 GB
Q6_K_L (2分割) 58.4 GB - 60.5 GB 61.9 GB 64.6 GB 69.9 GB 80.7 GB 102 GB
Q8_0 (2分割) 75.0 GB ほぼ同じ 77.1 GB 78.5 GB 81.1 GB 86.5 GB 97.2 GB 119 GB
F16 (4分割) 141 GB 元の精度 143 GB 145 GB 147 GB 153 GB 163 GB 185 GB
Ollama  ollama run hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
llama.cpp  llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

GGUF配布元

MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF

第三者が変換して配布 この表示について

元モデルの利用には Hugging Face 上での申請・同意が必要です(GGUF自体のダウンロードには影響しません)。

最終確認:2026年11月3日

アーキテクチャ
llama
llama.cpp b4409 より前から
パラメータ数
70.6B
最大コンテキスト長
131,072
ライセンス
llama3.3 条件付き
Llama-3.3-70B-Instruct(MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF)の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 最大
Q2_K 26.4 GB とても大きい 28.5 GB 29.9 GB 32.5 GB 37.9 GB 48.6 GB 70.1 GB
Q3_K_S 30.9 GB 大きい 33.1 GB 34.4 GB 37.1 GB 42.4 GB 53.2 GB 74.7 GB
Q3_K_M 34.3 GB 中くらい 36.4 GB 37.8 GB 40.4 GB 45.8 GB 56.5 GB 78.0 GB
Q3_K_L 37.1 GB 中くらい 39.3 GB 40.6 GB 43.3 GB 48.7 GB 59.4 GB 80.9 GB
Q4_K_S 40.3 GB 中くらい 42.5 GB 43.8 GB 46.5 GB 51.9 GB 62.6 GB 84.1 GB
Q4_K_M 42.5 GB 小さい 44.7 GB 46.0 GB 48.7 GB 54.1 GB 64.8 GB 86.3 GB
Q5_K_S 48.7 GB 小さい 50.8 GB 52.1 GB 54.8 GB 60.2 GB 70.9 GB 92.4 GB
Q5_K_M 49.9 GB ごく小さい 52.1 GB 53.4 GB 56.1 GB 61.5 GB 72.2 GB 93.7 GB
Q6_K (6分割) 57.9 GB ごく小さい 60.0 GB 61.4 GB 64.1 GB 69.4 GB 80.2 GB 102 GB
Q8_0 (6分割) 75.0 GB ほぼ同じ 77.1 GB 78.5 GB 81.1 GB 86.5 GB 97.2 GB 119 GB
F16 (6分割) 141 GB 元の精度 143 GB 145 GB 147 GB 153 GB 163 GB 185 GB
Ollama  ollama run hf.co/MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
llama.cpp  llama-server -hf MaziyarPanahi/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

GGUF配布元

unsloth/Llama-3.3-70B-Instruct-GGUF

第三者が変換して配布 この表示について

元モデルの利用には Hugging Face 上での申請・同意が必要です(GGUF自体のダウンロードには影響しません)。

最終確認:2026年11月11日

アーキテクチャ
llama
llama.cpp b4409 より前から
パラメータ数
70.6B
最大コンテキスト長
131,072
ライセンス
llama3.3 条件付き
Llama-3.3-70B-Instruct(unsloth/Llama-3.3-70B-Instruct-GGUF)の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 最大
UD-IQ1_S 15.9 GB - 18.0 GB 19.3 GB 22.0 GB 27.4 GB 38.1 GB 59.6 GB
UD-IQ1_M 17.1 GB - 19.3 GB 20.6 GB 23.3 GB 28.7 GB 39.4 GB 60.9 GB
UD-IQ2_XXS 19.4 GB - 21.6 GB 22.9 GB 25.6 GB 31.0 GB 41.7 GB 63.2 GB
UD-IQ2_M 24.3 GB - 26.4 GB 27.8 GB 30.5 GB 35.8 GB 46.6 GB 68.0 GB
Q2_K 26.4 GB とても大きい 28.5 GB 29.9 GB 32.5 GB 37.9 GB 48.6 GB 70.1 GB
Q2_K_L 26.6 GB - 28.8 GB 30.1 GB 32.8 GB 38.2 GB 48.9 GB 70.4 GB
UD-Q2_K_XL 27.0 GB - 29.1 GB 30.5 GB 33.1 GB 38.5 GB 49.2 GB 70.7 GB
UD-IQ3_XXS 27.7 GB - 29.8 GB 31.1 GB 33.8 GB 39.2 GB 49.9 GB 71.4 GB
Q3_K_S 30.9 GB 大きい 33.1 GB 34.4 GB 37.1 GB 42.4 GB 53.2 GB 74.7 GB
Q3_K_M 34.3 GB 中くらい 36.4 GB 37.8 GB 40.4 GB 45.8 GB 56.5 GB 78.0 GB
UD-Q3_K_XL 34.8 GB - 36.9 GB 38.3 GB 41.0 GB 46.3 GB 57.1 GB 78.5 GB
IQ4_XS 37.9 GB 小さい 40.1 GB 41.4 GB 44.1 GB 49.5 GB 60.2 GB 81.7 GB
IQ4_NL 40.1 GB 小さい 42.2 GB 43.5 GB 46.2 GB 51.6 GB 62.3 GB 83.8 GB
Q4_0 40.1 GB 中くらい 42.3 GB 43.6 GB 46.3 GB 51.7 GB 62.4 GB 83.9 GB
Q4_K_S 40.3 GB 中くらい 42.5 GB 43.8 GB 46.5 GB 51.9 GB 62.6 GB 84.1 GB
Q4_K_M 42.5 GB 小さい 44.7 GB 46.0 GB 48.7 GB 54.1 GB 64.8 GB 86.3 GB
UD-Q4_K_XL 42.7 GB - 44.8 GB 46.1 GB 48.8 GB 54.2 GB 64.9 GB 86.4 GB
Q4_1 44.3 GB 中くらい 46.5 GB 47.8 GB 50.5 GB 55.9 GB 66.6 GB 88.1 GB
Q5_K_S 48.7 GB 小さい 50.8 GB 52.1 GB 54.8 GB 60.2 GB 70.9 GB 92.4 GB
UD-Q5_K_XL 49.9 GB - 52.0 GB 53.3 GB 56.0 GB 61.4 GB 72.1 GB 93.6 GB
Q5_K_M 49.9 GB ごく小さい 52.1 GB 53.4 GB 56.1 GB 61.5 GB 72.2 GB 93.7 GB
Q6_K (2分割) Llama-3.3-70B-Instruct-Q6_K 57.9 GB ごく小さい 60.0 GB 61.4 GB 64.1 GB 69.4 GB 80.2 GB 102 GB
Q6_K (2分割) Q6_K 57.9 GB ごく小さい 60.0 GB 61.4 GB 64.1 GB 69.4 GB 80.2 GB 102 GB
UD-Q6_K_XL (2分割) 61.2 GB - 63.3 GB 64.6 GB 67.3 GB 72.7 GB 83.4 GB 105 GB
Q8_0 (2分割) 75.0 GB ほぼ同じ 77.1 GB 78.5 GB 81.1 GB 86.5 GB 97.2 GB 119 GB
UD-Q8_K_XL (2分割) 81.2 GB - 83.4 GB 84.7 GB 87.4 GB 92.8 GB 104 GB 125 GB
BF16 (3分割) 141 GB 元の精度 143 GB 145 GB 147 GB 153 GB 163 GB 185 GB
F16 (4分割) 141 GB 元の精度 143 GB 145 GB 147 GB 153 GB 163 GB 185 GB
Ollama  ollama run hf.co/unsloth/Llama-3.3-70B-Instruct-GGUF:Q4_K_M
llama.cpp  llama-server -hf unsloth/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

主な GPU・Mac での生成の速さ(推定)

Q4_K_M(42.5 GB)で文章を生成する速さの目安です。1トークンごとにモデルの重みを1回読むので、上限はメモリの帯域 ÷ ファイルサイズで決まります。目安はその 6〜8 割で、公開されている実測の多くがこの範囲に入ります。

機種 メモリ帯域 目安(トークン/秒) 推定 上限
Apple M5 Pro 64 GB 307 GB/s 4.3〜5.8 7.2
Apple M2 Max 64 GB 400 GB/s 5.6〜7.5 9.4
Apple M5 Ultra 96 GB 1,200 GB/s 17〜23 28

推定です。プロンプトを読み込む速さ(計算の速さで決まる)は含みません。コンテキストが長いほど、また一部を CPU に逃がすと遅くなります。Mac は搭載メモリが必要量の 4/3 以上のものだけを出しています。帯域が公表されていない機種(一部の GeForce など)は出ません。

外部の評価

量子化する前の元のモデルを、他の機関が評価した値です。当サイトの評価ではありません。 値は量子化する前の元のモデルのものです。GGUF の量子化(特に小さい量子化)では性能が下がることがあります。

人の評価(LMArena)

1,318 1,315〜1,322

Llama 3.3 70B Instruct · 投票 54,482 · 2026年11月9日 版の値

出典:LMArena(CC BY 4.0)。 元のランキング · ランキングで見る

総合能力(Epoch AI)

126.2 123.2〜128.9

Llama 3.3 70B · 2024年12月6日 版の値

出典:Epoch Capabilities Index (Epoch AI)(CC BY 4.0)。 元のランキング · ランキングで見る

科学の難問(GPQA)

47.4% 41.9%〜53.0%

Llama-3.3-70B-Instruct · 2025年1月27日 版の値

出典:GPQA Diamond (Epoch AI)(CC BY 4.0)。 元のランキング · ランキングで見る

ライセンスと商用利用

Llama 3.3 Community License 条件付き

商用利用できます。月間アクティブユーザーが7億人を超える場合は Meta の許諾が別に必要です。再配布や派生モデルの公開では「Built with Llama」の表示が要り、利用規定(Acceptable Use Policy)を守ります。

元のモデルの Hugging Face のページにあるライセンスで判定しています。 ライセンスの原文(2026年10月18日 に確認)

要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。 ライセンスごとの一覧

動かし方

例として Q4_K_M を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。 他の配布元のファイルを使う場合のコマンドは、配布元ごとの欄に載せています。 ローカルLLMの動かし方

Ollama

Hugging Face 上の GGUF を直接指定して動かせます。

ollama run hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

llama.cpp

llama-server(または llama-cli)に -hf でリポジトリと量子化名を指定します。

llama-server -hf bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M

LM Studio

検索欄に bartowski/Llama-3.3-70B-Instruct-GGUF を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。

よくある質問

Llama-3.3-70B-Instruct(Q4_K_M)を動かすのに必要なメモリはどれくらいですか?
ファイルサイズは42.5 GB(実測)。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは46.0 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
Llama-3.3-70B-Instructは商用利用できますか?
元のモデルのライセンスはLlama 3.3 Community License(商用利用は条件付き)。商用利用できます。月間アクティブユーザーが7億人を超える場合は Meta の許諾が別に必要です。再配布や派生モデルの公開では「Built with Llama」の表示が要り、利用規定(Acceptable Use Policy)を守ります。最終的な判断はライセンスの原文で確認してください。
Llama-3.3-70B-Instruct は VRAM 8GB・12GB・16GB・24GB で動きますか?
8GB に収まる量子化は無し、12GB に収まる量子化は無し、16GB に収まる量子化は無し、24GB なら IQ2_S(推定 25.7 GB)まで(8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル)。
Llama-3.3-70B-Instruct を Ollama で動かすコマンドは?
「ollama run hf.co/bartowski/Llama-3.3-70B-Instruct-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。