karakuri-lm-70b-chat-v0.1（Q4_K_M）を動かすのに必要なメモリはどれくらいですか？

ファイルサイズは41.6 GB（実測）。4,096トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは43.5 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。

karakuri-lm-70b-chat-v0.1 を Ollama で動かすコマンドは？

「ollama run hf.co/mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。

karakuri-ai

karakuri-lm-70b-chat-v0.1

パラメータ数: 69.2B
最大コンテキスト長: 4,096
アーキテクチャ: llama

元モデル: karakuri-ai/karakuri-lm-70b-chat-v0.1
ライセンス: other

karakuri-lm-70b-chat-v0.1 の概要

karakuri-lm-70b-chat-v0.1 は、Hugging Face の karakuri-ai/karakuri-lm-70b-chat-v0.1 をもとにした GGUF 形式のモデルです。GGUF は 2 つの配布元（mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF・mradermacher/karakuri-lm-70b-chat-v0.1-GGUF）が公開しています。パラメータ数は約 69.2B（692億）、アーキテクチャは llama、最大コンテキスト長は 4,096 トークンです（GGUF に書かれた値）。

量子化は 21 種類あり、ファイルサイズは IQ1_S の 14.6 GB から Q5_K_M の 48.9 GB まであります（Hugging Face 上の実際のサイズ）。

量子化ごとのファイルサイズと必要メモリの目安

8 GB まで
16 GB まで
24 GB まで
48 GB まで
128 GB まで
それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値（KVキャッシュ f16）。計算式は必要メモリの計算方法で公開しています。

必要メモリはすべて推定（KVキャッシュ f16）。このページの「必要メモリ」以上の VRAM（または Mac の統合メモリ）を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧（GPU・Macで探す）に移動します。

同じモデルの GGUF を 2 つの配布元が公開しています。量子化の種類とファイルサイズは配布元ごとに少しずつ違うので、下に配布元ごとの表を載せています。

「品質の目安」について（量子化でどれだけ元のモデルからずれるか）

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD（元のモデルと量子化したモデルの、次の単語の確率の分布の差）で、小さいほど元のモデルに近い出力になります。imatrix（重要度の情報）を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値（無い型は使った値）で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型（UD-Q4_K_XL など）は型の名前だけでは当てはめられないので「-」にしています。

量子化	品質の目安	KLD（imatrix なし）	KLD（imatrix あり）	サイズ（Llama-3-8B）
Q8_0	ほぼ同じ	0.0014	-	7.96 GiB
Q6_K	ごく小さい	0.0055	-	6.14 GiB
Q5_K_M	ごく小さい	0.0108	-	5.33 GiB
Q5_K_S	小さい	0.0166	-	5.21 GiB
Q5_1	小さい	0.0180	-	5.65 GiB
Q5_0	小さい	0.0222	-	5.21 GiB
Q4_K_M	小さい	0.0313	0.0282	4.58 GiB
Q4_K_S	中くらい	0.0431	0.0320	4.37 GiB
IQ4_NL	小さい	-	0.0357	4.35 GiB
IQ4_XS	小さい	-	0.0363	4.14 GiB
Q4_1	中くらい	0.0717	-	4.78 GiB
Q4_0	中くらい	0.0719	-	4.34 GiB
Q3_K_L	中くらい	0.0872	0.0731	4.03 GiB
Q3_K_M	中くらい	0.1019	0.0844	3.74 GiB
IQ3_M	中くらい	-	0.1025	3.53 GiB
IQ3_S	中くらい	-	0.1113	3.42 GiB
IQ3_XS	大きい	-	0.1387	3.28 GiB
IQ3_XXS	大きい	-	0.1836	3.05 GiB
Q3_K_S	大きい	0.2282	0.1998	3.41 GiB
IQ2_M	大きい	-	0.3260	2.74 GiB
Q2_K	とても大きい	0.4451	0.3322	2.96 GiB
Q2_K_S	とても大きい	-	0.4034	2.96 GiB
IQ2_S	とても大きい	-	0.4392	2.56 GiB
IQ2_XS	とても大きい	-	0.5463	2.43 GiB
IQ2_XXS	とても大きい	-	0.8120	2.24 GiB
IQ1_M	とても大きい	-	1.3931	2.01 GiB
IQ1_S	とても大きい	-	2.2546	1.88 GiB

出典：llama.cpp（MIT）、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。元の表 · 量子化の読み方と選び方

GGUF配布元

mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF

第三者が変換して配布この表示について

最終確認：2026年11月11日

アーキテクチャ: llama; llama.cpp b4409 より前から
パラメータ数: 69.2B
最大コンテキスト長: 4,096

karakuri-lm-70b-chat-v0.1（mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化	ファイルサイズ実測	品質の目安	4,096 最大
IQ1_S	14.6 GB	とても大きい	16.6 GB
IQ1_M	16.1 GB	とても大きい	18.0 GB
IQ2_XXS	18.4 GB	とても大きい	20.4 GB
IQ2_XS	20.4 GB	とても大きい	22.4 GB
IQ2_S	21.5 GB	とても大きい	23.4 GB
IQ2_M	23.4 GB	大きい	25.3 GB
Q2_K_S	23.7 GB	とても大きい	25.7 GB
Q2_K	25.6 GB	とても大きい	27.6 GB
IQ3_XXS	26.7 GB	大きい	28.7 GB
IQ3_XS	28.5 GB	大きい	30.4 GB
Q3_K_S	30.1 GB	大きい	32.0 GB
IQ3_S	30.1 GB	中くらい	32.0 GB
IQ3_M	31.1 GB	中くらい	33.1 GB
Q3_K_M	33.4 GB	中くらい	35.4 GB
Q3_K_L	36.3 GB	中くらい	38.3 GB
IQ4_XS	37.0 GB	小さい	39.0 GB
Q4_0	39.2 GB	中くらい	41.1 GB
Q4_K_S	39.4 GB	中くらい	41.4 GB
Q4_K_M	41.6 GB	小さい	43.5 GB
Q5_K_S	47.6 GB	小さい	49.6 GB
Q5_K_M	48.9 GB	ごく小さい	50.9 GB

Ollama  ollama run hf.co/mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M

llama.cpp  llama-server -hf mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M

GGUF配布元

mradermacher/karakuri-lm-70b-chat-v0.1-GGUF

第三者が変換して配布この表示について

最終確認：2026年11月11日

アーキテクチャ: llama; llama.cpp b4409 より前から
パラメータ数: 69.2B
最大コンテキスト長: 4,096

karakuri-lm-70b-chat-v0.1（mradermacher/karakuri-lm-70b-chat-v0.1-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化	ファイルサイズ実測	品質の目安	4,096 最大
Q2_K	25.6 GB	とても大きい	27.6 GB
Q3_K_S	30.1 GB	大きい	32.0 GB
Q3_K_M	33.4 GB	中くらい	35.4 GB
Q3_K_L	36.3 GB	中くらい	38.3 GB
IQ4_XS	37.3 GB	小さい	39.3 GB
Q4_K_S	39.4 GB	中くらい	41.4 GB
Q4_K_M	41.6 GB	小さい	43.5 GB
Q5_K_S	47.6 GB	小さい	49.6 GB
Q5_K_M	48.9 GB	ごく小さい	50.9 GB

Ollama  ollama run hf.co/mradermacher/karakuri-lm-70b-chat-v0.1-GGUF:Q4_K_M

llama.cpp  llama-server -hf mradermacher/karakuri-lm-70b-chat-v0.1-GGUF:Q4_K_M

動かし方

例として Q4_K_M を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。他の配布元のファイルを使う場合のコマンドは、配布元ごとの欄に載せています。ローカルLLMの動かし方

Ollama

Hugging Face 上の GGUF を直接指定して動かせます。

ollama run hf.co/mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M

llama.cpp

llama-server（または llama-cli）に -hf でリポジトリと量子化名を指定します。

llama-server -hf mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M

LM Studio

検索欄に mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。

よくある質問

karakuri-lm-70b-chat-v0.1（Q4_K_M）を動かすのに必要なメモリはどれくらいですか？: ファイルサイズは41.6 GB（実測）。4,096トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは43.5 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
karakuri-lm-70b-chat-v0.1 を Ollama で動かすコマンドは？: 「ollama run hf.co/mradermacher/karakuri-lm-70b-chat-v0.1-i1-GGUF:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。