メモリが足りないと言われる・とても遅い

VRAM に収まっていません。小さい量子化にするか、コンテキスト長を短くします。llama.cpp では KV キャッシュを q8_0 にすると長いコンテキストでも減らせます。必要メモリはモデルのページで確かめられます。

「unknown model architecture」で読み込めない

アプリの中の llama.cpp が古く、新しいモデルの形式に対応していません。アプリを最新にしてください。モデルのページに、llama.cpp の本家が何版から対応しているかを載せています。

出力がおかしい・同じ言葉を繰り返す

小さすぎる量子化（2〜3 ビット）では品質が大きく下がることがあります。ひとつ大きい量子化を試してください。量子化のガイドに品質の目安があります。

GPU が無い・VRAM が足りないときは動かせない？

動かせます。llama.cpp・Ollama・LM Studio は、GPU に載らない層をパソコンのメモリ（RAM）に置いて CPU で計算できます（GPU が無ければ全部を CPU で）。そのぶん生成はかなり遅くなり、速さはおおむね RAM の帯域で決まります。RAM にはファイルの大きさに KV キャッシュなどを足した量が要ります。当サイトの必要メモリは全部を GPU に載せる前提の推定で、CPU で動かすときの速さは出していません。

Mac で大きいモデルが動かない

macOS は GPU が使えるメモリに上限があるので、統合メモリのすべては使えません。必要メモリに余裕を見て選んでください。

ガイド

ローカルLLMの動かし方（Ollama・LM Studio・llama.cpp）

Hugging Face で公開されている GGUF ファイルは、Ollama・LM Studio・llama.cpp のどれでも動かせます。このページでは、モデルの選び方から、3 つのアプリでの動かし方、よくあるつまずきまでを順にまとめます。コマンドの例は Qwen3-8B の Q4_K_M です。

最終更新 2026年10月19日

始める前に：モデルと量子化を選ぶ

GPU の VRAM（Mac なら統合メモリ）の量を確かめます。
当サイトのモデルのページで、その量に収まる量子化を探します。必要メモリは会話の長さ（コンテキスト長）で増えるので、使う長さの列を見ます。
配布元（Hugging Face のリポジトリ名）と量子化の名前（Q4_K_M など）を控えます。下のコマンドはこの 2 つで書けます。

どのアプリを使うか

どれも内部では llama.cpp と同じ仕組みで GGUF を読み込みます。

アプリ	向いている使い方
Ollama	コマンド 1 行で始めたい。ほかのアプリやプログラムから API で使いたい。
LM Studio	画面の操作だけで、モデルの検索・ダウンロード・会話をしたい。
llama.cpp	設定を細かく決めたい。新しいモデルの形式にいちばん早く対応する本家を使いたい。

Ollama で動かす

ollama.com からアプリを入れます。 Hugging Face の GGUF は、リポジトリ名と量子化の名前を指定してそのまま動かせます。初回はファイルのダウンロードが始まります。

ollama run hf.co/Qwen/Qwen3-8B-GGUF:Q4_K_M

コンテキスト長（会話の長さ）を変えるには、会話の中で次のように入力します。長くするほど必要メモリが増えます。

/set parameter num_ctx 8192

動かしている間は、ほかのアプリから http://localhost:11434 の API で使えます。 Ollama の公式の説明 · Hugging Face × Ollama

LM Studio で動かす

lmstudio.ai からアプリを入れます。
モデルを探す画面（Discover）の検索欄に、Hugging Face のリポジトリ名（例：unsloth/Qwen3-8B-GGUF）を貼り付けます。
量子化のファイルの一覧から、使う量子化（例：Q4_K_M）を選んでダウンロードします。
モデルを読み込むときの設定で、コンテキスト長と、GPU にどれだけ載せるか（GPU Offload）を決めます。

LM Studio の公式の説明

llama.cpp で動かす

GitHub のリリースからビルド済みのファイルを入れるか、パッケージ管理（Mac の brew、Windows の winget など）で入れます。 llama-server に -hf でリポジトリと量子化を指定すると、ダウンロードして起動します。起動したら、ブラウザで http://localhost:8080 を開くと会話の画面が出ます。

llama-server -hf Qwen/Qwen3-8B-GGUF:Q4_K_M -c 8192

よく使う設定

設定	意味
-c 8192	コンテキスト長。長くするほど KV キャッシュの分だけ必要メモリが増えます。
-ngl 99	GPU に載せる層の数。全部載せると速く、VRAM に収まらないときは数を減らして一部を CPU で動かします（遅くなります）。
-fa on	Flash Attention を使う。必要メモリと速さに効きます。
-ctk q8_0 -ctv q8_0	KV キャッシュを 8 ビットにして、長いコンテキストの必要メモリを減らします。

llama.cpp の公式の説明

うまく動かないとき

メモリが足りないと言われる・とても遅い: VRAM に収まっていません。小さい量子化にするか、コンテキスト長を短くします。llama.cpp では KV キャッシュを q8_0 にすると長いコンテキストでも減らせます。必要メモリはモデルのページで確かめられます。
「unknown model architecture」で読み込めない: アプリの中の llama.cpp が古く、新しいモデルの形式に対応していません。アプリを最新にしてください。モデルのページに、llama.cpp の本家が何版から対応しているかを載せています。
出力がおかしい・同じ言葉を繰り返す: 小さすぎる量子化（2〜3 ビット）では品質が大きく下がることがあります。ひとつ大きい量子化を試してください。量子化のガイドに品質の目安があります。
GPU が無い・VRAM が足りないときは動かせない？: 動かせます。llama.cpp・Ollama・LM Studio は、GPU に載らない層をパソコンのメモリ（RAM）に置いて CPU で計算できます（GPU が無ければ全部を CPU で）。そのぶん生成はかなり遅くなり、速さはおおむね RAM の帯域で決まります。RAM にはファイルの大きさに KV キャッシュなどを足した量が要ります。当サイトの必要メモリは全部を GPU に載せる前提の推定で、CPU で動かすときの速さは出していません。
Mac で大きいモデルが動かない: macOS は GPU が使えるメモリに上限があるので、統合メモリのすべては使えません。必要メモリに余裕を見て選んでください。