本文へ移動
localllm
EN

mudler

locate-anything.cpp

その他の用途

パラメータ数
3.8B
アーキテクチャ
locateanything
ライセンス
非商用のみ
元モデル
nvidia/LocateAnything-3B
ライセンス
nvidia-license

locate-anything.cpp の概要

locate-anything.cpp は、Hugging Face の nvidia/LocateAnything-3B をもとにした GGUF 形式のモデルです。GGUF は mudler/locate-anything.cpp-gguf が公開しています。パラメータ数は約 3.8B（38億）、アーキテクチャは locateanythingです（GGUF に書かれた値）。

量子化は 5 種類あり、ファイルサイズは Q4_K の 4.72 GB から F16 の 9.15 GB まであります（Hugging Face 上の実際のサイズ）。

Q4_K（4.72 GB）を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 5.87 GB、32,768 トークンでは推定 6.77 GBです。8,192 トークンなら、VRAM 6 GB 以上の GPU（Arc A380・GeForce RTX 4050 Laptop GPU など）か、統合メモリ 6 GB 以上の Mac が目安です（macOS は GPU が使えるメモリに上限があるため、実際には余裕が要ります）。

元のモデルのライセンスは NVIDIA License（非商用） で、商用利用はできません（研究・個人などの非商用に限られます）。利用条件は原文で確認してください。

量子化ごとのファイルサイズと必要メモリの目安

  • 8 GB まで
  • 16 GB まで
  • 24 GB まで
  • 48 GB まで
  • 128 GB まで
  • それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値（KVキャッシュ f16）。計算式は 必要メモリの計算方法で公開しています。

必要メモリはすべて 推定 （KVキャッシュ f16）。このページの「必要メモリ」以上の VRAM（または Mac の統合メモリ）を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧（GPU・Macで探す）に移動します。

「品質の目安」について（量子化でどれだけ元のモデルからずれるか）

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD（元のモデルと量子化したモデルの、次の単語の確率の分布の差）で、小さいほど元のモデルに近い出力になります。imatrix（重要度の情報）を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値（無い型は使った値）で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型（UD-Q4_K_XL など）は型の名前だけでは当てはめられないので「-」にしています。

量子化 品質の目安 KLD（imatrix なし） KLD（imatrix あり） サイズ（Llama-3-8B）
Q8_0 ほぼ同じ 0.0014 - 7.96 GiB
Q6_K ごく小さい 0.0055 - 6.14 GiB
Q5_K_M ごく小さい 0.0108 - 5.33 GiB
Q5_K_S 小さい 0.0166 - 5.21 GiB
Q5_1 小さい 0.0180 - 5.65 GiB
Q5_0 小さい 0.0222 - 5.21 GiB
Q4_K_M 小さい 0.0313 0.0282 4.58 GiB
Q4_K_S 中くらい 0.0431 0.0320 4.37 GiB
IQ4_NL 小さい - 0.0357 4.35 GiB
IQ4_XS 小さい - 0.0363 4.14 GiB
Q4_1 中くらい 0.0717 - 4.78 GiB
Q4_0 中くらい 0.0719 - 4.34 GiB
Q3_K_L 中くらい 0.0872 0.0731 4.03 GiB
Q3_K_M 中くらい 0.1019 0.0844 3.74 GiB
IQ3_M 中くらい - 0.1025 3.53 GiB
IQ3_S 中くらい - 0.1113 3.42 GiB
IQ3_XS 大きい - 0.1387 3.28 GiB
IQ3_XXS 大きい - 0.1836 3.05 GiB
Q3_K_S 大きい 0.2282 0.1998 3.41 GiB
IQ2_M 大きい - 0.3260 2.74 GiB
Q2_K とても大きい 0.4451 0.3322 2.96 GiB
Q2_K_S とても大きい - 0.4034 2.96 GiB
IQ2_S とても大きい - 0.4392 2.56 GiB
IQ2_XS とても大きい - 0.5463 2.43 GiB
IQ2_XXS とても大きい - 0.8120 2.24 GiB
IQ1_M とても大きい - 1.3931 2.01 GiB
IQ1_S とても大きい - 2.2546 1.88 GiB

出典：llama.cpp（MIT）、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方

GGUF配布元

mudler/locate-anything.cpp-gguf

元の開発元が配布 この表示について

最終確認：2026年11月11日

アーキテクチャ
locateanything
llama.cpp の本家は未対応（b12025 時点）
パラメータ数
3.8B
ライセンス
nvidia-license 非商用のみ
locate-anything.cpp（mudler/locate-anything.cpp-gguf）の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768
Q4_K 4.72 GB - 5.72 GB 5.87 GB 6.17 GB 6.77 GB
Q5_K 5.10 GB - 6.10 GB 6.25 GB 6.56 GB 7.16 GB
Q6_K 5.51 GB ごく小さい 6.51 GB 6.66 GB 6.97 GB 7.57 GB
Q8_0 6.26 GB ほぼ同じ 7.26 GB 7.41 GB 7.71 GB 8.32 GB
F16 9.15 GB 元の精度 10.2 GB 10.3 GB 10.6 GB 11.2 GB

この GGUF の形式（locateanything）は、llama.cpp の本家（b12025 時点）には無い形式です。Ollama・LM Studio・llama.cpp の本家では読み込めないため、配布元の説明にある専用のツールで動かしてください。

主な GPU・Mac での生成の速さ（推定）

Q4_K（4.72 GB）で文章を生成する速さの目安です。1トークンごとにモデルの重みを1回読むので、上限はメモリの帯域 ÷ ファイルサイズで決まります。目安はその 6〜8 割で、公開されている実測の多くがこの範囲に入ります。

機種 メモリ帯域 目安（トークン/秒） 推定 上限
Arc A380 6 GB 186 GB/s 24〜32 39
Arc A770M 16 GB 512 GB/s 65〜87 109
GeForce RTX 5090 32 GB 1,792 GB/s 228〜304 380
Apple M2 8 GB 100 GB/s 13〜17 21
Apple M2 Pro 16 GB 200 GB/s 25〜34 42
Apple M5 Ultra 96 GB 1,200 GB/s 153〜204 254

推定です。プロンプトを読み込む速さ（計算の速さで決まる）は含みません。コンテキストが長いほど、また一部を CPU に逃がすと遅くなります。Mac は搭載メモリが必要量の 4/3 以上のものだけを出しています。帯域が公表されていない機種（一部の GeForce など）は出ません。

ライセンスと商用利用

NVIDIA License（非商用） 非商用のみ

研究・評価の目的に限った非商用のライセンスです。

元のモデルの Hugging Face のページにあるライセンスで判定しています。 ライセンスの原文（2026年10月18日 に確認）

要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。 ライセンスごとの一覧

よくある質問

locate-anything.cpp（Q4_K）を動かすのに必要なメモリはどれくらいですか？
ファイルサイズは4.72 GB（実測）。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは5.87 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
locate-anything.cppは商用利用できますか？
元のモデルのライセンスはNVIDIA License（非商用）（商用利用できない）。研究・評価の目的に限った非商用のライセンスです。最終的な判断はライセンスの原文で確認してください。
locate-anything.cpp は VRAM 8GB・12GB・16GB・24GB で動きますか？
8GB なら Q8_0（推定 7.41 GB）まで、12GB なら F16（推定 10.3 GB）まで、16GB なら F16（推定 10.3 GB）まで、24GB なら F16（推定 10.3 GB）まで（8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル）。