kalle07
embedder_collection
埋め込み（会話には使えない）
- 最大コンテキスト長
- 512
- アーキテクチャ
- bert
embedder_collection の概要
embedder_collection は、GGUF 形式で公開されているモデルです。GGUF は kalle07/embedder_collection が公開しています。アーキテクチャは bert、最大コンテキスト長は 512 トークンです（GGUF に書かれた値）。
量子化は 5 種類あり、ファイルサイズは Q8_0 の 0.03 GB から F32 の 2.27 GB まであります（Hugging Face 上の実際のサイズ）。
量子化ごとのファイルサイズと必要メモリの目安
- 8 GB まで
- 16 GB まで
- 24 GB まで
- 48 GB まで
- 128 GB まで
- それ以上
ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値（KVキャッシュ f16）。計算式は 必要メモリの計算方法で公開しています。
必要メモリはすべて 推定 （KVキャッシュ f16）。このページの「必要メモリ」以上の VRAM（または Mac の統合メモリ）を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧（GPU・Macで探す）に移動します。
「品質の目安」について（量子化でどれだけ元のモデルからずれるか）
量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。
使っている値は平均 KLD（元のモデルと量子化したモデルの、次の単語の確率の分布の差）で、小さいほど元のモデルに近い出力になります。imatrix（重要度の情報）を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値（無い型は使った値）で分けています。
★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型（UD-Q4_K_XL など）は型の名前だけでは当てはめられないので「-」にしています。
| 量子化 | 品質の目安 | KLD（imatrix なし） | KLD（imatrix あり） | サイズ（Llama-3-8B） |
|---|---|---|---|---|
| Q8_0 | ほぼ同じ | 0.0014 | - | 7.96 GiB |
| Q6_K | ごく小さい | 0.0055 | - | 6.14 GiB |
| Q5_K_M | ごく小さい | 0.0108 | - | 5.33 GiB |
| Q5_K_S | 小さい | 0.0166 | - | 5.21 GiB |
| Q5_1 | 小さい | 0.0180 | - | 5.65 GiB |
| Q5_0 | 小さい | 0.0222 | - | 5.21 GiB |
| Q4_K_M | 小さい | 0.0313 | 0.0282 | 4.58 GiB |
| Q4_K_S | 中くらい | 0.0431 | 0.0320 | 4.37 GiB |
| IQ4_NL | 小さい | - | 0.0357 | 4.35 GiB |
| IQ4_XS | 小さい | - | 0.0363 | 4.14 GiB |
| Q4_1 | 中くらい | 0.0717 | - | 4.78 GiB |
| Q4_0 | 中くらい | 0.0719 | - | 4.34 GiB |
| Q3_K_L | 中くらい | 0.0872 | 0.0731 | 4.03 GiB |
| Q3_K_M | 中くらい | 0.1019 | 0.0844 | 3.74 GiB |
| IQ3_M | 中くらい | - | 0.1025 | 3.53 GiB |
| IQ3_S | 中くらい | - | 0.1113 | 3.42 GiB |
| IQ3_XS | 大きい | - | 0.1387 | 3.28 GiB |
| IQ3_XXS | 大きい | - | 0.1836 | 3.05 GiB |
| Q3_K_S | 大きい | 0.2282 | 0.1998 | 3.41 GiB |
| IQ2_M | 大きい | - | 0.3260 | 2.74 GiB |
| Q2_K | とても大きい | 0.4451 | 0.3322 | 2.96 GiB |
| Q2_K_S | とても大きい | - | 0.4034 | 2.96 GiB |
| IQ2_S | とても大きい | - | 0.4392 | 2.56 GiB |
| IQ2_XS | とても大きい | - | 0.5463 | 2.43 GiB |
| IQ2_XXS | とても大きい | - | 0.8120 | 2.24 GiB |
| IQ1_M | とても大きい | - | 1.3931 | 2.01 GiB |
| IQ1_S | とても大きい | - | 2.2546 | 1.88 GiB |
出典：llama.cpp（MIT）、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方
最終確認：2026年10月18日
- アーキテクチャ
- bert
- llama.cpp b4409 より前から
- 最大コンテキスト長
- 512
| 量子化 | ファイルサイズ 実測 | 品質の目安 | 512 最大 |
|---|---|---|---|
| Q8_0 minilmv2-toxic-jigsaw-q8_0 | 0.03 GB | ほぼ同じ | 1.10 GB |
| F16 all-minilm-l6-v2_f16 | 0.05 GB | 元の精度 | 1.12 GB |
| F32 all-minilm-l6-v2_f32 | 0.09 GB | 元の精度 | 1.16 GB |
| Q8_0 toxic-prompt-roberta-q8_0 | 0.14 GB | ほぼ同じ | 1.21 GB |
| Q8_0 jina-embeddings-v2-base-code-Q8_0 | 0.17 GB | ほぼ同じ | 1.25 GB |
| F16 paraphrase-multilingual-MiniLM-L12-118M-v2-F16 | 0.24 GB | 元の精度 | 1.32 GB |
| F16 granite-embedding-125m-english-f16 | 0.25 GB | 元の精度 | 1.32 GB |
| F16 nomic-embed-text-v1.5_f16 | 0.27 GB | 元の精度 | 1.35 GB |
| F16 jina-embeddings-v2-base-en-f16 | 0.27 GB | 元の精度 | 1.35 GB |
| Q8_0 cross-en-de-es-roberta-sentence-transformer-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| Q8_0 cross-en-de-fr-roberta-sentence-transformer-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| Q8_0 bce-embedding-base_v1-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| Q8_0 german-roberta-sentence-transformer-v2-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| Q8_0 cross-en-de-roberta-sentence-transformer-fix-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| Q8_0 paraphrase-multilingual-mpnet-base-v2-q8_0 | 0.30 GB | ほぼ同じ | 1.38 GB |
| F16 jina-embeddings-v2-base-de-f16 | 0.32 GB | 元の精度 | 1.40 GB |
| Q8_0 sentence-transformers-e5-large-v2-q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 mug-b-1.6-q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 bge-large-en-v15-q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 mxbai-embed-2d-large-v1-q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 bge-large-mpnet-base-all-nli-triplet-final-q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 mxbai-embed-large-v1.Q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 gist-large-embedding-v0-Q8_0 | 0.36 GB | ほぼ同じ | 1.43 GB |
| Q8_0 bge-m3_en_ru-q8_0 | 0.41 GB | ほぼ同じ | 1.48 GB |
| Q4_K_M | 0.41 GB | 小さい | 1.48 GB |
| Q8_0 nomic-embed-text-v2-moe.Q8_0 | 0.51 GB | ほぼ同じ | 1.59 GB |
| Q8_0 kalm-embedding-multilingual-mini-instruct-v2-q8_0 | 0.53 GB | ほぼ同じ | 1.60 GB |
| F32 nomic-embed-text-v1.5.f32 | 0.55 GB | 元の精度 | 1.62 GB |
| BF16 | 0.56 GB | 元の精度 | 1.63 GB |
| F16 bce-embedding-base_v1-f16 | 0.56 GB | 元の精度 | 1.64 GB |
| F16 granite-embedding-278m-multilingual-f16 | 0.56 GB | 元の精度 | 1.64 GB |
| F16 paraphrase-multilingual-mpnet-base-277M-v2-F16 | 0.56 GB | 元の精度 | 1.64 GB |
| Q8_0 sentence-transformers-multilingual-e5-large-q8_0 | 0.60 GB | ほぼ同じ | 1.68 GB |
| Q8_0 multilingual-e5-large-instruct-q8_0 | 0.60 GB | ほぼ同じ | 1.68 GB |
| Q8_0 multilingual-e5-large-instruct-xnli-q8_0 | 0.60 GB | ほぼ同じ | 1.68 GB |
| F16 embeddinggemma-300M-F16 | 0.61 GB | 元の精度 | 1.69 GB |
| Q8_0 bge-m3-q8_0 | 0.63 GB | ほぼ同じ | 1.71 GB |
| Q8_0 snowflake-arctic-embed-l-v2.0-q8_0 | 0.63 GB | ほぼ同じ | 1.71 GB |
| Q8_0 ger-RAG-bge-M3-merg-snowf-artic-hessian-AI.Q8_0 | 0.63 GB | ほぼ同じ | 1.71 GB |
| Q8_0 bge-reranker-v2-m3-q8_0 | 0.64 GB | ほぼ同じ | 1.71 GB |
| Q8_0 Qwen3-Embedding-0.6B-Q8_0 | 0.64 GB | ほぼ同じ | 1.71 GB |
| F16 bge-large-en-v1.5-f16 | 0.67 GB | 元の精度 | 1.74 GB |
| F16 mxbai-embed-large-v1-f16 | 0.67 GB | 元の精度 | 1.74 GB |
| F16 gte-large.f16 | 0.67 GB | 元の精度 | 1.74 GB |
| F16 e5-large-v2.f16 | 0.67 GB | 元の精度 | 1.74 GB |
| F16 gist-large-Embedding-v0.f16 | 0.67 GB | 元の精度 | 1.74 GB |
| F16 nomic-embed-text-v2-moe.f16 | 0.96 GB | 元の精度 | 2.03 GB |
| F16 HIT-TMG_KaLM-embedding-multilingual-mini-instruct-v1.5_qwenbased_f16 | 0.99 GB | 元の精度 | 2.07 GB |
| F32 cross-en-de-fr-roberta-sentence-transformer_F32 | 1.12 GB | 元の精度 | 2.19 GB |
| F32 cross-en-de-es-roberta-sentence-transformer_F32 | 1.12 GB | 元の精度 | 2.19 GB |
| F32 german-roberta-sentence-transformer-v2.F32 | 1.12 GB | 元の精度 | 2.19 GB |
| F32 cross-en-de-roberta-sentence-transformer.F32 | 1.12 GB | 元の精度 | 2.19 GB |
| F16 jina-embeddings-558M-v3-F16 | 1.12 GB | 元の精度 | 2.20 GB |
| F16 multilingual-e5-large-instruct-F16 | 1.13 GB | 元の精度 | 2.20 GB |
| F16 bge-m3.F16 | 1.16 GB | 元の精度 | 2.23 GB |
| F16 German-RAG-BGE-M3-TRIPLES-HESSIAN-AI.f16 | 1.16 GB | 元の精度 | 2.23 GB |
| F16 snowflake-arctic-embed-l-v2.0-f16 | 1.16 GB | 元の精度 | 2.23 GB |
| F16 bge-reranker-v2-m3-FP16 | 1.16 GB | 元の精度 | 2.23 GB |
| F16 Qwen3-Embedding-0.6B-f16 | 1.20 GB | 元の精度 | 2.27 GB |
| F16 jina-embeddings-v5-text-small-retrieval-F16 | 1.20 GB | 元の精度 | 2.27 GB |
| F32 embeddinggemma-300M-F32 | 1.22 GB | 元の精度 | 2.29 GB |
| F32 gist-large-Embedding-v0.f32 | 1.34 GB | 元の精度 | 2.41 GB |
| F32 snowflake-arctic-embed-l-v2.0-f32 | 2.27 GB | 元の精度 | 3.35 GB |
| F32 ger-RAG-bge-M3-merg-snowf-artic-hessian-AI.F32 | 2.27 GB | 元の精度 | 3.35 GB |
Ollama ollama run hf.co/kalle07/embedder_collection:Q4_K_M
llama.cpp llama-server -hf kalle07/embedder_collection:Q4_K_M
動かし方
例として Q4_K_M を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。 ローカルLLMの動かし方
Ollama
Hugging Face 上の GGUF を直接指定して動かせます。
ollama run hf.co/kalle07/embedder_collection:Q4_K_M
llama.cpp
llama-server（または llama-cli）に -hf でリポジトリと量子化名を指定します。
llama-server -hf kalle07/embedder_collection:Q4_K_M
LM Studio
検索欄に kalle07/embedder_collection を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。
よくある質問
- embedder_collection（Q4_K_M）を動かすのに必要なメモリはどれくらいですか？
- ファイルサイズは0.41 GB（実測）。512トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは1.48 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
- embedder_collection を Ollama で動かすコマンドは？
- 「ollama run hf.co/kalle07/embedder_collection:Q4_K_M」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。