localllm
このサイトについて
localllm は、ローカルLLM(GGUF 形式の量子化モデル)が「自分の PC で動くか」を、実際のファイルサイズと、計算式を公開した必要メモリの推定で答えるデータベースです。
- 掲載しているモデル
- 1,276
- 掲載している GPU・Mac
- 91
- データの最終更新
何がわかるか
- モデルごと・量子化ごとの GGUF ファイルの大きさ(Hugging Face 上の実際の値)
- コンテキスト長ごとの必要メモリ(VRAM・統合メモリ)の推定と、収まる GPU・Mac
- ライセンス(元のモデルの条件)と商用利用の可否、配布元の区分
- Hugging Face のダウンロード数によるよく使われている順と、外部の評価(LMArena・Epoch AI)の値
データの出典
- Hugging Face
- GGUF のファイル一覧と大きさ・モデルの設定(config.json・GGUF の先頭の設定)・ダウンロード数・ライセンスの表示。公開の API から取得しています。
- LMArena
- 人の対戦投票による点数。Hugging Face で公開されているデータセット(CC BY 4.0)の値をそのまま載せています。
- Epoch AI
- Epoch Capabilities Index と GPQA Diamond の正答率。公開データ(CC BY 4.0)の値をそのまま載せています。
- llama.cpp
- 量子化による品質の変化の目安(KL ダイバージェンスの表。MIT ライセンス)と、必要メモリの計算の確かめに使っています。
- 機種の仕様
- GPU・Mac のメモリ量と帯域は、各メーカーの公開している仕様から。機種のページに確かめた日と出典を書いています。
更新の頻度
- 毎日 4時20分(日本時間)に Hugging Face から取り直し、必要メモリの推定と掲載の判定を作り直します。
- 外部の評価(LMArena・Epoch AI)は週に1回取り込みます。
- ページの下や sitemap.xml に、それぞれの中身が変わった日を出しています。
必要メモリの計算と確かめ方
必要メモリは「ファイルの大きさ+KV キャッシュ+計算バッファ+余裕分」で推定しています。式はすべて公開しています。KV キャッシュの量は、llama.cpp(b11639)が実際に確保する量とバイト単位で一致することを、掲載しているアーキテクチャすべてで確かめています。計算バッファと余裕分は推定のままです。
編集の方針
- 実測(ファイルの大きさ)と推定(必要メモリ・速さ)を、ページ上でバッジで必ず区別します。
- 独自の性能スコアや「最強」のような断定的な評価はしません。性能は外部の評価の値を出典付きでそのまま載せます。
- 一定以上使われていて必要メモリを計算できるモデルだけを載せます。改変版(abliterated・uncensored など)も、その旨を示して載せます。
- モデルファイルを再配布・ミラーはしません。ダウンロードは配布元(Hugging Face)へのリンクです。
- ライセンスの要約は原文を読んで書いたものですが、法的な助言ではありません。
運営
運営:Libra
localllm(localllm.az-arte.com)は az-arte.com が運営しています。広告(Google AdSense)とアクセス解析(Google アナリティクス)を使っています。誤りの指摘・掲載の要望は、お問い合わせからお送りください。