openthaigpt
openthaigpt1.5-7b-instruct
- パラメータ数
- 7.6B
- 最大コンテキスト長
- 32,768
- アーキテクチャ
- qwen2
- ライセンス
- 条件付き
- ライセンス
- qwen
openthaigpt1.5-7b-instruct の概要
openthaigpt1.5-7b-instruct は、GGUF 形式で公開されているモデルです。GGUF は openthaigpt/openthaigpt1.5-7b-instruct が公開しています。パラメータ数は約 7.6B(76億)、アーキテクチャは qwen2、最大コンテキスト長は 32,768 トークンです(GGUF に書かれた値)。
量子化は F16 の1種類で、ファイルサイズは 15.2 GB です(Hugging Face 上の実際のサイズ)。
F16(15.2 GB)を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 16.6 GB、32,768 トークンでは推定 18.0 GBです。8,192 トークンなら、VRAM 16 GB 以上の GPU(GeForce RTX 5080・GeForce RTX 5070 Ti など)か、統合メモリ 16 GB 以上の Mac が目安です(macOS は GPU が使えるメモリに上限があるため、実際には余裕が要ります)。
openthaigpt/openthaigpt1.5-7b-instruct の表示では、ライセンスは Qwen License Agreement で、商用利用には規模・用途などの条件があります。利用条件は原文で確認してください。
量子化ごとのファイルサイズと必要メモリの目安
- 8 GB まで
- 16 GB まで
- 24 GB まで
- 48 GB まで
- 128 GB まで
- それ以上
ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値(KVキャッシュ f16)。計算式は 必要メモリの計算方法で公開しています。
必要メモリはすべて 推定 (KVキャッシュ f16)。このページの「必要メモリ」以上の VRAM(または Mac の統合メモリ)を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧(GPU・Macで探す)に移動します。
「品質の目安」について(量子化でどれだけ元のモデルからずれるか)
量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。
使っている値は平均 KLD(元のモデルと量子化したモデルの、次の単語の確率の分布の差)で、小さいほど元のモデルに近い出力になります。imatrix(重要度の情報)を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値(無い型は使った値)で分けています。
★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型(UD-Q4_K_XL など)は型の名前だけでは当てはめられないので「-」にしています。
| 量子化 | 品質の目安 | KLD(imatrix なし) | KLD(imatrix あり) | サイズ(Llama-3-8B) |
|---|---|---|---|---|
| Q8_0 | ほぼ同じ | 0.0014 | - | 7.96 GiB |
| Q6_K | ごく小さい | 0.0055 | - | 6.14 GiB |
| Q5_K_M | ごく小さい | 0.0108 | - | 5.33 GiB |
| Q5_K_S | 小さい | 0.0166 | - | 5.21 GiB |
| Q5_1 | 小さい | 0.0180 | - | 5.65 GiB |
| Q5_0 | 小さい | 0.0222 | - | 5.21 GiB |
| Q4_K_M | 小さい | 0.0313 | 0.0282 | 4.58 GiB |
| Q4_K_S | 中くらい | 0.0431 | 0.0320 | 4.37 GiB |
| IQ4_NL | 小さい | - | 0.0357 | 4.35 GiB |
| IQ4_XS | 小さい | - | 0.0363 | 4.14 GiB |
| Q4_1 | 中くらい | 0.0717 | - | 4.78 GiB |
| Q4_0 | 中くらい | 0.0719 | - | 4.34 GiB |
| Q3_K_L | 中くらい | 0.0872 | 0.0731 | 4.03 GiB |
| Q3_K_M | 中くらい | 0.1019 | 0.0844 | 3.74 GiB |
| IQ3_M | 中くらい | - | 0.1025 | 3.53 GiB |
| IQ3_S | 中くらい | - | 0.1113 | 3.42 GiB |
| IQ3_XS | 大きい | - | 0.1387 | 3.28 GiB |
| IQ3_XXS | 大きい | - | 0.1836 | 3.05 GiB |
| Q3_K_S | 大きい | 0.2282 | 0.1998 | 3.41 GiB |
| IQ2_M | 大きい | - | 0.3260 | 2.74 GiB |
| Q2_K | とても大きい | 0.4451 | 0.3322 | 2.96 GiB |
| Q2_K_S | とても大きい | - | 0.4034 | 2.96 GiB |
| IQ2_S | とても大きい | - | 0.4392 | 2.56 GiB |
| IQ2_XS | とても大きい | - | 0.5463 | 2.43 GiB |
| IQ2_XXS | とても大きい | - | 0.8120 | 2.24 GiB |
| IQ1_M | とても大きい | - | 1.3931 | 2.01 GiB |
| IQ1_S | とても大きい | - | 2.2546 | 1.88 GiB |
出典:llama.cpp(MIT)、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方
最終確認:2026年11月5日
- アーキテクチャ
- qwen2
- llama.cpp b4409 より前から
- パラメータ数
- 7.6B
- 最大コンテキスト長
- 32,768
- ライセンス
- qwen 条件付き
| 量子化 | ファイルサイズ 実測 | 品質の目安 | 4,096 | 8,192 | 16,384 | 32,768 最大 |
|---|---|---|---|---|---|---|
| F16 | 15.2 GB | 元の精度 | 16.3 GB | 16.6 GB | 17.0 GB | 18.0 GB |
Ollama ollama run hf.co/openthaigpt/openthaigpt1.5-7b-instruct:F16
llama.cpp llama-server -hf openthaigpt/openthaigpt1.5-7b-instruct:F16
主な GPU・Mac での生成の速さ(推定)
F16(15.2 GB)で文章を生成する速さの目安です。1トークンごとにモデルの重みを1回読むので、上限はメモリの帯域 ÷ ファイルサイズで決まります。目安はその 6〜8 割で、公開されている実測の多くがこの範囲に入ります。
| 機種 | メモリ帯域 | 目安(トークン/秒) 推定 | 上限 |
|---|---|---|---|
| Radeon RX 7600 XT 16 GB | 288 GB/s | 11〜15 | 19 |
| Radeon RX 9070 16 GB | 640 GB/s | 25〜34 | 42 |
| GeForce RTX 5090 32 GB | 1,792 GB/s | 71〜94 | 118 |
| Apple M2 24 GB | 100 GB/s | 3.9〜5.3 | 6.6 |
| Apple M2 Pro 32 GB | 200 GB/s | 7.9〜11 | 13 |
| Apple M5 Ultra 96 GB | 1,200 GB/s | 47〜63 | 79 |
推定です。プロンプトを読み込む速さ(計算の速さで決まる)は含みません。コンテキストが長いほど、また一部を CPU に逃がすと遅くなります。Mac は搭載メモリが必要量の 4/3 以上のものだけを出しています。帯域が公表されていない機種(一部の GeForce など)は出ません。
ライセンスと商用利用
Qwen License Agreement 条件付き
商用利用できます。ただし、月間アクティブユーザーが1億人を超える製品・サービスでは Alibaba Cloud の許諾が別に必要です。
元のモデルのライセンスがまだ取得できていないため、GGUF の配布元の表示で判定しています。 ライセンスの原文(2026年10月18日 に確認)
要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。 ライセンスごとの一覧
動かし方
例として F16 を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。 ローカルLLMの動かし方
Ollama
Hugging Face 上の GGUF を直接指定して動かせます。
ollama run hf.co/openthaigpt/openthaigpt1.5-7b-instruct:F16
llama.cpp
llama-server(または llama-cli)に -hf でリポジトリと量子化名を指定します。
llama-server -hf openthaigpt/openthaigpt1.5-7b-instruct:F16
LM Studio
検索欄に openthaigpt/openthaigpt1.5-7b-instruct を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。
同じくらいの大きさのモデル(ほかの開発元)
-
9.2B
ornith-ai
Ornith-1.5-9B
- Q4_K_M のサイズ
- 5.78 GB
- 8K で必要なメモリ
- 7.17 GB
実測 推定 VRAM 8 GB〜
-
9B
ornith-ai
Ornith-1.0-9B
- Q4_K_M のサイズ
- 5.63 GB
- 8K で必要なメモリ
- 7.02 GB
実測 推定 VRAM 8 GB〜
-
9B
DavidAU
Qwen3.5-9B-The-Defiant-Fable-Uncensored-Heretic-NEO-IMATRIX-MAX-MTP
- Q4_K_M のサイズ
- 6.83 GB
- 8K で必要なメモリ
- 8.20 GB
実測 推定 VRAM 8 GB〜
-
OpenMOSS-Team
MOSS-Music-8B-Instruct
- F16 のサイズ
- 1.72 GB
- 8K で必要なメモリ
- 3.78 GB
実測 推定 VRAM 4 GB〜
-
8.2B
Qwen
Qwen3-VL-8B-Instruct
- Q4_K_M のサイズ
- 5.03 GB
- 8K で必要なメモリ
- 7.08 GB
実測 推定 VRAM 8 GB〜
-
9B
Qwen
Qwen3.5-9B
- Q4_K_M のサイズ
- 5.68 GB
- 8K で必要なメモリ
- 7.05 GB
実測 推定 VRAM 8 GB〜
よくある質問
- openthaigpt1.5-7b-instruct(F16)を動かすのに必要なメモリはどれくらいですか?
- ファイルサイズは15.2 GB(実測)。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは16.6 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
- openthaigpt1.5-7b-instructは商用利用できますか?
- ライセンスはQwen License Agreement(商用利用は条件付き)。商用利用できます。ただし、月間アクティブユーザーが1億人を超える製品・サービスでは Alibaba Cloud の許諾が別に必要です。最終的な判断はライセンスの原文で確認してください。
- openthaigpt1.5-7b-instruct は VRAM 8GB・12GB・16GB・24GB で動きますか?
- 8GB に収まる量子化は無し、12GB に収まる量子化は無し、16GB なら F16(推定 16.6 GB)まで、24GB なら F16(推定 16.6 GB)まで(8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル)。
- openthaigpt1.5-7b-instruct を Ollama で動かすコマンドは?
- 「ollama run hf.co/openthaigpt/openthaigpt1.5-7b-instruct:F16」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。