本文へ移動
localllm
EN

huihui-ai

Huihui-Qwen3.8-Flash-Next-abliterated

画像も入力

パラメータ数
176.9B
最大コンテキスト長
262,144
アーキテクチャ
qwen4exp
ライセンス
条件付き
元モデル
huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated
ライセンス
qwen-community-1.0
llama.cpp
b10660+

Huihui-Qwen3.8-Flash-Next-abliterated の概要

Huihui-Qwen3.8-Flash-Next-abliterated は、Hugging Face の huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated をもとにした GGUF 形式のモデルです。GGUF は 3 つの配布元（huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF・mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-i1-GGUF・mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF）が公開しています。パラメータ数は約 176.9B（1,769億）、アーキテクチャは qwen4exp、最大コンテキスト長は 262,144 トークンです（GGUF に書かれた値）。

量子化は 13 種類あり、ファイルサイズは IQ2_XS の 68.2 GB から BF16 の 354 GB まであります（Hugging Face 上の実際のサイズ）。

IQ2_XS（68.2 GB）を 8,192 トークンのコンテキストで動かすときの必要メモリは推定 69.5 GB、32,768 トークンでは推定 70.2 GBです。8,192 トークンなら、VRAM 96 GB 以上の GPUか、統合メモリ 96 GB 以上の Mac が目安です（macOS は GPU が使えるメモリに上限があるため、実際には余裕が要ります）。

元のモデルのライセンスは Qwen Community License 1.0 で、商用利用には規模・用途などの条件があります。利用条件は原文で確認してください。画像入力用の mmproj ファイルも公開されています。

量子化ごとのファイルサイズと必要メモリの目安

  • 8 GB まで
  • 16 GB まで
  • 24 GB まで
  • 48 GB まで
  • 128 GB まで
  • それ以上

ファイルサイズは Hugging Face 上の実際の値です。必要メモリはコンテキスト長ごとの推定値（KVキャッシュ f16）。計算式は 必要メモリの計算方法で公開しています。

必要メモリはすべて 推定 （KVキャッシュ f16）。このページの「必要メモリ」以上の VRAM（または Mac の統合メモリ）を持つ環境で動作する見込みです。数値をクリックすると、その容量で動く機種・モデルの一覧（GPU・Macで探す）に移動します。

同じモデルの GGUF を 3 つの配布元が公開しています。量子化の種類とファイルサイズは配布元ごとに少しずつ違うので、下に配布元ごとの表を載せています。

画像入力を使う場合：このモデルは画像入力に対応しています。画像を使うときは、追加で mmproj ファイルも読み込みます。

「品質の目安」について（量子化でどれだけ元のモデルからずれるか）

量子化の型ごとに、元のモデルの出力からどれだけずれるかを、llama.cpp が Llama-3-8B で測った値から6段階に分けたものです。

使っている値は平均 KLD（元のモデルと量子化したモデルの、次の単語の確率の分布の差）で、小さいほど元のモデルに近い出力になります。imatrix（重要度の情報）を使って量子化したものは少し小さくなります。段階は、imatrix を使わない値（無い型は使った値）で分けています。

★このモデルで測った値ではありません。モデルが大きいほど、また MoE のモデルほど、同じ型でもずれは小さくなりやすいです。配布元独自の混合型（UD-Q4_K_XL など）は型の名前だけでは当てはめられないので「-」にしています。

量子化 品質の目安 KLD（imatrix なし） KLD（imatrix あり） サイズ（Llama-3-8B）
Q8_0 ほぼ同じ 0.0014 - 7.96 GiB
Q6_K ごく小さい 0.0055 - 6.14 GiB
Q5_K_M ごく小さい 0.0108 - 5.33 GiB
Q5_K_S 小さい 0.0166 - 5.21 GiB
Q5_1 小さい 0.0180 - 5.65 GiB
Q5_0 小さい 0.0222 - 5.21 GiB
Q4_K_M 小さい 0.0313 0.0282 4.58 GiB
Q4_K_S 中くらい 0.0431 0.0320 4.37 GiB
IQ4_NL 小さい - 0.0357 4.35 GiB
IQ4_XS 小さい - 0.0363 4.14 GiB
Q4_1 中くらい 0.0717 - 4.78 GiB
Q4_0 中くらい 0.0719 - 4.34 GiB
Q3_K_L 中くらい 0.0872 0.0731 4.03 GiB
Q3_K_M 中くらい 0.1019 0.0844 3.74 GiB
IQ3_M 中くらい - 0.1025 3.53 GiB
IQ3_S 中くらい - 0.1113 3.42 GiB
IQ3_XS 大きい - 0.1387 3.28 GiB
IQ3_XXS 大きい - 0.1836 3.05 GiB
Q3_K_S 大きい 0.2282 0.1998 3.41 GiB
IQ2_M 大きい - 0.3260 2.74 GiB
Q2_K とても大きい 0.4451 0.3322 2.96 GiB
Q2_K_S とても大きい - 0.4034 2.96 GiB
IQ2_S とても大きい - 0.4392 2.56 GiB
IQ2_XS とても大きい - 0.5463 2.43 GiB
IQ2_XXS とても大きい - 0.8120 2.24 GiB
IQ1_M とても大きい - 1.3931 2.01 GiB
IQ1_S とても大きい - 2.2546 1.88 GiB

出典：llama.cpp（MIT）、Llama-3-8B・FP16 を基準・Wikitext-2・revision f364eb6f の測定。 元の表 · 量子化の読み方と選び方

GGUF配布元

huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF

元の開発元が配布 改変版（名前に abliterated などを含む） この表示について

最終確認：2026年11月11日

アーキテクチャ
qwen4exp
llama.cpp b10660 以降
パラメータ数
176.9B
最大コンテキスト長
262,144
ライセンス
qwen-community-1.0 条件付き
Huihui-Qwen3.8-Flash-Next-abliterated（huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 262,144 最大
IQ2_XS （2分割） 68.2 GB とても大きい 69.4 GB 69.5 GB 69.8 GB 70.2 GB 71.1 GB 72.9 GB 76.6 GB
IQ3_XXS （2分割） 76.0 GB 大きい 77.2 GB 77.4 GB 77.6 GB 78.0 GB 78.9 GB 80.8 GB 84.4 GB
UD-IQ4_XS （3分割） 93.7 GB - 95.0 GB 95.1 GB 95.3 GB 95.8 GB 96.7 GB 98.5 GB 102 GB
UD-Q4_K_XL （4分割） 111 GB - 113 GB 113 GB 113 GB 113 GB 114 GB 116 GB 120 GB
Q8_0 （6分割） 188 GB ほぼ同じ 190 GB 190 GB 190 GB 190 GB 191 GB 193 GB 197 GB
BF16 （8分割） 354 GB 元の精度 355 GB 355 GB 356 GB 356 GB 357 GB 359 GB 362 GB

画像入力用の mmproj（BF16）は 0.91 GB 実測 。上の必要メモリには含まれていないため、画像を使う場合は別途加算してください。 

Ollama  ollama run hf.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:IQ2_XS
llama.cpp  llama-server -hf huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:IQ2_XS

GGUF配布元

mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-i1-GGUF

第三者が変換して配布 改変版（名前に abliterated などを含む） この表示について

最終確認：2026年11月4日

アーキテクチャ
qwen4exp
llama.cpp b10660 以降
パラメータ数
176.9B
最大コンテキスト長
262,144
ライセンス
qwen-community-1.0 条件付き
Huihui-Qwen3.8-Flash-Next-abliterated（mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-i1-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 262,144 最大
Q2_K 80.4 GB とても大きい 81.7 GB 81.8 GB 82.1 GB 82.5 GB 83.4 GB 85.2 GB 88.9 GB
Q3_K_S 88.8 GB 大きい 90.0 GB 90.1 GB 90.4 GB 90.8 GB 91.7 GB 93.5 GB 97.2 GB
IQ3_S 88.9 GB 中くらい 90.2 GB 90.3 GB 90.5 GB 91.0 GB 91.9 GB 93.7 GB 97.3 GB
IQ3_M 89.5 GB 中くらい 90.8 GB 90.9 GB 91.2 GB 91.6 GB 92.5 GB 94.3 GB 98.0 GB
Q3_K_M 94.1 GB 中くらい 95.4 GB 95.5 GB 95.8 GB 96.2 GB 97.1 GB 98.9 GB 103 GB
Q3_K_L 96.7 GB 中くらい 97.9 GB 98.0 GB 98.3 GB 98.7 GB 99.6 GB 101 GB 105 GB
IQ4_XS 97.5 GB 小さい 98.7 GB 98.9 GB 99.1 GB 99.5 GB 100 GB 102 GB 106 GB 
Ollama  ollama run hf.co/mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-i1-GGUF:Q2_K
llama.cpp  llama-server -hf mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-i1-GGUF:Q2_K

GGUF配布元

mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF

第三者が変換して配布 改変版（名前に abliterated などを含む） この表示について

最終確認：2026年11月2日

アーキテクチャ
qwen4exp
llama.cpp b10660 以降
パラメータ数
176.9B
最大コンテキスト長
262,144
ライセンス
qwen-community-1.0 条件付き
Huihui-Qwen3.8-Flash-Next-abliterated（mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF）の量子化ごとのファイルサイズと必要メモリ
量子化 ファイルサイズ 実測 品質の目安 4,096 8,192 16,384 32,768 65,536 131,072 262,144 最大
Q2_K 80.4 GB とても大きい 81.7 GB 81.8 GB 82.1 GB 82.5 GB 83.4 GB 85.2 GB 88.9 GB
Q3_K_S 88.8 GB 大きい 90.0 GB 90.1 GB 90.4 GB 90.8 GB 91.7 GB 93.5 GB 97.2 GB
Q3_K_M 94.1 GB 中くらい 95.4 GB 95.5 GB 95.8 GB 96.2 GB 97.1 GB 98.9 GB 103 GB
Q3_K_L 96.7 GB 中くらい 97.9 GB 98.0 GB 98.3 GB 98.7 GB 99.6 GB 101 GB 105 GB
IQ4_XS 98.4 GB 小さい 99.7 GB 99.8 GB 100 GB 100 GB 101 GB 103 GB 107 GB

画像入力用の mmproj（Q8_0）は 0.62 GB 実測 。上の必要メモリには含まれていないため、画像を使う場合は別途加算してください。 

Ollama  ollama run hf.co/mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:Q2_K
llama.cpp  llama-server -hf mradermacher/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:Q2_K

ライセンスと商用利用

Qwen Community License 1.0 条件付き

商用利用できます。ただし、API などでモデルを第三者に提供する事業（Model as a Service）や、コーディング・事務作業向けの AI アシスタントの事業を行う会社（関連会社を含む）は、商用利用の前に Qwen の許諾が別に必要です（社内だけでの利用は除く）。月間アクティブユーザー1億人超または月の売上2,000万米ドル超の製品では、モデル名を画面に表示します。

元のモデルの Hugging Face のページにあるライセンスで判定しています。 ライセンスの原文（2026年10月18日 に確認）

要約は当サイトが原文から読み取った事実で、法的な助言ではありません。実際に使う前に、必ずライセンスの原文と最新の条件を確認してください。 ライセンスごとの一覧

動かし方

このモデルの形式（qwen4exp）を llama.cpp の本家が読み込めるのは b10660（2026年8月27日）以降です。Ollama・LM Studio は内部に llama.cpp を取り込んで動くため、アプリが古いと「unknown model architecture」などのエラーで読み込めません。その場合はアプリを最新にしてください。

例として IQ2_XS を使う場合のコマンドです。他の量子化を使う場合は、上の表から量子化名を選んで置き換えてください。 他の配布元のファイルを使う場合のコマンドは、配布元ごとの欄に載せています。 ローカルLLMの動かし方

Ollama

Hugging Face 上の GGUF を直接指定して動かせます。

ollama run hf.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:IQ2_XS

llama.cpp

llama-server（または llama-cli）に -hf でリポジトリと量子化名を指定します。

llama-server -hf huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:IQ2_XS

LM Studio

検索欄に huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF を貼り付けてダウンロードし、量子化ファイルの一覧から量子化名を選びます。

よくある質問

Huihui-Qwen3.8-Flash-Next-abliterated（IQ2_XS）を動かすのに必要なメモリはどれくらいですか？
ファイルサイズは68.2 GB（実測）。8,192トークンのコンテキストで動かす場合、KVキャッシュ等を含めた推定必要メモリは69.5 GBです。計算式はhttps://localllm.az-arte.com/ja/guide/memory-calculationで公開しています。
Huihui-Qwen3.8-Flash-Next-abliteratedは商用利用できますか？
元のモデルのライセンスはQwen Community License 1.0（商用利用は条件付き）。商用利用できます。ただし、API などでモデルを第三者に提供する事業（Model as a Service）や、コーディング・事務作業向けの AI アシスタントの事業を行う会社（関連会社を含む）は、商用利用の前に Qwen の許諾が別に必要です（社内だけでの利用は除く）。月間アクティブユーザー1億人超または月の売上2,000万米ドル超の製品では、モデル名を画面に表示します。最終的な判断はライセンスの原文で確認してください。
Huihui-Qwen3.8-Flash-Next-abliterated は VRAM 8GB・12GB・16GB・24GB で動きますか？
8GB に収まる量子化は無し、12GB に収まる量子化は無し、16GB に収まる量子化は無し、24GB に収まる量子化は無し（8,192 トークン・KV キャッシュ f16 の推定。いちばん多くダウンロードされている配布元のファイル）。
Huihui-Qwen3.8-Flash-Next-abliterated を Ollama で動かすコマンドは？
「ollama run hf.co/huihui-ai/Huihui-Qwen3.8-Flash-Next-abliterated-GGUF:IQ2_XS」で、Hugging Face の GGUF をそのまま動かせます。ほかの量子化を使うときは、最後の量子化名を置き換えます。