BLOG
Qwen4とは。先行モデルから見る長文処理の仕組みと限界
Alibabaが開発するQwen4の公開状況を確認し、先行モデルQwen3.8-Flash-Nextから、長い履歴を効率よく扱う仕組み、100万トークンでの検索精度、ローカル運用に必要な条件を読み解きます。

Qwen4の一般公開は未確認。設計は先に公開
Qwen4は、AlibabaのAIモデル「Qwen」の次世代シリーズです。Alibabaは2026年9月22日のApsara Conferenceで訓練中だと発表しました。11月9日時点で確認した公式配布先とクラウドのモデル一覧では、Qwen4の一般公開や正式な発売日を確認できませんでした。
一方、Qwenチームは8月26日にQwen3.8-Flash-Nextを公開しています。モデルカードは、これをQwen4の土台となる設計の実験的なプレビューと説明しています。ダウンロード用のFlash-Nextには標準版とFP8版があり、クラウドではその設計を使ったQwen3.8-Flashが提供されています。以下の性能値は、Qwenチームが報告したプレビューの結果です。
AlibabaのApsara Conference公式発表発売時期の予測と、後続モデルのロードマップ
百度百科の「発売時期」には2026年第2四半期とあります。同じページの本文では、その時期を2025年当時の予測として紹介しています。量子計算シミュレーションへの対応も、本文では噂として扱われています。Alibabaが公式発表で示した5兆〜10兆パラメータは、後続のQwen4.5とQwen5のロードマップです。
百度百科のQwen4項目開発ツールに現れた100万トークンの意味
10月28日にQwen Codeへ取り込まれた変更では、モデル一覧に個別の値がない場合、qwen4で始まるモデル名のコンテキストを100万トークンとして扱います。これは、会話履歴をどの時点で圧縮するかなどを決めるクライアント側の既定値です。変更の検証では模擬サーバーを使っており、ここで確かめたのはQwen Codeが表示する上限と、その値を選ぶ処理です。
11月6日にはQwen公式アカウントが画像と短い予告を投稿しました。投稿にはモデル名や公開日の記載がありません。各モデルの入力上限、提供時期、重みの公開条件は、モデルカードやAPIの公開情報で確認できます。
Qwen Codeの変更と検証記録履歴を圧縮して持ち、必要な箇所を読み直す
開発エージェントが長い作業をすると、コード、テスト結果、途中の判断が履歴にたまります。たとえば、数十回のテストを経たあとで、最初に失敗した条件と直前の修正を照らし合わせたい場面です。Flash-Nextでは、こうした長い履歴を扱うために二つの処理を組み合わせています。
Gated DeltaNet(GDN)は、読み進めながら過去の情報を固定サイズの内部状態に反映します。Qwen Sparse Attention(QSA)は、履歴を小さなブロックに分け、軽量な索引で関連度を見積もり、選んだブロックを詳しく参照します。公開モデルではGDNの3層とQSAの1層を組み合わせた構成を繰り返します。図では履歴を扱う処理に絞っています。
こうして履歴を引き継ぐ処理と、過去の細部を参照する処理を分担させています。索引の評価や、選ばれた箇所を参照する計算もあるため、応答までの時間は履歴の長さや実行環境によって変わります。
Qwen3.8-Flash-Nextのモデルカード7.6倍と9分の1は、測っているものが違う
技術レポートによると、100万トークンの条件で、QSAを使うアテンション部分は密なアテンションと比べ、入力の取り込み(prefill)で7.6倍、生成中の処理(decode)で4.9倍高速でした。索引とアテンションの計算を含む測定で、入力側では分割した入力の最後の16Kトークンを計測しています。実際の応答時間には、そのほかの層の計算や重みの読み出し、エージェントが使うツールの待ち時間も含まれます。
「約9分の1」は、Qwen3.7-Plus-Baseに対する事前学習の演算量(FLOPs)です。報告では、有効化するパラメータ数と学習トークン数がいずれも約3分の1で、事前学習モデルの14指標中8指標で比較先を上回っています。学習全体の所要時間や運用費を比べるには、使った機材、実行時間、後処理などの範囲も揃える必要があります。
公式技術レポートの図6と表11100万トークンを入れられても、必要な情報を拾えるか
Flash-Nextの標準コンテキストは262,144トークンです。位置情報の扱いを調整するYaRNを対応する推論エンジンで設定すると、最大100万トークンまで拡張できます。そこで確かめたいのが、長い入力の中から、似た記述と区別して必要な情報を見つけられるかです。
Qwenチームは、長い履歴から指定された情報を取り出す8-needle MRCRで、QSAを使った構成を評価しています。スコアは128Kで95.98、256Kで93.00、512Kで40.53、1Mで26.44でした。1Mでは同レポートの密なアテンション構成の20.71を上回っています。別の長文評価RULERでは512K〜1Mの平均が93.00で、同じ長さでも課題によって結果が異なります。
たとえば、過去の障害対応を参照するなら、同じエラー名が複数のリリースに登場しても、対象バージョンと原因を正しく対応づけられるかを試せます。履歴を長くした条件と、関連する履歴を検索して渡した条件を、回答の根拠と待ち時間まで含めて比べると、その仕事に適した入力の渡し方が見えてきます。
公式技術レポートの表3ローカル運用では、計算する量と保持する量を分けて見る
Flash-Nextは、入力に応じて一部の専門ブロックを使うMoEモデルです。本体125Bのうち、1トークンの処理で有効になるパラメータは約6B。これに短いトークンの並びを手がかりに引くN-gram埋め込み51Bと、複数トークンを予測するモジュール4Bが加わります。入力が変われば使う専門ブロックも変わるため、実行環境には他のブロックを参照できる構成が必要です。
N-gramの表はホスト側のメモリに置き、必要な分をアクセラレータへ渡せる設計です。これでGPU側の常駐量を抑えられる一方、配布される重みの総量や転送の負荷、長文の処理に使うキャッシュも運用に効きます。公開プレビューのライセンスはQwen Community License 1.0です。今後のQwen4各モデルを自前で運用できるかは、そのモデルの重み、ライセンス、量子化形式、対応エンジンで判断できます。
公開プレビューの配布ライセンス