BLOG
アテンションとは何か。AIが「どこを読むか」を決める仕組み
AIは、長い文章のどこを手がかりに答えるのか。アテンションは情報同士を照合し、取り込む割合を変える仕組みです。Q・K・Vを出発点に、読む相手を絞る方法、記憶を減らす方法、計算を速める方法の違いを図からたどります。

アテンションは、情報の混ぜ方を変える。
アテンション(Attention)は、ある位置の情報を処理するとき、参照できる情報に重みを付け、その内容を混ぜて取り込む仕組みです。文脈に応じて混ぜ方が変わるため、同じ言葉でも周囲との関係を反映した表現を作れます。人間の意識や集中力を、そのまま再現したものではありません。
「田中さんが佐藤さんに資料を渡した。受け取ったのは誰か」。答えるには、名前を覚えるだけでなく、「渡した」「受け取った」と、それぞれの人の関係を結び付ける必要があります。文章の中の情報を、すべて同じ割合で使えばよいわけではありません。
ここでいう情報は、文章を分割した「トークン」などを数値にしたものです。トークンは日本語の一単語と一致するとは限りません。以下では読みやすさのため言葉で説明しますが、実際にやり取りするのは、意味や文脈を表す多数の数値です。
Query・Key・Valueと重み付き集約の解説を読むQ・K・V:照合する手がかりと、取り込む内容。
代表的なアテンションでは、情報をQuery(Q)、Key(K)、Value(V)という三つの役割に分けます。QとKを照合して重みを決め、その重みでVを混ぜ合わせます。図書館にたとえるなら、Qが探す条件、Kが照合用の見出し、Vが持ち帰る内容です。
ATTENTION / EXPLORE
照合の得点を変えると、何が変わる?
スライダーを動かして、重みと出力の変化を見てください。Bの得点は1、Cは0に固定します。
ただし、Qは利用者が入力した質問文そのものでも、Kは固定の検索キーワードでもありません。通常は、その層に入った数値表現を、学習した変換によってQ・K・Vへ分けます。照合の仕方も学習の対象です。
重みの大きい情報ほど出力へ強く混ざります。もっとも大きい一つだけを選ぶとは限りません。図の数値は、仕組みを説明するために置いた例であり、実際のモデルの計測結果ではありません。
Q・K・Vの基本を読むAdditiveとDot-Product:重みを作る計算が違う。
QとKがどのくらい関係するかを数値にする方法にも種類があります。代表例は、小さなニューラルネットワークで相性を計算するAdditive Attention(加算型)と、ベクトルの内積を使うDot-Product Attention(内積型)です。
ATTENTION / EXPLORE
得点から出力まで、順番に追う。
「次の処理」で計算を進めてください。
- 照合して、得点にする内積 / QKᵀ
- 得点の大きさを調整Scale / ÷ √4
- 参照できない位置を除外Mask / 必要な場合
- 得点を、重みに変換Softmax
Transformerは、内積をKの次元数の平方根で割るScaled Dot-Product Attentionを使います。次元が増えると内積の値が大きくなりやすく、重みへの変換が極端になるのを抑えるためです。内積は行列計算へまとめやすいという性質もあります。
- 加算型:QとKを学習した変換へ通して照合する。異なる次元の表現も扱えるが、比較ごとにネットワークの計算が必要になる。
- 内積型:同じ次元のQとKの内積で照合する。行列計算へまとめやすく、スケール付きの形は得点の大きさも調整する。
Softmaxは、照合の得点を、参照可能な位置の合計が1になる重みへ変える処理です。そのあとVを混ぜて出力を作ります。この出力だけで答えが確定するのではなく、ほかの層や処理へ受け渡されます。
加算型とスケール付き内積型の計算を読むSelfとCrossは、読む情報の出どころが違う。
Self-Attention(自己注意)は、QとK/Vが同じ系列の表現から作られます。文章内の言葉どうしを関係付ける場合が典型です。Cross-Attention(交差注意)は、QとK/Vが別の系列から来ます。翻訳なら、訳文を作る側のQが、原文を読んだ側のK/Vを参照します。
- Self-Attention:同じ文章や画像の中で関係を組み立てる。参照できる範囲は、別途マスクで決まる。
- Cross-Attention:別々に作った表現の間で情報を受け渡す。どの入力をK/V側へ渡すかが重要になる。
同じ系列か、別の系列か。この区別は、情報がどちらからどちらへ流れるかを表します。Cross-Attentionだからインターネットを検索する、という意味ではありません。
Transformerにおける三つの使い方を読むCausal:これから生成する位置を、見えなくする。
文章の続きを作るとき、学習中に正解の続きが見えてしまえば、先の答えを写せてしまいます。そこで各位置から参照できるのを、その位置までに制限するのがCausal Attention(因果的注意)です。未来側の得点をSoftmaxの前に除外します。
ATTENTION / EXPLORE
どこを見られるか、切り替える。
行:情報を取り込む位置 1 → 6
位置4から参照できるのは6か所。前後の全位置を参照します。
一方、入力済みの文章を読み解く用途では、前後の情報を使える双方向の構成もあります。Self/Crossが「出どころ」の区別なのに対し、Causalは「参照を許す範囲」の区別です。両者は組み合わせられます。
図では、丸が参照を許す組み合わせを示します。丸や背景の明るさは、学習した重みの強さを表していません。「局所・過去のみ」は、現在と直前の二つ、合計三つの位置を参照する説明用の設定です。
デコーダーのマスクについて読むMulti-Head:複数の照合を、並行して行う。
Multi-Head Attentionは、Q・K・Vを複数の異なる表現へ変換し、それぞれの組でアテンションを計算する仕組みです。得られた結果をつなぎ、もう一度変換して出力します。一つの重み付き平均に情報を詰め込むのではなく、複数の照合経路を持たせます。
ATTENTION / EXPLORE
同じ入力を、異なる表現で照合する。
ヘッド1の重み
同じ候補でも、1番目のヘッドでは重みの配分が変わります。
「あるヘッドは文法、別のヘッドは意味を担当する」と考えるとイメージはつかみやすくなります。ただし、設計者が一つずつ担当を決める仕組みではなく、常に人間に分かりやすい役割へ分業するとも限りません。
Multi-Headの原論文を読む長い文脈では、比較と保存の負担が増える。
全文の各位置が互いを参照するDense Attentionでは、長さnに対して、おおむねn×nの組み合わせを扱います。長さを二倍にすると、比較する組み合わせは約四倍。長い文脈を扱いたいほど、この部分の負担が大きくなります。
ATTENTION / EXPLORE
長さを増やすと、比較は何組になる?
全8位置から全8位置を照合。64組を計算します。
文章を一つずつ生成するときは、過去のK/Vを保存するKVキャッシュが使われます。過去の表現を毎回作り直すのを避けられますが、通常の全文参照では、生成するたびに蓄積したK/Vを読みます。会話が長くなるほど、保存量だけでなく読み出す量も増えます。
ここは二つの場面を分けると理解しやすくなります。入力をまとめて処理するPrefillと、一つずつ続きを出すDecodeです。「高速なアテンション」とだけ聞いても、どちらの待ち時間を改善するのかは判断できません。
逐次生成でのメモリ帯域の問題を読むFull・Local・Sparse:比べる相手を絞る。
Full Attentionは、マスクなどで許された範囲の全位置を参照します。離れた位置にも直接アクセスできる一方、比較が多くなります。Local AttentionやSliding Window Attentionは、近くの一定範囲へ参照先を絞ります。Sparse Attentionは、比較する組み合わせをまばらにする、より広い呼び方です。
- Full:遠くの情報へ直接照合できる。長い系列では比較の負担が大きい。
- Local / Sliding Window:近くに集中し、計算や保存を抑えやすい。遠方とのやり取りには、層の重なりや別の接続が関わる。
- Sparse:窓、特別な全体参照位置など、残す接続を設計する。削った接続と必要な情報経路が合うかが重要。
2020年のLongformerは、近くを見る窓と、質問などのための全体へつながる位置を組み合わせました。近くだけでは届きにくい情報を、別の経路で運ぶ設計です。窓幅と全体へつながる位置の数を固定すれば、長さに対して計算量を抑えやすくなります。
ただし、一つの層で直接参照できる範囲と、複数の層を通して情報が届く範囲は違います。「窓の外は絶対に使えない」とも、「全文参照と同じように細部を取り出せる」とも言い切れません。つながり方と実際の課題の両方を見る必要があります。
Longformerの局所・全体アテンションを読むMHA・MQA・GQA:K/Vを共有して、保存を減らす。
Multi-Head Attention(MHA)では、通常、Qの各ヘッドにそれぞれのK/Vヘッドを用意します。Multi-Query Attention(MQA)は、複数のQヘッドに対してK/Vを一組だけ共有。Grouped-Query Attention(GQA)は、Qヘッドをグループに分け、グループごとにK/Vを共有します。
ATTENTION / EXPLORE
八つのQに、K/Vは何組必要?
Q1 → K/V1。1個のQで1組を使います。保持するK/Vは8組。
MQAは2019年、GQAは2023年の論文でこの問題への方法として示されました。GQA論文は、評価したモデルでMHAに近い品質とMQAに近い速度を報告しています。ただし、その関係があらゆるモデルで保証されるわけではありません。
図の割合は、Qヘッド数、各ヘッドの次元、データ型、層数、トークン数をそろえた説明用の比較です。K/Vの共有は、全文のどこを参照できるかを直接変えるものではなく、装置全体のメモリや実行時間が同じ割合で減るという意味でもありません。
GQAの共有方法と評価を読むMLA:共有する代わりに、小さな表現へ圧縮する。
2024年のDeepSeek-V2で示されたMulti-Head Latent Attention(MLA)は、K/Vを低い次元の潜在表現へまとめ、生成時のキャッシュを小さくする方法です。GQAの「複数ヘッドで共有する」とは、容量を減らす考え方が異なります。
「潜在表現」は、取り出すための情報を学習した数値に圧縮したものです。論文の構成では位置を扱うための成分も保持します。トークンごとの情報を持ち、過去の位置へアテンションする点は残るため、会話の長さに関係なく一定容量になる仕組みではありません。
同じ「省メモリ」でも、参照位置を減らすのか、ヘッドを共有するのか、各位置の表現を圧縮するのかで、変えている箇所が違います。MLAという名前だけから、モデル全体の速度や正確さを比較することはできません。
DeepSeek-V2のMLA設計を読むLinear Attention:履歴の持ち方から変える。
Linear Attention(線形アテンション)は、全文の全組み合わせを明示的に計算する負担を避けるための一群の方法です。2020年のLinear Transformerは、照合に使う関数と行列計算の順序を工夫し、系列の長さに対して線形に増える計算へ組み直しました。
ATTENTION / EXPLORE
入力が増えたとき、何を持ち続ける?
位置ごとのK/Vを保持
新しい位置の情報を追加し、過去の位置へ照合できるようにする。
同じ大きさの状態を更新
新しい入力を混ぜ、状態の値を書き換える。
入力1:K = [1, 0]、V = [1, 0]
1位置分のK/Vを保存する左側に対し、右側は同じ4マスの値を更新します。
因果的な形では、過去の情報を一定サイズの状態へ集約し、新しい入力ごとに状態を更新する見方ができます。履歴を一件ずつ保持する方式と比べて軽くしやすい反面、限られた状態に情報が重なるため、古い細部を正確に取り出す能力が課題になります。
すべての線形アテンションが通常のSoftmax Attentionと同じ結果を返すわけではありません。PerformerはSoftmaxを近似する別の代表例です。「掛け算の順序だけ変えれば、そのまま完全に同じ計算が線形になる」という理解は正確ではありません。
Linear Transformerの計算と状態表現を読むGated DeltaNet:何を残し、どこを書き換えるか。
線形アテンションの状態へ何でも足していくだけでは、必要な情報が埋もれます。Gated DeltaNetは、状態を減衰させるゲートと、特定の対応関係を修正するDelta Ruleを組み合わせます。前者は不要な情報を忘れる制御、後者は狙った記憶の更新に関わります。
これは2024年末のプレプリント、2025年のICLR論文として発表された研究です。論文では、Sliding Window Attentionなどと層を組み合わせたハイブリッド構成も検討しています。全文参照か状態への集約かを、モデル全体で一つに決める必要はないのです。
ここでの記憶更新は、処理中の内部状態の更新です。利用者との会話のたびに、学習済みの重みが恒久的に書き換わるという意味ではありません。
Gated DeltaNetの更新規則とハイブリッド構成を読むFlashAttention:同じアテンションを、効率よく計算する。
2022年のFlashAttentionが主に変えたのは、参照相手や意味の計算ではなく、GPU上での実行方法です。計算を小さな区画へ分け、GPU内部の速いメモリを活用して、大きなメモリとの読み書きや中間結果の保存を減らします。
ATTENTION / EXPLORE
別の場所を変える工夫は、組み合わせられる。
土台は、過去を参照するSelf-Attention。追加する工夫を選んでください。
方式ごとの違いを一覧で確認
| 名称 | 変える箇所 | 狙い | 確認する点 |
|---|---|---|---|
| Self / Cross | QとK/Vの出どころ | 同じ系列内か、異なる系列間かを決める | この区別だけでは速度や参照範囲は決まらない |
| Causal / Full / Local | 参照を許す接続 | 未来を隠す・近くに絞るなど | 遠い情報の経路が変わる |
| MHA / MQA / GQA | ヘッド間でのK/V共有 | KVの保存量・読み出しを抑える | 共有の度合いとモデルの品質を確認 |
| MLA | 各位置のK/V表現 | 低次元の潜在表現へ圧縮 | 位置ごとの保持と全文参照は残る |
| Linear Attention | 集約する関数・状態 | 全組み合わせの明示計算を避ける | 通常のSoftmaxと同じ出力とは限らない |
| FlashAttention | GPU上の計算手順 | 大きなメモリとの転送や中間保存を減らす | Dense版の比較の演算量は二乗 |
| PagedAttention | KV領域の配置・共有 | 断片化・重複による無駄を抑える | 新しい関連度の定義ではない |
Dense版は、通常のSoftmax Attentionを近似せずに計算する方法です。ただし、浮動小数点の演算順序による数値差はあり得ます。また、全位置どうしの比較そのものを消すわけではなく、固定した次元での演算量は依然として長さの二乗に増えます。
2023年のPagedAttentionは、KVキャッシュをページ状のブロックに分けて管理し、空き領域や重複による無駄を抑える工夫です。GQAとFlashAttentionとPagedAttentionは、同じモデルや実行システムで併用し得ます。名称にAttentionが付いていても、直している問題の層が違います。
FlashAttentionの計算とメモリアクセスを読む歴史は、三つの課題から読むと分かりやすい。
アテンションの歴史を年号だけで追うより、直前の方法で何が困っていたかを見ると、変化の意味が分かります。ここでは現在の言語モデルにつながる代表的な流れを整理します。
ATTENTION / EXPLORE
解きたい課題を選ぶと、進化の理由が見える。
翻訳で原文の情報を一つに詰め込む負担が出発点。Bahdanauら(2014)、Luongら(2015)が、出力に応じて入力の位置を参照する方法を検討しました。
Bahdanauらの研究 ↗ Luongらの研究 ↗Transformer(2017)はSelf-Attentionを中心に、学習時の並列性を高めました。一つずつ文章を生成する過程まで、すべて並列になるわけではありません。
Transformerの研究 ↗Longformerなどは接続、Linearは集約、GQA・MLAはKVの表現、FlashAttentionはGPUでの実行を工夫。以前の方式を一律に置き換えるものではありません。
FlashAttentionの研究 ↗必要な文脈を取り出す工夫
2014年のBahdanauらの翻訳研究は、原文を一つの固定長ベクトルへ押し込む負担を問題にしました。2015年のLuongらは照合方法や全体・局所の参照を検討。2017年のTransformerは、RNNによる順次処理の代わりにSelf-Attentionを中心へ据え、学習時に位置ごとの処理を並列化しやすくしました。生成結果を一つずつ出す過程まで、すべて並列になるわけではありません。
その後は、長い文脈の比較量、KVキャッシュ、メモリの転送が大きな課題になります。SparseやLinear、MQA/GQA/MLA、FlashAttentionは、それぞれ別の負担を減らす方法です。新しい名前が古いものを一律に置き換えるというより、目的に合わせて組み合わせる方向へ発展してきました。
翻訳における固定長表現の課題を読む同じ「アテンション」でも、もう少し別の区別がある。
文献ではSoft AttentionとHard Attentionという区別も見かけます。Softは複数候補の情報を連続的な重みで混ぜる方式。Hardは位置を離散的に選ぶ方式です。2015年の画像説明研究「Show, Attend and Tell」は、両方を扱っています。近くの範囲を選んでその中で重みを付けるLocal Attentionは、必ずしもHardではありません。 Softは連続的な重みを通常の誤差逆伝播で学びやすい一方、Hardは離散的な選択の学習に別の工夫が必要になります。
また、RoPE(Rotary Position Embedding)は位置の違いをQ/Kの回転へ織り込む方法です。情報の順序や相対的な位置を伝える工夫であり、GQAやCausalと競合する分類ではありません。名前を見たら、「何を変えている方式か」を確かめると整理できます。
- 位置の与え方:RoPEなど。どこにある情報かを計算へ伝える。
- 参照先の選び方:Soft / Hard。重みで混ぜるか、位置を離散的に選ぶか。
- 参照範囲:Full / Local / Causal。出どころや位置表現とは別の軸。
重みの可視化だけでは、答えの理由は分からない。
アテンションの図で、ある言葉との線が濃く描かれていると、「AIはここを理由に答えた」と読みたくなります。しかし、重みは途中の情報の混ぜ方です。Vが持つ内容、その後の層、別の経路も出力へ関わります。
2019年の「Attention is not Explanation」は、調べた自然言語処理の課題で、異なる重みでも同じ予測になる例を示しました。重みの図は計算を調べる手がかりになりますが、それだけで判断理由や根拠の正しさが証明されるわけではありません。
Attention is not Explanationを読む読む側が比べるべきなのは、名前より使い方。
この整理から分かるのは、最大コンテキスト長、回答の正確さ、必要なメモリ、待ち時間は、分けて確かめる必要があるということです。長い文章を入力できることと、その中の必要な細部を取り出せることは同じではありません。
2023年の「Lost in the Middle」は、評価したモデルと課題で、根拠が文章のどこに置かれるかによって性能が変わることを示しました。今のモデルがすべて同じ失敗をするという主張ではありません。自分が使うモデルでも、位置や資料の量を変えて試す理由になる結果です。
たとえば契約書や議事録を扱うなら、必要な情報を冒頭・中央・末尾へ移して同じ質問をする。遠く離れた二つの条件を同時に使わせる。短い会話と長い会話で待ち時間を比べる。こうした確認は、アテンションの省メモリ化が、自分の用途にどんな違いを生むかを判断する助けになります。
- 資料を読む用途:入力可能な長さに加え、離れた根拠の検索や複数条件の照合を試す。
- チャットの快適さ:最初の応答までの時間と、生成中の速さを分け、会話の長さを変えて比べる。
- 端末内での実行:モデルの重みだけでなく、会話が長くなったときのキャッシュや作業領域も確認する。
- 方式の比較:同じ課題、長さ、装置、実行ソフトで確かめる。方式名だけで品質や速度の順位を付けない。
まとめ
アテンションは、文脈の中の情報を、必要に応じた割合で取り込む仕組みです。その進化は、読む範囲、保存する情報、計算の実行方法を分けて見ると理解できます。大切なのは方式の新しさより、必要な情報を使えるか、そのための時間と容量を払えるかです。