FIELD NOTES / THE EVOLUTION OF AI
AIは、何を
できるように
なったのか。
文章から学び、評価で磨き、世界の変化を予測する。
GPTとワールドモデルの進化を、研究からたどる。
2026.10
↓ 2018HOW AI LEARNS
学び方が変わると、
できることが変わる。
言葉のパターンを学ぶ。評価から答え方を磨く。行動による変化を予測する。これらを組み合わせることで、AIは回答から判断・計画へと領域を広げています。年表では、解ける課題や正答率の変化を「能力向上」、必要な計算・メモリ・時間の変化を「効率化」として区別します。
01 / PRETRAINING
大量のデータから、
構造を学ぶ。
文章の続きや、画像・動画の欠けた情報を予測する。モデルの大きさと学ぶデータ量を設計し、共通の表現を育てます。
ChinchillaSwitch TransformerFlashAttention02 / POST-TRAINING
評価や検証から、
振る舞いを磨く。
人の好み、AIによる評価、数学の正解やコードの実行結果。目的に合う信号で、答え方や推論を改善します。
RLHFDPOGDPODAPO検証可能な報酬03 / WORLD MODELS
世界の変化を学び、
先を見通す。
環境がどう変わるかを学び、行動の先を予測する。モデルの中で選択肢を試し、目標に向けた計画へつなげます。
V-JEPA 2DreamerV3PREDICT → PLAN → ACT
実行する前に、
その先を考えられるか。
ワールドモデルは、環境の状態や変化を学ぶ内部モデルです。映像を生成する方法も、意味のある表現の中で予測する方法もあり、研究によって扱う対象は異なります。
2026
実行と、世界の予測へ。
仕事の遂行と効率化、構造や変化を学ぶモデルの進歩。SKY-001
形だけでなく、組み立てる過程を学ぶ。
複雑な設計を部品の階層に分け、それぞれの途中形状と構築手順を予測。長い工程を短い工程に分けることで、CADや建築設計を順序立てて生成する研究です。
研究発表を読むワールドモデル研究・技術の背景
長い構築手順を、部品の階層に分ける
設計を一続きの操作として生成すると、工程が長くなるほど途中の誤りが後段へ影響します。Hierarchical Composerは全体を組立単位、その下を部品へと分解。親から渡された形状や配置の制約を使い、独立した部品を並行して生成します。必要な逐次処理を、部品の総数ではなく階層の深さに近づける発想です。
操作の後にできる形を予測する
Construction World Modelは、途中の立体形状とスケッチの構築手順を予測します。形状の圧縮表現は、短い符号列でも大まかな形を復元でき、符号を増やすと細部が加わるよう学習。粗い表現で手順を進めてから細部を復元することで、毎工程を高解像度で計算する負担を抑えます。
形状の再現と生成時間を測る
学習には実際のCAD・建築データに加え、完成形から構築履歴を復元して検証したデータも使います。同社の1,000件のCAD部品評価では、形状の重なりを測るIoUが79.7%、生成時間が3.9秒でした。これは形状再現と速度の評価であり、製造時の強度や成立性を検証した数値ではありません。
MiniMax M3.1 Flash
計算する部分を絞り、速さと費用を改善。
必要な部分を選んで計算する「疎な計算」を強化し、推論の処理を軽くしました。同社はオンライン推論が約3倍高速化し、エージェント作業の利用費用が前世代比70%減ったと報告しています。
公式発表エージェント研究・技術の背景
速さを上げても、仕事を完了できるか
エージェントは、コードを読み、修正し、テスト結果を見て再修正する処理を繰り返します。一語ずつの出力が速くても、誤った操作や長い寄り道が増えれば仕事全体は速くなりません。M3.1 Flashは、出力の速度と、こうした複数工程の作業を終える能力を併せて改善する更新です。
計算する部分を、さらに絞る
公開された高速化の方針は、計算の「疎性」を高めることです。すべてを同じ密度で計算せず、処理する部分を絞って推論の負担を減らします。ただし、どの層や情報をどの規則で選ぶかは未公表です。M3で公開されたMSAの方式を、そのままM3.1の改善理由として当てはめることはできません。
出力速度と、作業全体の評価を分ける
同社は前世代に対してオンライン推論が約3倍高速化し、エージェント作業の利用費用が70%減ったと報告。コード理解・修正・テストを伴うDeepSWE v1.1では73.7%、PC操作のOSWorld V2では61.7点でした。生成の速さ、利用費用、作業の成功は別々の指標であり、この発表だけで能力向上を疎な計算の効果と断定することはできません。
Clef on Ollama
文章を書くAIから、その場で判断するAIへ。
文章を一語ずつ生成して判断を説明する代わりに、一度の入力処理で複数の質問の答えと確率をまとめて返します。依頼の振り分けや書類の分類を、定めた形式で受け取れるようにします。
研究・技術の背景
自由文を生成してから判定する負担を減らす
依頼の振り分けや文書の分類では、長い説明文よりも、決められた選択肢のどれに当たるかが必要です。通常の言語生成で回答を書き、その文章を再び解析する構成では、出力待ちや形式の揺れが生じます。Clefは、このような判断を構造化された出力として取り出すためのモデルです。
一度の読み取りで、複数の問いを採点する
入力と、判定したい質問・選択肢を渡すと、候補のスコアをまとめて返します。回答文を一語ずつ生成する工程を省き、複数の問いを同じ入力処理にまとめる設計です。候補ごとの確率を受け取れるため、確信が低い依頼だけ人へ回す、といった処理にも接続できます。
モデルと実行基盤を組み合わせる
Clefの開発元はCloudflareで、Ollamaは取得・実行の入口を提供します。ローカル環境とOllama Cloudの双方に対応。評価するべきなのは文章の流暢さではなく、実際の分類の正しさと、設定した確信度でどれだけ誤判定を減らせるかです。公開例は、この用途に合わせて生成方式自体を変える方向を示しています。
DeepSeek V4.1 Flash-1017
答えの質と、仕事を終える効率を。
作業を終えるまでの出力を短くし、実行時間も削減。更新前と比べてコード修正やツール利用の評価を上げつつ、生成する量と待ち時間を減らしたと報告しています。
公式更新履歴推論・実行研究・技術の背景
出力量を減らし、作業の待ち時間を短くする
コード修正やツール利用では、モデルの出力を待つ時間が工程ごとに積み重なります。10月17日の更新は、回答や作業軌跡を短くし、処理時間を抑えながら、コード修正・ツール利用などの評価を改善したと報告しています。単に短く答えさせるのではなく、必要な結果を得られるかも併せて見る更新です。
公開されているのは、変更後の振る舞い
更新履歴には出力量・実行時間・業務評価が記載されていますが、それを実現した追加学習のデータ、報酬の設計、内部構造の変更までは示されていません。そのため、この項目から読み取れるのは作業の効率が改善したという報告までです。特定の強化学習法やAttentionを改善理由として補うことはできません。
モデル更新と検索基盤を分けて評価する
同日に検索APIも公開されていますが、検索を呼べることと、モデル本体の推論能力の改善は別の変更です。実際の業務では、同じ依頼・ツール・完了条件で、正しく終えた割合、所要時間、生成量を比較する必要があります。ベンチマークの得点だけでは、検索を含む業務全体の短縮時間は決まりません。
Gemini 4 Argon
修正と確認を繰り返し、開発を進める。
コードを読み、修正し、結果を確認する作業をAntigravity上で継続。Googleは社内利用でコード提出が35%以上増え、変更の取り消しが約3分の1減ったと報告しています。
公式発表推論研究・技術の背景
コード生成から、修正と検証を続ける開発へ
開発では、コードを出すだけでなく、既存の設計を読み、変更し、実行結果から直す工程が必要です。Argonの発表では、Antigravity上でこの循環を継続する使い方を紹介。モデルに渡す履歴と、ファイル・実行環境を扱う仕組みがそろって初めて、複数工程の開発になります。
実際のコードベースで働きを確かめる
公開事例にはChromiumの構造整理やPythonライブラリの高速化が含まれます。小さな関数の正解を当てる試験に加え、既存コードとの整合性や実行後の結果を問う事例です。一方、こうした能力を獲得した学習データや訓練方法の詳細は、発表本文では説明されていません。
利用結果の数字が測っているもの
Googleは社内利用でコード提出が35%以上増え、変更の取り消しが約3分の1減ったと報告しています。これは開発環境を含む利用結果で、モデルが文章を生成する速さの数値ではありません。コード提出の増加と修正品質を併せて見ることで、出力量だけでは分からない開発への効果を確かめています。
LFM2.5-24B-A2B
考えて動くAIを、手元の端末へ。
事前学習の量を増やし、教師モデルからの蒸留と、実際にツールを使う強化学習を追加。計算に使う部分を絞る構造を保ちながら、端末内での推論・ツール作業を改善しました。
公式発表オンデバイス研究・技術の背景
構造を保ち、学習の中身を広げる
小型端末で動かすには、モデルを大きくするだけでは計算やメモリの制約にぶつかります。LFM2.5は、短い畳み込みとAttentionを組み合わせる構造や、一部の専門家だけを使う構成を維持しつつ、事前学習を17兆から33兆トークンへ拡大。語彙と扱える文脈も広げました。
知識の獲得から、ツールを使う練習へ
高品質な推論・コードのデータと長文脈データで中間学習を行い、その後に5段階の調整を実施。回答例を学ぶ教師あり調整、教師モデルの専門化、通常タスクとエージェント作業それぞれの蒸留を経て、最後に実際の実行環境でツールを使う強化学習へ進みます。答えの模倣から、実行結果に基づく改善へつなぐ構成です。
小さいことと、仕事ができることを両方測る
同社は推論・コード・ツール利用の評価と実行効率を比較しています。教師の出力を学ぶ蒸留は学習資源を節約し、実環境での強化学習は操作後の成否を学習へ戻します。報告には報酬の抜け道への対処も含まれ、練習中の得点と未見の課題での能力を分けて確かめる必要性が示されています。
Claude Haiku 5.5
小型モデルでも、考える量を選べる。
Haiku系で初めて、推論にかける量を調整する設定を導入。短い分類には軽い処理、難しい作業には深い処理を選び、小型モデルでも仕事に応じて費用と能力を調整できるようにしました。
公式発表効率化研究・技術の背景
短い依頼と難しい作業に、同じ計算を使わない
単純な分類では短い待ち時間が求められ、長い開発やPC操作では途中の確認が必要です。Haiku 5.5はHaiku系で初めてeffort設定を提供し、推論へ割く量を調整できるようにしました。小型モデルを一律に軽く使う構成から、課題に応じて計算を配分する使い方へ広げています。
操作の結果を見て、次の行動を選ぶ
PC操作では画面を読み、操作を選び、変化した画面から続きを決めます。一度の回答の正しさだけでなく、この循環を最後まで続けられるかが重要です。公開資料はeffort別の能力と費用を示していますが、能力向上を生んだ訓練工程や内部構造までは説明していません。
成功率は、同じ評価条件で比較する
同社のOSWorld 2.1のオフライン部分集合では、Haiku 4.5の15.7%に対し72.4%の成功率を報告しています。この数字は指定された課題集合と実行条件での比較です。実業務へ導入する際は、同じ操作環境で成功率・待ち時間・費用を測り、適したeffortを選ぶための指標になります。
GPT-6 / Intelligent UI
回答そのものが、触って理解する画面に。
文章だけを返す代わりに、問いに合う図や操作できる画面を回答として生成。条件を動かして変化を見たり、複雑な内容を図で確かめたりする対話へ広げました。
公式発表インターフェース研究・技術の背景
説明を読む対話から、条件を動かす対話へ
文章で説明されても、数値の関係や条件を変えた結果は把握しにくいことがあります。Intelligent UIは、問いに合わせて図や操作できる画面を回答に含める製品機能です。利用者が条件を動かし、その変化を見ながら質問を深められるため、回答の受け取り方自体が変わります。
モデルの出力を、表示・操作できる形へつなぐ
この体験には、内容を考えるモデルに加え、生成された視覚表現を画面に表示して操作を受け付ける仕組みが必要です。図が出せることと、その図の数値や論理が正しいことは別々に確かめる対象です。新しい画面機能を、そのまま新しいモデル構造や学習法の発表と読み替えることはできません。
発表が示す転換点
この項目は9月のモデル発表ではなく、10月のChatGPTへの製品展開を記録しています。変化の中心は、同じ説明を長くすることではなく、利用者が関係性を見て探索できる形式をAIが選ぶことです。公開記事から、画面生成のための訓練工程や個々の学習手法の効果までは確認できません。
GPT-6.1 Sol
上位モデルに近い能力を、軽い実行条件で。
上位モデルAstraに近い能力を、より速く低い費用で提供するモデルとして発表。システムカードで能力と安全性を比較していますが、効率を上げた内部の手法は明らかにしていません。
システムカード効率化研究・技術の背景
高い能力を、日常的に使える費用へ
難しい課題を解けても、一回の応答が遅く高価であれば、大量の依頼や反復する開発には使いにくくなります。Solは、上位モデルAstraに近い能力を、より速く低い費用で提供するモデルとして発表されました。能力だけでなく、仕事を繰り返せる運用条件を重視する更新です。
内部の作り方より、公開された比較を読む
システムカードは能力・安全性と評価条件を示していますが、効率化を実現した構造や学習工程は明らかにしていません。小型モデルなら蒸留、大型ならMoEというように、一般的な方法を未公表の改善理由として当てはめることはできません。ここで確認できるのは、評価上の能力と製品としての提供条件です。
モデル同士を比べるときの条件
同じ課題でも、利用できるツール、推論へ割く量、試行回数で得点と費用は変わります。公開資料が区別する研究環境と製品利用の条件を踏まえ、能力・待ち時間・費用を同じ設定で読む必要があります。安い一回の出力と、正しい結果を得るまでの総費用を分けることが、この更新を評価する要点です。
Qwen3.8 Omni-Flash
見て、聞いた情報を、次の行動へ。
音声・映像・文章の理解と、計画・ツール呼び出しを同じモデルに組み合わせる方向へ。入力の内容を説明するだけでなく、そこから制作や業務の手順を進める能力を重視しました。
公式研究一覧マルチモーダル研究・技術の背景
情報を理解した後の仕事までつなぐ
会議の音声、画面、文書が別々の入力として扱われると、それらを人が整理し直してから依頼する必要があります。Omni-Flashは文章・音声・映像の理解に、計画やツール利用を組み合わせる方向を示しています。入力を説明する段階から、その内容に応じて次の作業を選ぶ段階へ進める発表です。
複数形式の入力と、行動の出力を結ぶ
マルチモーダル理解は、異なる形式の情報を共通の依頼の文脈で扱う能力です。ツール利用では、そこから必要な操作と引数を選び、実行結果を受け取って処理を続けます。公式の研究一覧はこの組み合わせを紹介していますが、内部での情報統合や強化学習の手順は、この資料からは特定できません。
同日の別モデルと役割を分ける
公式一覧には、同日にリアルタイム通訳を目的とするLiveTranslateも掲載されています。通訳の遅延・翻訳品質を測る評価と、複数工程の仕事を終える評価は異なります。Omni-Flashの転換点は形式の数だけではなく、読み取った情報を計画や実行につなぐ範囲を広げることにあります。
Qwen3.8 Max
長い仕事を、最後の成果まで。
大きなモデルの中から、処理ごとに一部の専門家だけを使う構造を採用。公式の開発事例では、実行結果や利用者の要望を次の修正に反映し、複数日にわたる開発を継続しました。
公式発表エージェント研究・技術の背景
容量を増やしても、毎回すべては計算しない
Qwen3.5を基盤に拡張したMoEモデルで、入力ごとに一部の専門家を選んで使います。総パラメータは2.4兆でも、処理時に動くのは950億です。学習した知識を保持する容量と、一回の処理に必要な計算量を切り分け、大きなモデルを継続的な開発に使う設計です。
実行結果を、次の修正へ戻す
公式の開発事例では、ソフトウェアを実行し、利用者の要望や不具合を読み、変更を続ける循環を紹介しています。長期間の作業を支えるのは、モデルだけでなく履歴・ファイル・テストを扱う実行環境です。ここでいう「自己進化」は生成物を改善する循環であり、稼働中にモデルの重みを更新したことを意味しません。
継続開発の事例で確かめた範囲
公開事例は16日間で265コミット、127件のプルリクエスト、151件の課題を扱ったと報告しています。これは長期間の実行例で、すべての変更が正しかった割合を示す一般ベンチマークではありません。作業を継続できることと、各変更の品質は、実行記録とテスト結果を合わせて読む必要があります。
Kimi K3
長い文脈と、継続する実行力。
長い履歴を扱うAttentionを組み合わせ、処理ごとに多数の専門家から少数だけを選んで計算。モデルを大きくしながら計算を抑え、画像を参照する開発や長い作業へ対応を広げました。
研究・技術の背景
長い履歴と大きなモデルの計算を抑える
長い作業では履歴の保持が重くなり、モデルの容量を増やすと計算も膨らみます。K3は長い系列を効率よく扱うKimi Delta Attentionと、圧縮した情報を参照するGated MLAを併用。Stable LatentMoEでは多数の専門家から一部を選び、知識の容量と実際の計算量を分けます。
層の接続と専門家の選択も見直す
Attention Residualsは層をまたぐ情報の取り込み方を変え、固定的な加算だけに頼らず必要な表現を利用する構成です。専門家は896の候補から16を選び、共有する2つも使います。画像も扱う学習と組み合わせ、画面を参照する開発や長い作業へ能力を広げています。
効率の数値と提供日を読み分ける
公式資料はK2に対して約2.5倍のスケーリング効率を報告しています。これはモデル全体の設計についての評価であり、AttentionやMoEのどれか一つだけの効果ではありません。7月16日の発表と27日の重み公開も別の出来事です。長文脈の処理効率から、経済や市場の予測精度まで直接導くことはできません。
MiniMax M3
長い履歴から、必要な場所を選んで読む。
過去の情報を細かいブロックに分け、必要な範囲を選ぶMSAを導入。さらに、仕様変更や修正依頼をする利用者を模した環境で学び、長い会話を伴う開発への対応を目指しました。
研究発表を読む長文脈・学習方法研究・技術の背景
長い文脈を、毎回すべて照合しない
通常のFull Attentionでは入力が長くなるほど、情報同士の照合が急増します。MSAは過去の情報を細かなブロックに分け、現在の処理に必要なブロックを選びます。読む範囲を絞る一方、区切り方を細かくして必要な情報を拾いやすくすることで、長い履歴の処理負担を減らします。
GPUが同じ情報を何度も読まないようにする
計算の対象を減らしても、メモリの読み方が非効率なら速度は上がりません。M3は情報ブロックを先にまとめ、そのブロックを必要とする問い合わせを集めて処理する「KV outer gather Q」を採用。同じブロックを一度読み、連続したメモリへアクセスすることで、疎な計算の利点を実機の速さへつなぎます。
対話中に変わる要求も、学習と評価へ
利用者を模した環境が、要件の確認、途中の仕様変更、修正依頼を行い、継続的な共同作業を学習・評価します。別途、100万トークンの条件では前世代比で一語当たりの計算が20分の1と報告。これはMSAを含むM3の評価であり、M3.1の高速化率とは異なる比較です。
Attention Residuals
過去の層の情報を、選んで使う。
各層の出力を一律に足し続ける残差接続を、過去の表現から必要な情報を選ぶAttentionへ変更。推論課題の成績と、同じ損失まで学ぶ計算効率の両面を検証した研究です。
研究・技術の背景
一律の足し合わせから、必要な表現の選択へ
通常の残差接続は、前の層の出力を固定した重みで蓄積します。深くなるほど個々の層の寄与が薄まり、隠れた状態の大きさも増えることが課題です。AttnResは、過去の層の表現をsoftmax Attentionで重み付けし、現在の処理に必要な情報を選んで取り込みます。
層のまとまりを作り、保持する情報量を抑える
各層には学習する小さな問い合わせベクトルを置き、過去の表現から取り込む重みを求めます。すべての層の出力を保持するFull AttnResに対し、Block AttnResは層をブロックに分け、ブロック内は通常の加算、ブロック間はAttentionを使います。深さ方向の情報選択を、実際に学習できるメモリ量へ収める設計です。
能力の得点と、学習の計算効率を分けて比較する
Kimi Linearの構成と学習データ量をそろえた比較で、GPQA-Diamondは36.9から44.4、MATHは53.5から57.1へ改善。別のスケーリング実験では、Block AttnResが従来方式の1.25倍の計算で得た損失に到達したと報告しています。前者は能力、後者は学習効率の評価であり、推論速度が1.25倍になったという数値ではありません。
Engram / Conditional Memory
覚えた並びを参照し、推論へ計算を残す。
短いトークンの並びを、内部の学習済みメモリから取り出す仕組みを追加。頻出する情報を毎回層の計算で組み立てる負担を減らし、同じパラメータ数・演算量でも推論や知識の評価を改善しました。
論文（arXiv初版）能力向上 / 記憶と計算研究・技術の背景
記憶の参照を、毎回の計算から切り分ける
通常のTransformerは、頻出する並びの情報も層の計算を通して再構成します。Engramは、短いトークン列をハッシュで内部の埋め込み表へ対応付け、学習した表現を取り出します。外部文書を検索するRAGとは異なり、モデルの中に記憶を参照する部品を設ける方式です。
取り出した記憶を、その文脈で使うか判断する
同じ並びでも文脈によって意味が変わり、ハッシュの衝突も起こり得ます。そこで現在の隠れた状態と取得した表現からゲートを計算し、取り込む量を調整します。複数のハッシュ表、トークン表現の圧縮、文脈に応じたゲートを組み合わせ、単純な表引きをモデル内の情報処理へ結び付けます。
同じ容量・演算量で、能力が変わるかを測る
総パラメータ数と演算量をそろえた27BのMoE比較で、BBHは50.9から55.9、ARC-Challengeは70.1から73.8へ改善。知識だけでなく数学・コードも評価しています。主な結果は、同じ予算で解ける課題を増やしたことです。CPU側メモリからの先読みも検証していますが、この得点をそのまま実行速度の倍率へ読み替えることはできません。
GDPO
正確さも、形式も。複数の基準で学ぶ。
正確さ・形式・回答の長さなどの報酬を、合計する前にそれぞれ正規化。異なる良し悪しが同じ学習信号に潰れる問題を減らし、複数の要件を満たす回答へ調整する方法です。
論文（arXiv初版）複数報酬の強化学習研究・技術の背景
合計点だけでは、良し悪しの違いが消えることがある
複数の基準を使う強化学習では、正確さ、決められた形式、回答の長さを同時に評価します。GRPOで報酬を先に合算してから回答の集団内で正規化すると、異なる報酬の組み合わせが同じ更新信号になる場合があります。何がよく、何を改善すべきかの区別が失われ、学習が進まない、途中で崩れる問題を論文は示しています。
基準ごとに正規化してから、学習信号を合わせる
GDPOは「報酬ごとの集団内正規化 → 合算 → バッチ全体で正規化」の順に処理します。先に各基準での相対的な良し悪しを求め、最後の正規化で更新信号の大きさも安定させます。報酬の違いを保つための強化学習の変更であり、好まれる回答の組から直接調整するDPOとは別の手法です。
正答率と形式遵守を、同じ条件で比べる
BFCL-v3のツール利用評価では、Qwen2.5-1.5Bを5回ずつ学習した平均で、GRPOに対し正答率が30.18%から32.81%、形式遵守率が76.33%から80.66%へ改善。数学では正確さと長さ、コードでは正確さ・長さ・バグ率も検証しています。複数の目標を扱う改善であり、すべての基準が常に同時に上がる保証ではありません。
2025
考える。試す。実行する。
推論・エージェントと、行動の先を予測する研究。mHC / Manifold-Constrained Hyper-Connections
情報の流れを広げ、学習の発散を抑える。
残差の情報経路を複数へ広げるHyper-Connectionsに、混ぜ方の制約を追加。情報を柔軟に渡す能力を保ちながら、深いモデルの学習が不安定になる問題を抑える研究です。
論文（arXiv初版）能力・学習安定性 / 層の接続研究・技術の背景
情報経路を増やすと、信号も増幅しやすくなる
Hyper-Connectionsは、従来の一つの残差経路を複数へ広げ、経路間を学習して接続します。表現の受け渡しを豊かにする一方、制約のない混合を深さ方向へ重ねると、信号が大きくなり学習が不安定になります。mHCは、この接続の柔軟さと安定性を両立させるための変更です。
混合する係数に、行と列の制約を設ける
残差経路を混ぜる行列を、要素が非負で行・列それぞれの和が1となる形へ近づけます。Sinkhorn-Knoppの反復によってこの制約を適用し、経路間の情報を混ぜても過度に増幅しにくくします。実装では演算の融合、再計算、通信との重ね合わせも使い、複数経路が増やす負担を抑えています。
安定性と、下流課題の能力を別々に確かめる
27Bモデルで損失と勾配の推移を比較し、HCで見られた不安定さを軽減。下流評価ではHCに対してBBHが48.9から51.0、DROPが51.6から53.9へ改善しました。学習が安定することと、各課題の得点が上がることは別の検証で、全課題でHCを上回る結果ではありません。
Gemini 3
理解、推論、ツール利用を一つの流れに。
複数形式の情報を理解する能力に、推論とツール利用を組み合わせました。製品では、依頼に合わせて画面を生成したり、複数工程のタスクを進めたりする形で提供しています。
公式発表推論・実行研究・技術の背景
理解・推論・実行を、一つの依頼につなぐ
複雑な仕事では、画像や資料を読む能力に加え、条件を比較する推論と、外部の道具を使う能力が必要です。Gemini 3の発表は、これまで別々に伸びてきた能力を組み合わせ、複数の入力から依頼の意図を捉えて仕事を進める方向を示しています。
モデルを、画面や実行環境へ組み込む
依頼に応じた画面の生成や、複数工程を進めるGemini Agentは、モデルの出力を表示・操作・ツール実行へ接続した製品です。モデルが次の処理を考え、実行環境が操作を行い、その結果を再びモデルへ返すことで、回答を一度出して終わる使い方から広がります。
発表から確認できること
公式資料は推論・マルチモーダル理解の評価と製品での使い方を紹介しています。一方、この統合を生んだ詳細な訓練手順までは公開していません。生成画面の使いやすさやエージェントの完了率は、モデルの試験得点に加えて、周囲の製品機能を含めて確かめる対象です。
Ouro / Looped Language Models
何度考えるかも、学習する。
同じ層を反復する仕組みを事前学習へ組み込み、内部状態を更新。さらに、いつ反復を終えるかを学ぶゲートを設け、推論の深さと計算量を調整する研究です。
論文（arXiv初版）内部反復・適応的計算研究・技術の背景
重みを共有し、内部表現を繰り返し更新する
Ouroは同じTransformerの層を反復し、その出力を次の反復へ渡します。新しい層の重みを積み上げる代わりに、同じ重みで計算の深さを増やします。事前学習からこの構造を使い、知識を記憶する容量を増やすことと、得た知識を組み合わせて推論する計算を増やすことを分けて検証しています。
一つの反復数に固定せず、終了する深さも学ぶ
各段階の予測の損失を、終了ゲートが選ぶ深さの確率で重み付けします。事前学習ではエントロピー正則化により、ゲートが早い段階で一つの終了位置へ偏りすぎることを抑制。その後、ゲートを重点的に調整して終了位置を選びやすくします。利用時のしきい値でも、早く終えるか深く計算するかを変えられます。
少ない重みでの推論力と、反復の上限を確かめる
論文の比較では、4回反復する2.6BのThinkingモデルがBeyondAIMEで39.0、Qwen3-8Bが38.0でした。一方、最大4回で学習したBaseモデルは、多くの評価で5〜8回へ増やすと性能が低下します。重みの数を抑えても反復分の計算は必要で、学習した範囲を超えて繰り返せば改善し続けるわけではありません。
GPT-5
問いに合わせて、考え方を使い分ける。
軽い質問には高速なモデル、難しい質問には深く考えるモデルを、ルーターが選択。すべての質問に重い推論を使うことを避け、速さと難しい問題への対応を両立する構成です。
公式発表推論研究・技術の背景
速さと深い推論を、毎回人が選ばなくてよい構成へ
深く考えるモデルは難しい課題に有効でも、短い質問に毎回使うと時間や費用が増えます。GPT-5は、高速に答えるモデル、深く推論するモデル、そのどちらを使うか選ぶルーターを含むシステムとして発表されました。
ルーターが依頼に合わせて処理を選ぶ
ルーターは依頼の複雑さ、会話の文脈、使うツール、利用者の意図などから処理先を決めます。すべてを一つの重い処理で解く代わりに、必要な課題へ推論の計算を配分します。これは一つのモデルの内部で思考量だけを変える方式と、システムとしての構成が異なります。
能力と振り分けの両方が品質を決める
発表はコード・数学・健康分野などの能力や、事実誤認の改善を評価しています。ただし実利用の品質は、各モデルの能力に加えて適切な処理先を選べるかにも依存します。深い推論を使うべき依頼が軽い処理へ回れば、個別モデルの高い得点だけでは補えません。
Genie 3
操作に応じて、世界が変わる。
直前までの場面とユーザーの操作を受け取り、次の映像を生成。操作に応じて世界の見え方が変わるため、同じ動画の再生ではできない探索や試行が可能になります。
公式発表ワールドモデル研究・技術の背景
次の映像を予測し、操作できる世界にする
通常の動画生成は、でき上がった映像を見る使い方が中心です。Genie 3は直前までの場面と利用者の操作を受け取り、その先の映像を逐次生成します。操作によって視点や展開が変わるため、あらかじめ一本の動画を作る方式では難しい探索が可能になります。
一貫した場面を保ちながら、生成を続ける
物体や場所の関係を保ち、視点を変えても同じ環境として見えることが課題です。公開デモは720p・毎秒24フレームの対話的な生成と、数分間の一貫性を報告。直前の一枚を自然に描くだけでなく、操作の履歴を反映して場面を続けることを重視しています。
エージェントの試行環境につながる研究
操作に応じて変化する環境は、エージェントが行動を試す場としても期待されます。ただし発表時は限定的な研究プレビューです。映像が自然につながることと、力学や物体の性質が正確なことは異なるため、実世界の行動計画へ使うには対象の環境で検証する必要があります。
Kimi K2
ツールを使い、環境から学ぶ。
ツールを使う作業の学習データを大規模に合成し、実環境・合成環境とのやり取りで強化学習。単発の回答だけでなく、道具の結果を見て次の操作を選ぶ能力を育てました。
論文を読むエージェント研究・技術の背景
大規模な学習を、途中で不安定にしない
Muonによる学習では、Attentionの照合スコアが過大になり、学習が不安定になる問題がありました。MuonClipは、過大なスコアを生むヘッドだけでQueryとKeyの重みを調整。必要な箇所へ介入を絞り、15.5兆トークンの学習で損失の急増を起こさなかったと報告しています。
道具を使う経験を、大量に作る
ツールの定義や環境を用意し、依頼を受けて操作し、結果から続きを決める軌跡を合成します。さらに実環境と合成環境とのやり取りを強化学習へ取り込みます。回答文だけの学習に比べ、道具の選択、引数の作成、失敗後の修正を含む経験を増やす方法です。
対話とコード修正の完了で確かめる
技術報告はツール利用のTau2-Benchで66.1、実際の課題を修正するSWE-bench Verifiedで65.8を報告しています。学習の安定化とエージェント用データ・強化学習を組み合わせた結果です。表示日はモデルの最初の提供日ではなく、7月28日の技術報告の公開日です。
LFM2
AIを、小さな機器でも動かす。
短い範囲を軽く処理する畳み込みと、離れた情報を参照するAttentionを組み合わせました。実機の速度・メモリ制約も設計に取り込み、CPUや小型端末での推論を効率化する研究です。
研究・技術の背景
モデルの設計に、実機の制約を戻す
計算量が小さくても、端末上でメモリ転送や演算の実装に時間がかかれば速く動きません。LFM2は実機の速度やメモリ使用量を設計の評価へ取り込み、精度と実行効率を合わせて探索します。理論上の演算数だけで構造を選ばないことが特徴です。
近くの情報と遠くの情報を、異なる方法で扱う
ゲート付きの短い畳み込みで近傍の並びを軽く処理し、Grouped-Query Attentionで離れた情報を参照します。すべての層で同じ重いAttentionを使う構成を避け、局所的な処理と広い参照を組み合わせる設計です。LFM2を単に微分方程式型のLiquid Networkと同一視することはできません。
端末内で使える能力を評価する
発表と技術報告は、CPUなどでの推論速度・メモリと、言語・推論のベンチマークを併せて比較しています。小型化で失う能力を抑えながら、手元の環境で応答できることが狙いです。7月10日はモデルの発表日で、構造を詳述する技術報告は11月28日に公開されました。
MiniMax M1
長く読み、長く考えるために。
長い文脈を扱う計算を軽くするLightning Attentionと、強化学習を安定・効率化するCISPOを採用。長い資料を読み、長く推論する処理を、少ない計算で行うことを目指しました。
論文を読む長文脈・推論研究・技術の背景
長い推論で膨らむ計算を抑える
回答の前に長く推論するモデルでは、学習中に回答を生成する費用も大きくなります。M1はLightning Attentionと通常のAttentionを組み合わせ、さらに一部の専門家だけを使うMoEを採用。長い文脈を扱う効率を、利用時だけでなく強化学習の生成処理にも生かします。
古い生成結果を使う学習の更新を見直す
強化学習では、回答を作った時と学習で更新する時でモデルが変わるため、その違いを重要度の重みで補正します。CISPOはこの重みを制限し、トークンの更新自体を切り捨てる方式と区別します。生成済みの経験を学習へ利用しながら、極端な補正による不安定さを抑える工夫です。
正解判定と実行環境から学ぶ
数学などはルールによる正誤判定、ソフトウェア開発は隔離された実行環境、一般的な課題は評価モデルを使って報酬を得ます。長い推論へ段階的に学習を広げ、複数分野で評価。同社の10万トークン生成条件では、DeepSeek R1に対する演算量の削減を報告していますが、すべての端末での速度比較ではありません。
V-JEPA 2
映像で世界を学び、行動の先を考える。
動画の一部を隠し、その内容を表す特徴を予測して学習。さらに少量のロボット操作データで「この動作でどう変わるか」を学び、物をつかんで置く計画に使いました。
論文・研究発表ワールドモデル研究・技術の背景
映像の細部より、変化を表す特徴を学ぶ
動画の一部を隠し、隠れた部分を特徴の空間で予測する自己教師あり学習を行います。画素を一つずつ再現する代わりに、物体や動きの理解に役立つ表現を学ぶ方式です。大量の動画から学ぶ段階では、ロボットの操作指示や作業ごとの報酬を必要としません。
行動した後の状態を、モデル内で比べる
その後、62時間未満のロボット軌跡で、現在の状態と行動から次の特徴を予測するモデルへ調整します。目標画像に近づく行動の列をモデル内で探し、実際に動いた後は観測を取り直して計画します。映像理解の表現を、行動の結果を比較するための予測へつなぐ方法です。
実際のロボットで計画を検証する
論文は映像理解・行動予測に加え、2つの研究室のFrankaロボットで把持や配置を評価しています。対象のロボットから新たに学習データを集めず、作業別の報酬設計なしで計画した点が特徴です。検証対象はこうした操作課題で、あらゆる現実の変化を予測した実験ではありません。
Claude Opus 4 / Sonnet 4
考える途中で、道具の結果を確かめる。
推論の途中で検索やコード実行などのツールを呼び、その結果を受けて再び考える仕組みを提供。外部の結果を確かめながら、長い開発・調査を進められるようにしました。
公式発表エージェント研究・技術の背景
考えてから道具を使うだけでなく、結果を見て考え直す
長い調査や開発では、最初に作った計画だけでは足りません。Claude 4は拡張された推論の途中に検索やコード実行などのツールを挟み、その結果を受けて推論を続ける使い方を提供。外部で得た情報やテストの結果を、次の判断へ戻せるようにしました。
推論と実行環境が循環する
モデルが呼ぶツールと引数を選び、実行環境が処理し、結果を会話へ戻します。必要に応じて複数のツールを並行して呼ぶ機能も紹介されています。モデルが内部だけで回答を完結させる方式と比べ、外部の事実を確かめながら手順を修正できる構成です。
長い仕事を終えられるかで測る
発表はソフトウェア修正などの評価と、継続的な開発での利用例を示しています。完了率はモデルだけでなく、ツール、与える履歴、実行時間にも依存します。公開情報から、推論とツールを組み合わせる能力を確認できますが、その能力を生んだ詳細な学習工程までは特定できません。
Qwen3
速さと深さを、同じモデルで選ぶ。
同じモデルを、推論の途中経過を生成するモードと、直接答えるモードで学習。さらに考える量を指定できるようにし、モデルを切り替えずに応答速度と推論の深さを調整できます。
研究・技術の背景
推論する回答と、すぐ答える回答を両立する
長い推論に特化したモデルと通常の対話モデルを別々に用意すると、用途ごとの切り替えが必要になります。Qwen3は、長い推論例での初期調整、正誤を使う強化学習を行った後、推論あり・なしのデータを統合。一般的な対話の強化学習も重ね、同じモデルで両方を扱います。
考える長さを、利用時の予算にする
Thinking Budgetは推論に使う量を指定する仕組みです。難しい問題には多く配分し、応答時間が大切な処理には少なくすることで、能力と待ち時間の関係を調整します。小型モデルには大型モデルの推論を蒸留し、すべてを最初から同じ費用で学習する負担も減らします。
統合による得失を、別々に確かめる
技術報告は数学・コード・ツール利用などの評価に加え、思考予算による得点の変化や、推論モード統合・蒸留の比較実験を掲載しています。単に長く出力すれば正解になるという主張ではなく、同じモデルで計算量を変えたときの性能と、通常の応答を保てるかを検証しています。
DAPO
長い推論を、学び続けられるように。
回答の多様性を保つ更新と、学習信号のある問題を選ぶサンプリングを組み合わせました。長い推論で起きる学習の停滞や報酬のノイズに対処し、数学の得点と学習の効率を改善する研究です。
論文（arXiv初版）能力・学習効率 / 強化学習研究・技術の背景
答え方が固定すると、探索も学習信号も減る
強化学習の途中で似た回答ばかり生成するようになると、別の解き方を探索しにくくなります。また、同じ問いへの回答が全部正解、または全部不正解で同じ報酬なら、集団内の相対評価から更新信号を得られません。DAPOは、この二つを含む長い推論の学習上の問題に対処します。
探索・問題選別・長文の評価を合わせて変える
Clip-Higherは、確率の低い選択肢を増やす側の制限を緩め、探索の余地を保ちます。Dynamic Samplingは報酬に差のある問題群がバッチを満たすまで生成・選別。さらに損失をトークン単位で集計し、長い回答の学習を改善します。長さ上限による打ち切りへの報酬処理も見直し、不適切な罰を減らします。
得点の改善と、学習の進み方を比較する
Qwen2.5-32Bを使う段階的な比較で、AIME 2024は素朴なGRPOの30からDAPOの50へ改善。指標は32回の評価平均で、32候補から最もよい答えを選ぶ評価ではありません。学習ステップの削減も報告していますが、データ・複数の手法・実行基盤を含む結果で、Dynamic Samplingだけの効果や推論速度を示す数値ではありません。
Claude 3.7 Sonnet / Claude Code
考えるAIが、開発の現場に入る。
通常の応答と時間をかける推論を同じモデルで使い分け、APIから推論量を指定できるようにしました。同時発表のClaude Codeは、モデルにファイルや実行結果を渡し、開発を進める道具です。
公式発表開発・推論研究・技術の背景
速い応答と拡張された推論を、同じモデルで使う
Claude 3.7は、通常の回答と、途中の推論へ時間を割く拡張モードを提供しました。APIでは推論の予算を指定でき、依頼の難しさに応じて速さと深さを調整できます。専用の別モデルを毎回選ぶ方式から、一つのモデルの使い方を変える方向への更新です。
モデルを、開発の実行環境へつなぐ
同時発表のClaude Codeは、ファイルを読み、変更し、コマンドを実行して結果をモデルへ返します。モデルがコードを生成する能力と、リポジトリの状態を渡して実行する道具は別の役割です。この循環によって、短いコード補完から既存プロジェクトでの作業へ用途が広がります。
推論の深さと、開発の完了を測る
発表は推論の予算による評価の変化と、実際の課題を修正するソフトウェア開発の結果を示しています。長い推論が常に最善ということではなく、費用や待ち時間も変わります。内部の訓練手順は非公開の部分があり、公開された利用上の切り替えと評価結果から理解する項目です。
Looped Transformer / Reasoning with Latent Thoughts
重みの数より、計算の深さが効く問題。
同じTransformerの層を繰り返して使い、内部表現を更新。新しい重みを増やして深くしたモデルと比較し、推論課題では重みの共有によっても計算の深さを生かせることを検証しました。
論文（arXiv初版）内部反復・推論の深さ研究・技術の背景
難しい推論には、容量よりも段階数が必要か
加算や関係を順にたどる問題では、途中の結果を使って次を計算する必要があります。この研究は、層を増やして新しい重みを持たせる方法と、同じ層を繰り返す方法を比較。多くの重みを記憶する容量と、段階を重ねて情報を操作する能力を切り分けています。
同じ層を反復して、実効的な深さを増やす
k層をL回使えば、異なる層をkL層持つモデルに近い計算の段階数を作れます。反復ごとに変わるのは内部の状態で、共有する重みではありません。論文は、パラメータ数をそろえた比較と、演算量をそろえた比較を分け、内部の反復が推論へどう効くかを調べています。
推論と記憶で、効果が違うことを示す
合成した加算・多段の関係追跡に加え、言語モデルの数学や文脈付き質問応答で評価。複数の推論課題で、同じ実効的深さの非反復モデルに近い成績を、より少ない重みで得ました。ただし、知識の記憶が中心の課題では同じ優位性は得られません。理論上のCoTとの関係も、実モデルの全能力が等価だという証明ではありません。
Huginn / Recurrent Depth
長い文章とは別の方法で、深く考える。
回答を長く書く代わりに、共有するブロックを内部で反復。学習時から反復数を変えて訓練し、同じ重みのまま、利用時に計算を追加して推論力を高める方法を検証しました。
論文（arXiv初版）内部反復・推論時計算研究・技術の背景
同じブロックへ、更新した状態を戻す
入力を処理する層、繰り返す中間ブロック、出力する層を分けます。Huginnの3.5Bモデルでは、入力側2層と出力側2層の間にある4層を32回使うと、計算上は132層の深さになります。保持する重みは8層分のまま、中間の4層を共有して内部表現を更新します。思考文のトークンを増やすこととは別の計算です。
反復数を変えても動くように、学習から準備する
学習する系列ごとに反復数を抽選し、複数の深さで次のトークンを予測できるよう訓練します。学習時は最後の一部の反復だけを逆伝播して、メモリと更新計算を抑制。既存の固定深度モデルをそのまま何度も呼び直すのではなく、内部での反復を前提に作り、学習させる構成です。
同じモデルへ計算を足す効果を測る
論文は反復数を変え、ARCなどの推論、数学、コードの評価を比較。データなどをそろえ、1,800億トークンで学習した非反復の比較モデルに対しても、難しい課題で改善を確認しています。追加の重みを保持せず計算を増やせますが、その分の演算と待ち時間は必要です。
DeepSeek R1
強化学習から、推論する力へ。
数学の正解やコードのテスト結果を報酬にして、正しく解ける回答を増やす強化学習を実施。人が書いた解き方をまねるだけでなく、試した結果から推論を改善する方法を示しました。
論文を読む推論研究・技術の背景
人の解答をまねる以外の方法で、推論を育てる
R1-Zeroは、教師ありの初期調整を挟まず、事前学習モデルへ直接強化学習を行う実験です。数学の正解やコードのテスト結果、回答形式を報酬にし、正しく解けた回答が増えるよう更新。人がすべての推論手順を書き下す代わりに、試した結果から解き方を改善します。
回答の集団を比べて、更新の基準にする
GRPOは同じ問いに複数の回答を作り、その集団内での報酬の差を使います。別の大きな価値推定モデルを置く負担を減らす方式です。一方、R1-Zeroでは読みづらさや言語の混在も生じたため、公開されたR1は少量の初期データ、推論の強化学習、選別した回答での教師あり調整、追加の強化学習を組み合わせています。
推論能力と、小型モデルへの移植を検証する
論文は数学・コードなどの評価に加え、R1が生成した回答を小型モデルへ学習させる蒸留も報告しています。正解を判定できる課題で推論を育て、その成果を別のモデルへ移せることを示した研究です。R1-Zeroの実験と、複数段階で仕上げたR1の成績は分けて読む必要があります。
2024
読む。見る。考える。動かす。
情報の形式、文脈の長さ、行動の範囲が広がる。DeepSeek V3
高い能力を、効率よく学習する。
一部の専門家だけを使うMoEに加え、計算の多い部分をFP8という軽い数値形式で学習。精度が必要な部分は高精度を保ち、GPUメモリと計算の負担を抑えました。
論文を読む効率化研究・技術の背景
大規模モデルの学習を、計算と通信の両面で軽くする
MoEは一部の専門家だけを使うことで計算を抑えますが、専門家間やGPU間の通信も負担になります。V3は計算と通信を重ねるDualPipeを採用し、専門家の負荷も分散。GPUが通信を待って止まる時間を減らし、大きなモデルを効率よく学習させます。
軽い数値形式を、誤差が増えない範囲で使う
演算量の多い行列計算にFP8を使い、細かな単位で量子化して誤差を抑えます。誤差に敏感な箇所や積み上げる計算は高精度を保持。複数トークンの予測も学習へ加え、次の一語だけを学ぶ場合より豊かな学習信号を得る構成です。単純に全演算を8ビットへ置き換えた方式ではありません。
能力を保ったまま、学習資源を削減できるか
技術報告は言語・数学・コードなどの評価と、FP8や学習設計の比較実験を示しています。報告されたGPU時間や費用は、指定された構成での正式な学習を対象とし、研究や比較実験全体の費用ではありません。構造、数値計算、分散実行を合わせて効率を上げた点が中心です。
Claude 3.5 Sonnet / Computer Use
画面を見て、クリックして、入力する。
画面の画像を入力し、クリックする位置やキー入力をAIが選びます。操作後の画面を再び見て次の操作を決めるため、専用APIのないソフトウェアにも操作で対応できます。
研究・技術の背景
APIの代わりに、人が見る画面を使う
ソフトウェアごとに専用の連携APIを作る方式では、対応していない画面を操作できません。Computer Useはスクリーンショットを読み、クリック位置やキー入力を出力する方式です。画面上の位置と操作を結び付けることで、ブラウザーや既存アプリを共通の入口から扱います。
操作後の画面を、次の判断へ戻す
モデルが操作を選び、実行環境がマウスやキーボードを動かし、変化した画面を再びモデルへ渡します。Anthropicは電卓やテキストエディターなどの単純な環境で操作を学ばせ、別の画面への応用を試しました。固定した手順の再生と異なり、画面の変化に応じて続きを選ぶ構成です。
一回のクリックより、仕事の完了を評価する
公開時は実験的な機能で、PC操作のOSWorldなどで能力を評価しました。スクロールやドラッグ、通知への対応など、複数の操作が続く場面は依然として難しい課題です。操作命令を作れることと、依頼を最後まで正しく終えられることを分けて測る転換点です。
OpenAI o1
答える前に、時間をかけて考える。
回答前の推論を強化学習で育て、利用時にも考えるための計算を使う設計へ。OpenAIは、学習時と回答時の計算量を増やすと、数学やコードの評価が改善することを示しました。
研究発表推論研究・技術の背景
回答前の推論を、強化学習で育てる
o1は、正しい答えにつながる推論を強化学習で学ぶモデルとして発表されました。途中で方針を変えたり、誤りを見直したり、別の解き方を試す振る舞いを育てます。利用時に「よく考えて」と指示するだけでなく、考える処理そのものを学習対象にした点が重要です。
学習時と回答時の計算を、それぞれ増やす
事前学習の規模だけでなく、推論を学ぶための強化学習と、回答を出すまでの計算量も性能を伸ばす軸になります。公開資料は、この二つを増やしたときの得点の変化を示しています。即答する構成より待ち時間は増えますが、難しい課題へ計算を追加する余地ができます。
数学・コード・科学で効果を確認する
OpenAIは数学競技、コード、科学分野の問題で評価しています。一回の回答と複数候補から選ぶ評価では条件が異なるため、得点をそのまま同じ性能として扱えません。初期提供はo1-previewとo1-miniで、研究上の評価と、その時点で利用できた製品も区別されます。
GPT-4o
文字、画像、音声を、一つの対話へ。
従来は音声認識・言語処理・音声合成に分かれていた対話を、音声・画像・文章を扱う一つのモデルで学習。声の調子などの情報も扱い、応答の遅れを減らす方向へ進みました。
公式発表マルチモーダル研究・技術の背景
音声対話を、三つのモデルへ分ける負担を減らす
従来の音声対話は音声認識、文章での応答、音声合成をつなぐ構成でした。この境界で声の調子などの情報が失われ、各処理の待ち時間も積み重なります。GPT-4oは文章・画像・音声を一つのモデルで学習し、入力から出力までを扱う方向へ変えました。
音声の内容以外も、応答に利用する
文章へ起こすだけでは、話者の調子、笑い、周囲の音などを十分に渡せません。音声を直接扱う構成は、こうした情報を残して対話するための基盤です。OpenAIは音声入力への応答時間を最短232ミリ秒、平均320ミリ秒と報告し、自然な会話に近い間隔を目指しました。
研究デモと、提供された機能を分ける
発表では言語・画像・音声の評価と対話デモが示されましたが、初日に一般提供されたのは主に画像・文章の機能です。音声などは段階的な展開でした。低い遅延の対話を実現する構造の変化と、各機能が製品で使えるようになった時点は別々に読む必要があります。
DeepSeek V2
履歴を圧縮し、計算する専門家を選ぶ。
過去の情報を保持するメモリをMLAで圧縮し、処理に使う専門家をMoEで選びます。長い入力を扱うメモリと計算の負担を減らし、高い能力のモデルを動かしやすくしました。
論文を読む効率化研究・技術の背景
長い履歴を保持するメモリを圧縮する
Attentionでは、過去の情報を参照するためのKeyとValueを保存します。履歴が長くなると、このKVキャッシュがGPUメモリを圧迫します。MLAはKeyとValueを共同で低次元の表現へ圧縮し、推論中に保持する量を減らす方式です。入力文書を短く要約する処理とは異なります。
専門家を細かく分け、必要な部分だけ動かす
DeepSeekMoEは専門家を細かく分け、一部を入力に応じて選びます。共通して使う専門家と、用途に応じて選ぶ専門家を分け、知識の重複と計算の負担を抑えます。MLAが主に履歴のメモリを、MoEが主に処理の計算を減らす、異なる役割を持つ組み合わせです。
メモリ・速度と、能力を併せて検証する
論文はDeepSeek 67Bとの比較でKVキャッシュ93.3%減、最大生成スループット5.76倍を報告しています。言語・コードなどの評価も行い、軽くするだけでなく能力を維持・改善できるかを確認。倍率は論文の実行条件に基づき、あらゆる入力長や端末で同じ速度になる数値ではありません。
Gemini 1.5
長い情報を、つながったまま読む。
入力に応じて一部の専門家を使うMoEを採用し、長い文脈を扱う学習を実施。文書をまたぐ情報や長い動画内の出来事を、同じ入力の中で参照する能力を広げました。
研究・技術の背景
文書を切り分ける前に、長い文脈を渡す
資料が長いと、必要な箇所を先に選んで渡す必要があり、その段階で情報を落とすことがあります。Gemini 1.5は、長い文章、動画、音声を同じ文脈で扱う能力を拡張しました。MoEで入力に応じた専門家を使い、長文脈を扱う学習と組み合わせています。
長く入ることと、関係を読めることを確かめる
技術報告は、長い入力の中から指定された情報を探す試験に加え、文書をまたぐ質問や動画理解、入力内の資料から未知の言語を学ぶ課題を評価しています。情報を見つける能力と、複数箇所を結び付ける能力を分けて調べる構成です。
扱える長さを、理解の保証にしない
100万トークン規模の入力を扱うことは大きな変化ですが、長さの上限だけでは全体を正確に読めるかは分かりません。課題や情報の位置による評価が必要です。モデルの発表は2月、ここに表示する3月8日は技術報告の初版公開日です。
DeepSeekMath / GRPO
回答の集団を比べ、推論を学ぶ。
数学データの選別と追加学習に、同じ問いへの複数回答を比較するGRPOを組み合わせました。別の価値モデルを学ぶ負担を減らしながら、数学の推論能力を育てる研究です。
論文（arXiv初版）能力・学習効率 / 数学推論研究・技術の背景
数学の材料と、学び方の両方を整える
DeepSeekMathはWebから数学に関係するデータを選別し、コードを学習したモデルへ追加の事前学習を行います。さらに解答例を使う教師あり調整と強化学習を実施。数学の能力を、学習アルゴリズムだけでなく、データの質と量、コードの学習経験も含めて検証しています。
価値モデルの代わりに、回答群の報酬を基準にする
PPOでは、更新の基準を作る価値モデルも学ぶため、計算とメモリが必要です。GRPOは同じ問いへの回答を複数生成し、その報酬の平均やばらつきから相対的なよさを求めます。別の価値推定モデルを省き、その分の学習資源を抑える方式で、後のR1や複数報酬を扱うGDPOにつながります。
モデル全体の正答率と、GRPOの省資源化を分ける
論文は7Bモデルで、外部ツールや多数決を使わずMATHの51.7%を報告しています。これは数学データの追加学習・教師あり調整・GRPOを組み合わせた結果です。正答率の改善をすべてGRPO単体へ帰すのではなく、データによる能力の向上と、価値モデルを省く学習効率を分けて理解する必要があります。
Mixtral 8×7B
すべてを使わず、必要な専門家で考える。
各層にある8つの専門家から、入力に応じて2つだけを選択。すべてを計算せずに多くのパラメータを利用できるため、能力を保ちながら推論の計算を減らす設計です。
論文を読む効率化研究・技術の背景
モデルの容量と、一回の計算を切り分ける
モデルを大きくすると通常は推論の計算量も増えます。Mixtralは各層に8つの専門家を置き、トークンごとにルーターが2つを選び、その出力を組み合わせます。多くのパラメータを保持しながら、毎回すべてを動かさないSparse MoEの設計です。
選ばれなかった専門家は、その処理を計算しない
総パラメータは約470億でも、一つのトークンで使うのは約130億です。これにより、すべてのパラメータを使うモデルより少ない演算で多くの容量を利用できます。ただし専門家の重みを保持するメモリは必要で、計算量の削減とメモリ量の削減は同じではありません。
同じ計算量でどこまで能力を得られるか
技術報告は言語・数学・コード・多言語の評価で、密な構造のモデルと比較しています。MoE自体の発明ではなく、公開モデルで能力と実行効率の両立を示した研究です。モデル公開は2023年12月、表示する2024年1月8日は論文の公開日です。
2023
対話の外へ、知能が広がる。
モデルの公開、好みからの学習、想像の中での行動改善。Gemini 1.0
世界の情報を、複数の形式で理解する。
文章だけでなく画像・音声・動画を組み合わせて学習。異なる形式の情報を共通に扱い、映像と説明文の関係など、一種類の入力では分からない内容の理解を目指しました。
論文を読むマルチモーダル研究・技術の背景
文章へ変換してから扱う方式を越える
画像や音声を別のモデルで文章に直すと、元の形式に含まれる情報が落ちます。Gemini 1.0は、文章・画像・音声・動画を扱うマルチモーダルモデル群として開発されました。異なる形式の情報を組み合わせて学習し、それらの対応関係も利用することを目指します。
複数形式の情報を、同じ問いで使う
図と説明文を照らし合わせたり、動画と音声から内容を理解したりする課題では、一種類の入力の精度だけでは足りません。技術報告は言語の試験に加え、画像・音声・動画を含む課題を用意し、統合した理解を評価しています。用途に応じたUltra・Pro・Nanoのモデル群も示しました。
モデルの能力と、製品の入口は別の段階
技術報告に載るモダリティが、すべて同日に製品で利用できたわけではありません。研究が示す複数形式の理解と、製品側で受け付ける入力の範囲を分ける必要があります。この転換点は、文章を中心に他の処理をつなぐ構成から、複数形式を前提に学ぶ方向へ進んだことです。
Mamba / Selective State Spaces
残す情報を選び、長い系列を扱う。
入力に応じて内部状態へ残す情報と忘れる情報を変える、選択的な状態空間モデルを提案。Attentionで全履歴を照合する方法とは異なる構造で、言語の能力と長い系列の処理効率を検証しました。
論文（arXiv初版）能力・推論効率 / 状態空間モデル研究・技術の背景
固定した状態更新では、重要な内容を選びにくい
状態空間モデルは過去を内部状態へまとめて処理できますが、更新の仕方が入力内容に応じて変わらない構成では、言語の重要な情報を選びにくい課題がありました。Mambaは入力から状態更新のパラメータを作り、現在のトークンに応じて、何を保持し何を忘れるかを変えます。
内容を選ぶ再帰計算を、GPUで効率よく実行する
入力に依存する更新を導入すると、従来の効率的な畳み込みが使えなくなります。そこで状態の更新をGPUのメモリ階層に合わせた並列走査で計算。推論では圧縮した状態を引き継ぎ、系列の長さに対して線形に処理します。入力長に比例する状態更新と、情報を選べることを組み合わせた設計です。
言語の得点と、実行速度を独立に評価する
論文ではMamba-3Bが同規模のTransformerを言語評価で上回り、約2倍の規模のモデルに匹敵する結果を報告。別の推論ベンチマークでは約5倍のスループットも示しています。前者は能力、後者は指定されたモデル・実行条件での効率です。長文のあらゆる検索や推論でAttentionを上回るという結論ではありません。
Ollama / Docker
AIを、自分の環境で動かす。
モデルの取得、GPUを使う推論、アプリから呼ぶAPIを一つの実行基盤にまとめました。Dockerにも対応し、手元やサーバーでモデルを動かす導入作業を簡単にしました。
当時の発表ローカル実行研究・技術の背景
モデルを取得して動かすまでの手間を減らす
重みが公開されても、対応する実行方式、GPUの利用、アプリから呼ぶAPIを個別に用意する必要があります。Ollamaはモデルの取得と実行を共通の操作へまとめ、ローカルの言語モデルをアプリから使うための入口を提供しました。
実行環境を、Dockerで持ち運ぶ
この日は公式Dockerイメージを公開。依存関係をまとめたコンテナを起動し、モデルを取得してAPIから呼べるようにします。モデルの能力を学習で上げる研究ではなく、環境を作り直す負担を減らし、手元とサーバーで運用しやすくする基盤の更新です。
自分の環境で処理するという選択肢
ローカル構成では、推論のための入力を外部APIへ送らず処理できます。一方、必要なメモリや速度はモデルと端末に依存します。後のクラウド機能とは区別し、どこで処理が実行されるかを選べることが、この基盤を評価する重要な点です。
Llama 2
自分で使い、改良する選択肢が広がる。
学習済みの重みを公開し、利用者が自分の環境で推論や追加学習を行えるようにしました。外部サービスだけに依存せず、業務向けの調整や運用方法を選ぶ道を広げました。
論文を読むモデル公開研究・技術の背景
学習済みの重みを、自分の環境で使えるようにする
外部APIだけでは、提供条件や処理先を利用者が自由に変えることはできません。Llama 2は事前学習済みモデルと対話向けモデルの重みを公開し、手元での推論、追加学習、運用設計の選択肢を広げました。重みの提供と研究内容の公開が、再利用の基盤になります。
文章の学習から、対話の調整へ進む
約2兆トークンでの事前学習の後、対話向けには回答例による教師あり調整と、人の比較評価を使うRLHFを実施。人が選ぶ回答を増やす工程と、安全性を調整する工程を組み合わせます。事前学習モデルをそのままチャットへ出す構成とは異なります。
再利用できることと、利用条件を読むこと
論文は一般能力・対話品質・安全性を評価し、調整の工程も説明しています。一方、提供はLlama 2独自のライセンスに従います。公開された重みを使って再現・調整できる範囲が広がった転換点ですが、無制限な利用を認めるライセンスと同義ではありません。
Process Supervision / PRM800K
答えだけでなく、途中の推論を評価する。
最終回答の正誤だけを学ぶ評価器に対し、推論の各段階へ人が評価を付けて報酬モデルを学習。複数の解答候補から正しいものを選ぶ能力が、どう変わるかを検証しました。
論文（arXiv初版）能力向上 / 解答の選別研究・技術の背景
正しい答えでも、途中の推論が正しいとは限らない
最終回答だけを採点すると、途中に誤りがあって偶然正解した解答にも高い評価が付きます。Process Supervisionは各推論段階へ評価を与え、どこまで正しく、どこで誤ったかを学習信号にします。研究の中心は、解答を生成するモデルではなく、解答を評価する報酬モデルの改善です。
段階ごとの評価から、候補全体のよさを求める
人が付けた段階単位の評価でPRMを学習し、生成された解答の各段階が正しい確率を予測します。その予測を解答全体のスコアへまとめ、多数の候補から選びます。PRM800Kでは学習に使う約80万件の段階評価を公開し、評価すべき解答を選ぶActive Learningの効果も調べています。
一回の回答と、多数の候補からの選択を区別する
論文のMATH部分集合では、同じ生成器の1,860候補から選ぶ正答率が、最終結果を評価するORMの72.4%に対しPRMは78.2%でした。これは候補選択の能力の改善で、一回の生成が78.2%正解したという結果ではありません。人の評価を集める費用と、多数の候補を生成・採点する計算も必要です。
Direct Preference Optimization
好ましい回答から、直接学ぶ。
望ましい回答の確率を上げ、望ましくない回答の確率を下げるよう直接調整。別の報酬モデルと強化学習のループを使わずに、人の好みに沿う応答へ近づける方法です。
論文を読む学習方法研究・技術の背景
好みに合わせる学習の複雑さを減らす
標準的なRLHFは、人の比較を学ぶ報酬モデルを作り、その点数を使って回答を生成・更新する強化学習を回します。DPOは、好まれる回答と好まれない回答の組から、言語モデルを直接調整します。別の報酬モデルと学習中の生成ループを省く方法です。
元のモデルからの変化を基準に、回答の差を学ぶ
同じ問いへの二つの回答について、現在のモデルと参照モデルの生成確率を比較します。好まれる回答を相対的に出しやすくしつつ、元のモデルからの過度な逸脱も抑える目的関数です。一定の仮定の下で、制約付きの報酬最大化を分類問題として解き直しています。
同じ好みのデータで、調整結果を比べる
論文は生成文の感情の制御、要約、単発の対話を評価し、RLHFと同等以上の結果を、より簡単な学習工程で得られると報告しています。学ぶのは比較データに含まれる好みであり、事実の正しさや数学の解法を自動で判定する仕組みではありません。
QLoRA
少ないメモリで、大きなモデルを調整する。
事前学習した重みを4ビットで保持し、追加した小さなLoRAの重みを学習。能力を保ちながら追加学習のメモリを減らし、65Bモデルを単一48GB GPUで調整できる構成を示しました。
論文（arXiv初版）効率化 / 追加学習のメモリ研究・技術の背景
本体の重みを軽く保持し、差分だけを学ぶ
大きなモデルの追加学習は、重みだけでなく勾配や最適化の状態にもメモリを使います。QLoRAは事前学習した本体を固定し、量子化した重みを通して計算しながら、LoRAの差分だけを更新します。保存を4ビットにすることと、すべての演算を4ビットで実行することは異なります。
量子化と、メモリ使用量の急増へ対処する
正規分布に近い重みに合わせたNF4を使い、量子化の尺度も再び量子化して保存量を削減。Paged Optimizerで一時的なメモリ使用量の増加にも対処します。重みの固定、低ランクの差分、保存形式と最適化の工夫を合わせて、学習可能なモデル規模を広げます。
新しい能力の発明ではなく、調整の実行条件を変える
論文は65Bモデルを単一48GB GPUで追加学習し、評価した課題で16ビット調整に近い性能を保てると報告しています。主な改善は必要メモリの削減です。少ない資源でも用途に合わせた調整を試せるようになりますが、量子化だけで元のモデルの汎用能力が上がるという結果ではありません。
Grouped-Query Attention / GQA
参照する履歴を共有し、推論を軽くする。
複数のQueryヘッドでKey・Valueをグループ単位に共有。全ヘッドが個別の履歴を保持する方式と、すべてが一つを共有する方式の間を取り、品質と推論効率の両立を目指しました。
論文（arXiv初版）効率化 / 推論のメモリと速度研究・技術の背景
履歴を細かく持つほど、メモリの負担が増える
通常のMulti-Head Attentionでは、各ヘッドのKey・Valueを履歴として保持します。Multi-Query Attentionはそれを一つへ共有して推論を速くしますが、品質が下がる場合がありました。GQAはQueryをグループへ分け、グループごとにKey・Valueを共有して、この両極の間を調整します。
既存のモデルを、共有する構造へ追加学習する
元のKey・Valueヘッドをグループ内で平均して初期化し、追加の事前学習で構造の変更へ適応させます。最初からモデル全体を作り直す代わりに、既存のMulti-Headモデルを使う方法です。論文は元の事前学習計算の5%を使う調整手順を検証しています。
品質を保つことと、実行を軽くすることを測る
比較実験では、Multi-Headに近い品質と、Multi-Queryに近い推論速度を報告しています。主な改善はKVキャッシュと読出しの負担を抑えることです。新しい推論課題を解く能力そのものの飛躍ではなく、品質を保ちながら既存の能力を動かしやすくする設計です。
GPT-4
文章の先に、画像も理解する。
画像と文章を一緒に入力できるモデルを開発。図を見て説明文と照らし合わせるなど、文章だけでは渡せなかった情報を質問に使えるようにしました。内部構造の詳細は技術報告では非公開です。
技術報告マルチモーダル研究・技術の背景
画像の情報を、そのまま質問へ使う
GPT-4の技術報告は、画像と文章を入力し文章を出力するモデルを説明しています。図や写真を人が文章へ置き換えてから質問する代わりに、視覚情報と指示を一緒に渡せます。図と条件の対応を読むような課題へ、言語モデルの用途を広げた研究です。
能力の評価は公開し、内部の詳細は限定する
大規模な事前学習と、指示へ合わせる調整を行ったことは説明されていますが、モデル規模、詳細な構造、データ、学習計算などは非公開です。能力の向上を特定のAttentionやMoEの効果として説明できる資料ではありません。公開された評価と入力・出力の範囲から理解する必要があります。
試験の成績と、利用できる範囲を分ける
専門分野の模擬試験や言語・推論のベンチマークで旧世代と比較し、画像を含む課題も紹介しています。製品の発表は3月14日、論文は15日で、画像入力も当初は限定的でした。試験で高得点を得ることと、実務で専門家の判断を代替できることは別の検証対象です。
Claude
役に立ち、意図に沿うアシスタントへ。
有用性・誠実さ・無害性を重視する研究を、対話画面とAPIで利用できる形にしました。要約や質問応答に加え、口調・振る舞いの指示を受け取るアシスタントとして提供されました。
公式発表アライメント研究・技術の背景
指示に沿うアシスタントを、製品へつなぐ
最初のClaudeは、有用性・誠実さ・無害性を重視するAnthropicの研究を、対話画面とAPIから利用できる形にしました。自然な文章を続ける能力だけでなく、利用者が指定した目的や口調に沿って応答することを、提供する価値の中心へ置いています。
回答の内容と、振る舞いを調整する
要約・質問応答・文章作成・コードなどを同じ対話で扱い、振る舞いを指示で変えられることを紹介しています。先行するConstitutional AIは調整研究の背景ですが、製品発表だけでは最初のClaudeの全訓練工程は分かりません。研究の手法と、製品の仕様を混同しないことが必要です。
組み込み先で、対話の品質を確かめる
公開記事は外部製品との連携例や利用者の評価を示しています。これは実際の利用への展開を示す一方、共通条件で能力を比較する技術論文とは異なります。APIを通じて自社の情報や業務へつなげられることが、モデルの研究からサービス利用への転換点です。
Toolformer
いつ道具を使うかを、学ぶ。
API呼び出しを生成・実行し、続く文章の予測に役立った呼び出しを選んで再学習。道具を呼ぶタイミング、種類、引数を学び、計算や情報参照を外部の機能で補う能力を育てました。
論文（arXiv初版）能力向上 / ツール利用研究・技術の背景
文章の予測だけでは、計算や事実の参照が難しい
言語モデルは流暢な文章を作れても、算術や情報の確認を間違えることがあります。Toolformerは、電卓、質問応答、検索、翻訳、カレンダーなどのAPIを使う場面をモデルへ学ばせます。単に呼べる道具を設定するだけでなく、いつどの道具を使うかを訓練する研究です。
役立った呼び出しを、学習データに残す
モデルが文章へAPI呼び出しの候補を挿入し、実際に実行します。その結果を渡すことで続くトークンの予測損失が減ったものを選別。呼び出しと結果を含む文章を使って追加学習し、有用だった使い方を増やします。必要性の判断を、生成・実行・選別・再学習の循環へ結び付けた方法です。
道具を使う能力と、本体だけの能力を分ける
ASDivの算術評価では、同じ学習済みToolformerでAPIを無効にした場合の14.8に対し、有効時は40.4でした。改善には電卓の実行結果が含まれます。モデル本体の暗算能力だけがこの差だけ上がったわけではなく、外部の機能を適切に呼んで結果を使うシステムとしての能力です。
DreamerV3
頭の中で試し、行動を改善する。
実際の経験から環境モデルを学び、その中で多数の将来の展開を試して行動を改善。実環境での試行とモデル内の学習を組み合わせ、共通の設定で多様な制御タスクを学びました。
論文を読むワールドモデル研究・技術の背景
実環境だけで試し続ける負担を減らす
行動を学ぶたびに実際の環境で試す方式は、多くの経験を必要とします。Dreamerは観測と行動の履歴から環境モデルを学び、そのモデル内で将来の展開を多数生成します。実際の経験を集める工程と、想像した経験から行動を改善する工程を組み合わせる方法です。
予測・評価・行動の三つを学ぶ
環境モデルは、圧縮した状態と行動から次の状態や報酬を予測します。Criticは将来の価値を評価し、Actorはその評価が高くなる行動を学びます。V3は値の変換、正規化、学習項のバランスを見直し、報酬の大きさや環境が違っても、個別の細かな調整に依存しにくくしました。
同じ設定で、多様な課題へ使えるか
共通の設定で150以上の制御課題を評価し、Minecraftでは人の操作データや専用のカリキュラムなしでダイヤモンドを獲得する学習を報告しています。画像をもっともらしく作ることよりも、モデル内の予測が実際の行動の改善につながるかを検証した研究です。
2022
学び方を、設計する。
データと計算の配分、評価に基づく調整、対話へ。Constitutional AI
原則を使い、AIの振る舞いを育てる。
原則に照らしてAIが回答を批評・修正し、回答同士の比較もAIに行わせます。その結果を学習に使い、人による有害性の採点を減らしながら安全な応答へ調整する研究です。
論文を読むアライメント研究・技術の背景
人がすべての有害な回答を採点する負担を減らす
AIの回答を安全な方向へ調整するには、多くの比較評価が必要です。Constitutional AIは、人が選んだ原則に照らしてAI自身が回答を批評・修正し、その結果を学習へ使います。安全性の基準を原則として与え、個々の回答への人の採点を減らす方法です。
自己修正と、AIの比較評価を二段階で使う
まず回答を原則に沿って修正し、修正後の回答で教師あり調整を行います。次に複数の回答をAIに比較させ、好みのデータから報酬モデルを作り、強化学習へ利用します。人のフィードバックを使うRLHFに対し、AIのフィードバックを使う段階をRLAIFと呼びます。
安全性と有用性の両方を確かめる
論文は有害な依頼への応答を、人の評価も用いて比較しています。単に拒否を増やすだけでなく、理由を説明しながら有用な対話を保つことが課題です。原則は人が選ぶため価値判断が不要になるわけではなく、AIによる好みの評価も事実の検証とは異なります。
ChatGPT
会話しながら、AIと仕事をする。
人が書いた対話例と、回答を比較した評価を使ってモデルを調整。聞き直しや条件の追加に応じて回答を更新できる対話画面として公開し、AIを試す入口を大きく広げました。
当時の発表対話研究・技術の背景
指示への回答を、継続する会話へ広げる
ChatGPTは、一つの依頼への回答だけでなく、聞き直し、条件の追加、誤りの指摘に応じる対話として公開されました。初期の教師あり調整では、人が利用者とアシスタントの両方を演じて対話を作成。単発の文章よりも、前後のやり取りを含むデータで応答を学びます。
回答例を学んだ後、人の好みで調整する
会話への複数の回答を人が比較し、その順位から報酬モデルを学習します。続いて、その点数を使う強化学習で好ましい回答を増やします。InstructGPTと同系統のRLHFを対話へ適用し、次の文章を予測する能力を、依頼へ応じる振る舞いへ調整した構成です。
研究を、多くの人が試せる入口にする
2022年11月30日の公開は研究プレビューで、利用者から実際の応答へのフィードバックも集めました。対話のしやすさは大きな変化でしたが、もっともらしい誤答なども公開時から説明されています。言語モデルの発明ではなく、学習方法と対話画面を組み合わせて広く利用へつないだ転換点です。
FlashAttention
同じAttentionを、少ないメモリ転送で。
GPUの大きなメモリへAttentionの中間行列を何度も書き出す代わりに、小分けにしてチップ内で計算。参照範囲を近似で省かず、学習の実行時間とメモリの負担を減らす方法です。
論文（arXiv初版）効率化 / Attentionの実行研究・技術の背景
演算数だけでなく、メモリの読み書きが時間を使う
通常のAttentionは、情報同士の照合と正規化で大きな中間行列を作ります。それをGPUのメインメモリへ読み書きする負担が、実際の実行速度を制約します。FlashAttentionは、演算量を減らすことだけを目指す代わりに、GPUのメモリ階層に合わせて処理を組み直します。
小分けの計算と、途中で更新できる正規化を使う
Query・Key・Valueをブロックへ分け、速いチップ内メモリへ収まる範囲で照合します。softmaxに必要な値を逐次更新して結果を合わせることで、巨大な中間行列を保存しません。逆伝播でも一部を再計算し、保存量と読出しを減らします。Attention自体を近似する方式とは異なる最適化です。
能力の得点と、学習の速さを混同しない
論文の系列長1KのGPT-2学習では、処理全体で約3倍の高速化を報告しています。主な改善は同じAttentionを効率よく実行することです。使える文脈や学習規模を広げる基盤になりますが、実行方式を置き換えただけで同じ重みのモデルの正答率が上がるという結果ではありません。
Chinchilla / Compute-Optimal Training
大きさだけでなく、学ぶ量を設計する。
同じ計算予算で、モデルを小さくする代わりに学習データを4倍へ。Gopherより少ないパラメータで多数の評価を上回り、モデルの大きさとデータ量の配分が重要だと示しました。
論文を読む学習方法研究・技術の背景
大きいモデルほどよい、だけでは計算を使い切れない
同じ計算予算でも、モデルの大きさと学習するデータ量の配分で性能は変わります。研究では400以上のモデルを、異なる規模とデータ量で学習。予算を固定したときに、どの組み合わせが損失を小さくできるかを複数の推定方法で調べました。
容量を増やすだけでなく、十分に学習させる
研究の条件では、計算を増やす際にパラメータ数と学習トークン数をおおむね同じ割合で増やす配分が有効でした。既存の大型モデルには、容量に対して学習データが不足するものがあると指摘。小さなモデルをより多くのデータで学習する選択肢を示しています。
同じ予算のGopherと比較する
700億パラメータのChinchillaを、2,800億のGopherと同程度の計算予算、約4倍のデータで学習し、多数の評価で上回ったと報告しています。これは事前学習の配分についての実験です。利用時の推論費用や、どんなデータを増やすかまで一つの式だけで決める結論ではありません。
STaR / Self-Taught Reasoner
自ら作った推論を、次の学習へ。
正解付きの問題と少数の推論例から解き方を生成し、正答に至ったものを学習へ戻す循環を提案。推論の説明をすべて人手で作らずに、段階的な推論を育てる研究です。
論文（arXiv初版）能力向上 / 生成データの学習研究・技術の背景
推論の説明を、大量に人が書く負担を減らす
途中の推論を学習させるには、問題と答えだけでなく解き方のデータも必要になります。STaRは正解付きの問題集合と少数の推論例から始め、モデル自身が説明を生成して学習材料を増やします。正解の確認を伴うため、外部の基準なしに自己評価だけで改善する方法ではありません。
生成し、選別し、再学習する循環を作る
まず推論と答えを生成して、正答に至ったものを追加学習します。間違えた問題には正解も与えて説明を作り直し、その説明も学習へ利用。モデルを更新した後、また問題を解かせます。正解を予測するだけの調整に対し、正解へ至る生成された推論を学ぶ点が異なります。
推論データの作り方が、能力へどう効くかを測る
論文は算術やCommonsenseQAで、直接答えを学ぶ方式、推論例を入力するだけの方式、反復して再学習する方式を比較し、成績の改善を報告しています。主な変化は学習データの作成と能力です。最終回答が合っていても説明が必ず正しいとは限らず、生成した説明の忠実さは別の評価対象です。
InstructGPT / RLHF
続きを書く力を、意図に沿って答える力へ。
人が書いた回答を学んだ後、人が好む回答を採点するモデルを作り、その点数で強化学習。文章を自然につなぐだけでなく、利用者の指示に沿って答える能力を改善しました。
論文を読むアライメント研究・技術の背景
文章の続きを予測する目的を、利用者の指示へ近づける
事前学習の目的は、必ずしも利用者が望む回答を作ることと一致しません。InstructGPTはまず、人が書いた望ましい回答で教師あり調整を実施。続いて同じ依頼への複数の回答を人が順位付けし、指示に沿う振る舞いを学ぶ材料にしました。
比較から報酬を学び、その点数で更新する
人の順位を予測する報酬モデルを作り、その点数が高くなるようPPOで言語モデルを更新します。同時に、元のモデルから離れすぎないための制約も設けます。自然な文章の学習、回答例の模倣、人の好みによる調整が、それぞれ別の役割を担う構成です。
小さくても、好ましい回答へ変えられるか
論文では13億パラメータのInstructGPTの回答が、1,750億のGPT-3より人の評価で好まれました。モデルの大きさだけで指示への適合は決まらず、調整方法が重要と示した結果です。人が好むという評価と、あらゆる事実・推論が正しいことは同一ではありません。
Chain-of-Thought
答えに至る、途中の考え方を扱う。
答えだけでなく、そこに至る途中の推論も入力例として示します。大きな言語モデルが途中の考えを生成するようになり、数学・常識・記号の問題で正答率が改善しました。
論文を読む推論研究・技術の背景
答えに至る途中も、文脈へ入れる
通常の入出力例だけでは、複数の計算や関係をつなぐ問題が難しいことがあります。この研究は、答えまでの途中の推論を含む例を入力へ加え、モデルにも途中を生成させる方法を検証しました。重みを追加学習するのではなく、利用時の文脈の与え方を変える手法です。
一度の判断を、続けて生成する処理へ分ける
途中の記述を次の生成の入力として使うことで、問題を段階に分けて扱う余地ができます。論文はモデルの規模によって効果が変わり、小さいモデルでは同じ改善が得られにくいことも示しています。単に推論の文章を長くすればよいという方法ではありません。
数学・常識・記号の課題で比較する
同じモデルで、途中の推論を含む場合と答えだけの例を使う場合を比較し、大規模モデルで正答率が改善したと報告しています。後の推論モデルの強化学習とは別の研究です。また、生成された説明がモデル内部の判断を忠実に表すことまで検証したものではありません。
2021
言葉から、コードへ。
プログラミングを支えるAIが形になる。FLAN / Instruction Tuning
初めての種類の依頼にも、指示から応える。
多様な課題を自然言語の指示と回答へ変換して学習。同じモデルが、調整で扱わなかった種類の課題にも指示から対応できるかを検証し、未知の依頼への適応を改善しました。
論文（arXiv初版）能力向上 / 未知の指示への適応研究・技術の背景
課題ごとの調整から、指示に応える学習へ
分類、読解、翻訳などを個別の仕事として学ぶ代わりに、何をするかを自然言語で記した指示と回答として学びます。FLANは60を超える課題をこの形式へそろえ、多様な依頼に応える振る舞いを訓練しました。後の対話モデルにつながるInstruction Tuningの研究です。
未知の課題を残して、転用できるか調べる
評価する種類の課題を学習から外し、その課題へ追加学習せずに指示から回答させます。単に学習した設問を覚えたかではなく、指示に応じる能力が別の仕事へ移るかを見る設計です。比較実験では、課題の多様さ、モデルの規模、指示の有無などの効果も調べています。
規模の拡大ではなく、学習目的による能力の変化
初版の比較では、137BのFLANが、ゼロショットの175B GPT-3を25課題中19で上回りました。未調整の同じモデルとの比較も行っています。主な改善は未知の指示への適応です。モデルのパラメータを増やした効果や、生成を速くした効果とは分けて評価する必要があります。
Codex
言葉で伝えたことが、コードになる。
大量の公開コードで言語モデルを追加学習し、説明文からコードを生成。生成したPythonをテストで採点するHumanEvalを用意し、文章の自然さではなく動くかどうかで能力を測りました。
論文を読むコード生成研究・技術の背景
自然なコードより、実行して動くコードを目指す
Codexは公開コードで言語モデルを追加学習し、説明文からプログラムを生成します。通常の文章の予測だけでは得にくい、構文、ライブラリの使い方、記述のパターンをコードから学ぶ方法です。論文では特にPythonの関数生成を評価しています。
テストを通るかで、生成物を採点する
HumanEvalでは人が作成した164の課題に対し、説明と関数定義からコードを生成し、テストで機能を評価します。文章としてもっともらしいかではなく、要求された入出力を満たすかを見る仕組みです。複数候補を生成した場合には、その中に正解がある割合も測ります。
一回の成功率と、複数候補の成功を分ける
論文のCodexは一回の生成で28.8%を解き、候補数を増やすと解ける課題も増えました。ただし候補を多く出して一つが通ることと、最初から正解を選べることは異なります。この評価は関数単位の課題であり、製品全体の安全性や運用を保証する試験ではありません。
LoRA / Low-Rank Adaptation
重みを全部変えず、必要な差分を学ぶ。
事前学習した本体の重みを固定し、少数のパラメータで表す差分を追加学習。用途に合わせた調整の品質を保ちながら、学習対象と必要なメモリを減らす研究です。
論文（arXiv初版）効率化 / 追加学習研究・技術の背景
用途ごとに、巨大な重み全体を調整する負担
すべての重みを更新する追加学習では、大きなモデルほど勾配と最適化の状態に多くのメモリが必要になります。LoRAは、用途への適応に必要な変更を低ランクの差分として表し、本体の重みを固定します。更新する量と、モデルが保持する容量を切り分ける方法です。
二つの小さな行列から、重みの変更を作る
元の重みWを固定し、小さい行列AとBの積による差分を足して使います。学習で更新するのはこの差分だけです。学習後は元の重みへ差分を合成でき、独立した追加層を毎回動かす場合と異なり、そのための推論時の遅延を避けられます。
調整の品質を保ちながら、必要資源を減らせるか
論文のGPT-3 175Bの構成では、Adamですべてを調整する方式に対し、学習対象のパラメータを約1万分の1、GPUメモリを約3分の1にできると報告。複数モデルで調整後の品質も比較しています。改善の中心は追加学習の実行条件であり、差分を付けるだけで未知の能力が得られるという研究ではありません。
Switch Transformers
容量を増やしても、すべては計算しない。
トークンごとに一つの専門家を選ぶシンプルなMoEを提案。利用できる重みの容量を広げつつ、毎回動かす部分を絞り、品質と事前学習の計算効率を両立させる研究です。
論文（arXiv初版）能力・学習効率 / 条件付き計算研究・技術の背景
容量を増やすことと、毎回の計算を分ける
通常のモデルは、どの入力にも同じ重みの多くを使います。MoEは複数の専門家を用意し、入力ごとに一部だけを使います。Switch Transformerは、各トークンを一つの専門家へ送るルーティングへ簡素化し、大きな容量を持つモデルの学習と実装を扱いやすくしました。
専門家の偏りと、学習の不安定さへ対処する
一部の専門家へ入力が集中すると、処理の詰まりや容量の無駄が生じます。負荷を分散する学習と、低精度でも安定させる数値計算の工夫を組み合わせ、通信や演算の負担を抑えます。専門家の数だけを増やすのではなく、選択と分散、安定した学習まで含む設計です。
同じ計算資源で、どの品質へ到達できるか
論文はT5-Base・T5-Largeを基準とする実験で、同じ計算資源を使い事前学習を最大7倍高速化したと報告し、多言語の評価も行っています。増やした容量を一部ずつ使うことで、学習効率と得られる品質の関係を変えます。この数値は学習実験の比較で、すべての推論が7倍速くなることを意味しません。
2020
文脈と知識が、能力を広げる。
指示への適応と、外部知識を参照する研究。GPT-3
一つのモデルが、さまざまな依頼に応える。
モデルの重みを更新せず、依頼の説明や少数の例を入力に含めてタスクを伝えます。同じモデルで翻訳・質問応答などに対応でき、用途ごとの追加学習を減らす方法を示しました。
論文を読む文脈からの適応研究・技術の背景
用途ごとの追加学習を減らす
GPT-3は大量の文章で事前学習した同じモデルへ、依頼の説明や少数の例を文脈として渡し、翻訳・質問応答・文章生成などを行わせました。新しい仕事のたびに重みを更新せず、その場の入力からタスクを捉えるIn-context Learningを大規模に検証した研究です。
モデルの規模と、文脈の使い方を比較する
例を入れないZero-shot、一つの例を入れるOne-shot、複数を入れるFew-shotを、異なる規模のモデルで比較しました。大きくなるほど文脈の例から得られる改善が広がります。依頼を入力している間に新たな学習データが重みへ保存される仕組みではありません。
汎用性と、残る課題を測る
最大1,750億パラメータのモデルを、多数の言語・推論課題で評価しました。多くの用途へ同じモデルを使えることを示す一方、すべての読解や常識推論で専用モデルを上回ったわけではありません。学習内容の再利用を、個別の追加学習から入力文脈へ広げた点が転換点です。
Retrieval-Augmented Generation
必要な知識を探してから、答える。
質問に関係する文書を外部の検索索引から取り出し、その内容と質問を生成モデルに渡します。モデルを毎回学び直さなくても、外部の知識を参照した回答を作る方法です。
論文を読む外部知識研究・技術の背景
知識を、モデルの重みだけに閉じ込めない
事前学習したモデルの知識は、更新や根拠の確認が難しいという課題があります。RAGは質問から関連する文書を検索し、その文書を条件に回答を生成します。外部の検索索引を交換できるため、知識を変えるたびに生成モデル全体を学習し直す構成から離れられます。
検索の候補と、回答の生成を結び付けて学ぶ
原論文は密なベクトル検索と生成モデルを組み合わせ、検索された文書ごとの確率を考慮して回答を学習します。回答全体で同じ文書を使うRAG-Sequenceと、生成位置ごとに文書の寄与を変えるRAG-Tokenを比較。単に検索文を貼るだけでなく、回答に役立つ検索も学ぶ構成です。
知識を必要とする課題で比較する
Wikipediaの索引を使い、質問応答や事実確認などで、検索を伴わないモデルや従来方式と比較しました。外部文書の利用で具体的な回答を得やすくする一方、索引に情報がない場合や誤った文書を取る場合は残ります。検索を追加するだけで出典の正しさや社内の権限管理まで保証されるわけではありません。
2019
言語の汎用化と、行動の計画。
文章の予測と、学んだ環境モデルによる探索。MuZero
学んだモデルで、次の一手を選ぶ。
行動に役立つ報酬や有利・不利を予測するモデルを学び、先の手を木構造で探索。ゲームのルールを事前に与えずに、予測と探索を使って行動を選ぶ方法を示しました。
論文を読むワールドモデル研究・技術の背景
探索に必要な環境モデルを、経験から学ぶ
AlphaZeroの探索には、ある手を指した後の盤面を計算するルールが必要でした。MuZeroは、観測を内部の状態へ変える表現、行動後の状態と報酬を予測する変化、方策と価値を出す予測を学習します。既知のルールで展開する代わりに、学んだモデルを探索へ使う構成です。
画面を再現するより、行動を選べる予測を作る
内部状態から元の画面全体を再現することは学習の目的ではありません。将来の報酬、どの手が有望か、局面の有利さを予測し、それを木探索へ渡します。判断に必要な情報を保つ表現を学ぶことで、画面の細部をすべて正確に模倣する負担を避けます。
ルールの異なるゲームで検証する
囲碁・チェス・将棋とAtariで評価し、既知のルールを探索に使う方式や従来のゲームAIと比較しました。ルールを与えないことは、経験が不要という意味ではありません。実際のプレイから学び、モデル内の予測と探索が実環境での成績を改善するかを検証しています。
GPT-2
文章の予測から、複数の能力が現れる。
文章の次の単語を予測する、一つの目的で大量の文章を学習。タスク専用の追加学習なしでも、読解・翻訳・要約などに初歩的に対応し、学習の汎用性を示しました。
公式発表・論文汎用化研究・技術の背景
一つの学習目的から、複数の仕事が現れるか
GPT-2は大量のWebの文章を使い、直前までの文脈から次のトークンを予測する目的で学習しました。用途別の教師あり調整を行わず、読解・翻訳・要約などへどこまで対応できるかを調べています。個別の課題を学ぶ前から、文章中の多様な処理を再利用する研究です。
入力の書き出しで、続きを作らせる
依頼に合う文脈を与え、その続きを生成することで、別々のタスクへ同じモデルを使います。大規模で多様な文章には説明、質問と回答、複数言語の対応などが含まれ、それらの規則を次のトークン予測から学ぶという発想です。専用の出力層を仕事ごとに作る方式とは異なります。
汎用性の兆しと、専用モデルとの差を測る
複数の課題で追加学習なしの性能を比較し、言語モデルの規模を増やす効果を報告しています。対応は初歩的な部分もあり、現在の対話アシスタントのような指示調整とは異なります。重みは最初にすべて公開されたのではなく、段階的に提供されました。
2018
言語と世界を、学ぶ出発点。
GPTの事前学習と、環境の変化を学ぶワールドモデル。Universal Transformers
同じ変換を繰り返し、必要な深さまで。
深さ方向で重みを共有し、同じ変換を繰り返して各位置の表現を更新。位置ごとに処理を止める仕組みも加え、系列全体を並列に扱いながら、必要な計算の深さを変える研究です。
論文（arXiv初版）重み共有・適応的深さ研究・技術の背景
学習した長さを超えると、解けなくなる課題
固定した深さのTransformerには、学習時より長い文字列のコピーや論理的な処理で、規則を十分に一般化できない課題がありました。Universal Transformerは、すべての位置を並列に扱うAttentionと、同じ変換を繰り返す再帰的な構造を組み合わせます。
単語を一つずつ進む反復ではなく、深さの反復
同じ処理段階では系列の各位置を並列に更新し、次の段階でまた同じ重みを使います。さらにAdaptive Computation Timeで位置ごとに終了を判断。簡単な位置と、より多くの更新が必要な位置を分けます。後のLooped Transformerへつながる、重み共有と適応的な深さの研究です。
規則の一般化と、言語課題の両方で評価する
文字列操作などのアルゴリズム課題、言語理解、翻訳を評価し、通常のTransformerと比較。論文はWMT14英独翻訳で0.9 BLEUの改善を報告しています。現在の大規模言語モデルと同じ条件の実験ではなく、反復する構造が複数の課題で役立つかを確かめた研究です。
Generative Pre-trained Transformer
言葉を学び、その力を別の仕事へ。
まず大量の文章の続きを予測して共通の言語表現を学び、次に少量の正解データで個別の仕事へ調整。同じモデル構造を大きく変えずに、読解や分類などへ転用しました。
研究発表・論文事前学習研究・技術の背景
正解付きデータが少ない課題へ、事前学習を転用する
分類や読解のたびに大量の正解データを用意することは難しいため、まずラベルのない文章から共通の表現を学びます。GPTはTransformerを使って文章の続きを予測し、その後に課題別の少量の正解データで調整する、二段階の学習を検証しました。
同じ構造へ、課題の入力を合わせる
分類・含意・質問応答などの入力を、モデルが扱えるトークン列へ変換します。課題ごとに複雑な専用構造を作る代わりに、事前学習したモデルをほぼ同じ形で使います。文章の前後関係を学んだパラメータを引き継ぐことで、限られた教師データを有効に使う設計です。
転用の効果を、複数の課題で確かめる
論文は12の自然言語理解課題で評価し、事前学習やモデルの構成を変える比較実験も行いました。Transformer自体は前年の研究が基盤です。この研究の中心は、生成的な事前学習と教師あり調整を組み合わせ、共通のモデルを複数の仕事へ転用できると示したことです。
World Models
環境の変化を、内部のモデルにする。
観測した画面を小さな表現に圧縮し、時間による変化をモデル化。そのモデルが作る仮想環境で行動を学び、元の環境へ移す実験で、内部モデルを使う学習の可能性を示しました。
論文を読むワールドモデル研究・技術の背景
見えている画面を、扱いやすい内部状態へ変える
画面の全画素を直接使って行動を学ぶ代わりに、VAEが観測を小さな潜在表現へ圧縮します。次にMDN-RNNが、過去の状態と行動から次の潜在状態の確率分布を予測。現在の見え方だけでなく、時間的な変化も内部で扱う構成です。
学んだ環境の中で、行動を練習する
小さなControllerが、圧縮された観測と予測モデルの記憶を受け取り、行動を選びます。予測された状態を続けて生成すれば、元のゲームを動かさずに仮想環境を作れます。状態の予測と行動の選択を分けることで、複雑な画面を扱う学習と、よい行動を探す処理を切り分けました。
仮想環境から、元の環境へ移せるか
CarRacingでは、予測モデルの記憶も使うことで、現在の画像表現だけの場合より成績が改善しました。Doomの回避課題では、学んだ仮想環境の中でControllerを訓練し、元の環境でも生存できることを検証。内部モデルの予測が、実際の行動へ役立つかを確かめた研究です。
THE NEXT QUESTION IS YOURS
この進化を、
あなたの事業ではどう使うか。
使える技術が変わると、取り組める課題も変わります。
事業の知識とデータをつなぎ、次の可能性を一緒に考えます。