本文へ移動
相談する

BLOG

AIが、AIを動かすプログラムを最適化する。Together Compilerの仕組み

Together Compilerは、AIを動かすプログラムをAIエージェントが繰り返し改善する仕組みです。モデルの知識を増やす追加学習とは、変える対象が異なります。毎回の起動待ちを減らす工夫と最大2.6倍という結果から、速さを測る条件や品質・費用の課題が浮かび上がります。

Together AIが公開したTogether Compilerの公式発表画像

同じAIでも、動かし方で待ち時間は変わる

AIへの質問が同じでも、返答の速さはモデルの大きさだけでは決まりません。計算をどう並べるか、GPUと呼ばれる計算用の半導体がメモリをどの順番で読むか、何人分の依頼をまとめるかでも変わります。Together AIが2026年11月4日に発表したTogether Compilerは、その実行プログラムをAI自身に改善させる仕組みです。

Compilerは、日本語ではコンパイラーと呼ばれ、通常はプログラムを機械が実行できる形へ変換するソフトウェアを指します。今回の取り組みは、変換に加えて、AIエージェントがコードを変更し、実機で測り、結果を受けて次の候補を作るところまでを繰り返します。

Together AIの公式発表

知識を増やす学習と、計算の手順を変える最適化

AIモデルには、学習で得た大量の数値である「重み」があります。質問を受けたモデルが、その重みを使って答えを計算する処理が推論です。Together Compilerが主に手を入れるのは、推論を実行するコードです。新しい知識を覚えさせる追加学習とは役割が異なります。

負荷に合わせてコード候補を作り、モデルを保持した二段階の環境で測り、品質などの検証を経て推論へ組み込む概念図。測定結果を次の候補に戻す。
論文をもとに作成した概念図。層のタイルは測定の範囲を示す模式表現で、実際のモデルの層数ではありません。冒頭はTogether AIの公式発表画像です。論文のシステム設計

例えば、GPUへ細かな仕事を何度も依頼する代わりにまとめて処理したり、同じデータを何度も読み直す箇所を減らしたりします。計算を速くしても、答えの品質を壊しては使えません。論文は最適化の予算を使い終えた段階で、品質やKVキャッシュの混入などを調べる検証を行うと説明しています。KVキャッシュは、過去の入力に関する計算結果を再利用するための記憶です。

論文:システム全体と検証の流れ

短い質問と長い資料では、得意な動かし方が違う

数行の質問を一人ずつ受ける場合と、長い資料を大勢が同時に読ませる場合では、負荷のかかる場所が変わります。前者は一人の待ち時間、後者は同時に処理できる量も重要になります。最も速い設定は一つに固定できません。

さらに、MoEと呼ばれるモデルでは、入力に応じて計算を担当する専門部分を選びます。依頼内容が変わると、特定の専門部分に処理が偏ることがあります。単純な乱数データだけで速くても、実際の依頼では同じ結果にならない理由です。

そこでTogether Compilerは、モデル、ハードウェア、入力の長さや同時実行数などの負荷の特徴を受け取り、その条件に合うコードを探索します。複数GPUへどう計算を分けるかも、性能を見積もる仕組みで候補を絞ります。

論文:入力分布と並列化の選び方

毎回起動し直さず、試す部分を入れ替える

実験のたびに巨大なモデルを読み込み、GPUを準備していたら、コードを試す回数が減ります。一方、計算の一部分だけを切り出すと、実際の動作から離れた測定になりがちです。

論文の工夫は、モデルを読み込んだ実行エンジンを保持し、計算を行う部分を差し替えて試すことです。少ない層で素早く候補を選別する環境と、より多くの層で実際に近い負荷を確認する環境を使い分けます。複数のエージェントが候補を用意することで、GPUが次の実験を待つ時間も減らします。

発表にある「252倍」は、比較した既存のエージェント式最適化システムに対する実験処理量の値です。利用者のチャットが252倍速くなるという意味ではありません。

公式発表:実験回数と測定精度の両立

最大2.6倍という結果は、どの条件の数字か

著者らは、Kimi K3、GLM 5.3、MiniMax M3.1 Flash、DeepSeek v4.1 Flashなどを対象に、公開されている高性能な推論構成と比較し、条件によって最大2.6倍のトークン毎秒を報告しています。トークンは文章を処理するときの単位です。これは著者らの評価であり、この記事で独立に再測定した結果ではありません。

論文の主比較では、モデル・ハードウェア・同時実行数ごとに、比較先と同じ並列化の方式を使ってコード最適化の効果を調べています。一方、低い同時実行数の別の実験では並列化方式も選び直しています。異なる実験をまとめて、同じGPU台数で必ず同じ倍率が出るとは読めません。

最適化には、設定ごとに24時間の探索と、二つの測定環境を動かすための計算資源を使っています。対象にはB200、B300、GB300、MI355X、Trainium2が含まれます。手元のPCや、任意のモデルですぐ同じ効果が得られるという発表ではありません。

論文:評価条件と比較結果

考察:速いコードより、正しく試し続ける仕組み

この取り組みから読み取れるのは、AIが一度だけ巧妙なコードを書くことに加え、改善の成否を素早く確かめる環境が重要になっていることです。実際の依頼に近い測定を返せれば、エージェントは失敗した候補を捨て、別の案へ進めます。

負荷が頻繁に変わり、同じモデルを大量に提供する事業者ほど、小さな改善を多くの推論に適用できます。一方、短時間しか動かさないモデルでは、探索に使うGPU時間を回収できない可能性があります。これは論文の一律な採算結果ではなく、最適化費用と、その後の利用回数から考えられる条件です。

論文:継続的な最適化の設計

限界:速さだけでは、導入の判断はできない

同じプログラムを続けて動かしても、計測値は揺れます。論文もその揺れを抑える工夫を説明しています。小さな改善を判断するときは、測定のばらつきより十分に大きい効果か、異なる入力でも維持されるかを確かめる必要があります。

実行コードの変更には、不正なメモリアクセスや停止、出力の変化も伴い得ます。論文の検証を経たことを、すべての用途で品質が完全に一致する保証へ広げることはできません。また、推論の高速化がそのまま利用料金の値下げになるかは、サービス側の運用や料金設定にも依存します。

利用者が見るべきなのは、最大倍率だけでなく、自分に近い入力と同時利用の条件での待ち時間、回答品質、料金です。開発側なら、探索の費用まで含めた総費用と、不具合が起きた際に戻せる構成を合わせて評価することが、実用上の意味を持ちます。

論文:測定のばらつきと実験プロトコル