本文へ移動
相談する

BLOG

動画から空間を復元する。NVIDIA「MetricTrail」は何を見ているのか

一台のカメラで撮った動画から、移動経路と周囲の3D構造を推定するMetricTrail。画像から距離を予測するAIと、位置関係を整える幾何学の計算を組み合わせます。長い映像で誤差を抑える工夫を、公式動画と実測の条件からたどります。

MetricTrail研究チームが公開した屋内外の3D復元結果。点の集まりで表した空間に、カメラの推定経路が重なっている。

カメラを持って歩いた映像から、空間の形を取り出す

部屋から廊下へ出て、中庭を通り、別の部屋へ入る。その動画には、同じ壁や入口が違う角度で何度も写ります。Computer Vision(コンピュータービジョン)では、そうした映像から「カメラがどこを動いたか」と「周囲がどんな形か」を推定できます。

研究チームによる公式動画(約1分39秒、音声なし)。映像と3D復元、カメラの推定経路を見比べられます。映像中の説明は英語です。出典:MetricTrail公式プロジェクト

NVIDIAなどの研究チームが2026年11月5日に論文を公開したMetricTrailは、長い動画を順次処理して、この二つを求めるシステムです。写真から距離を推定するAIと、複数の画像の整合性を計算する仕組みを組み合わせます。長い映像全体を一度に巨大なAIへ読ませることだけで、問題を解こうとしているわけではありません。

MetricTrailの公式プロジェクト

まず、画像上の位置と、空間の中の位置を分ける

写真の中で同じ大きさに見える二つの物も、近くの小物と遠くの大きな物かもしれません。1枚の画像だけでは、実際の距離や大きさが一意に決まらないためです。一方、カメラを動かすと、同じ物が画像の中で移る量や向きが変わります。この変化が、奥行きを推定する手掛かりになります。その計算では、カメラがどこにあり、どちらを向いているかも求めます。位置と向きの組を姿勢と呼びます。

二つの時刻の映像で同じ窓を結び、共通の空間の中でカメラの姿勢と奥行きを調整する概念図。AIの距離予測は固定した正解ではなく、初期値と緩やかな制約になる。
幾何学の役割を説明する手描きの概念図。映像・経路・視線は説明用で、実際の復元結果ではありません。少数の対応する部分を調整する処理と、後から配置する画面全体の奥行きも区別します。論文:処理の構成

カメラの姿勢が少し違うだけで、同じ壁を二重に重ねてしまうことがあります。逆に奥行きを間違えると、カメラの動きも正しく求めにくくなります。

カメラの焦点距離など、画面上の位置と光の方向を結び付ける設定が内部パラメーターです。これを与える場合と、動画から推定する場合も区別する必要があります。MetricTrailの速度を見るときに、この違いが重要になります。

論文:入力と、推定するカメラ・奥行き

写真からの距離予測を、計算の出発点と支えにする

MetricTrailが土台にするDPVOは、画像の小さな部分を選び、次の画像のどこに対応するかを追いながら、カメラの動きと奥行きを計算する方式です。画像の小領域をパッチと呼びます。対応する点が複数の画像で矛盾なく見えるように調整する計算が、バンドル調整です。

ここに、MoGe-2などのモデルが1枚の画像から推定した距離を加えます。単なる近い・遠いの順番だけでなく、実際の尺度に結び付く距離の予測を、パッチの奥行きの初期値として使います。さらに、調整中も予測から離れすぎないよう、緩やかな制約として残します。

予測を絶対の正解として固定するのではありません。複数の画像から得られる手掛かりと合わないときは、奥行きを変えられます。AIの予測に方向を示してもらい、画像同士の関係から修正する構成です。予測するモデルを改良した際、他の部分をすべて学習し直さずに取り入れられることも、この分離の利点です。

論文:距離予測を初期値と制約に使う

DINOv3は、別の角度でも同じ場所を探す手助けをする

視点や照明が変わると、同じ窓や床の模様でも見え方が変わります。距離の予測が良くても、別の場所を同じだと思って結び付ければ、復元は崩れます。そこでMetricTrailは、画像の特徴を取り出すDINOv3を、対応箇所を探す処理にも利用します。

DINOv3本体の重みは固定し、その特徴を既存の追跡器へつなぐアダプターと、DPVO側の処理を学習します。距離予測の追加だけで改善する実験と、この追加学習を含む完成したシステムの結果は、分けて読む必要があります。

学習には短い映像の断片を使います。論文では1サンプル15フレームで、専用の長距離軌跡の教師データを追加しない構成です。「長い映像で動く」ことと「長い映像全体を使って学習した」ことは同じではありません。

論文:特徴の接続と短いクリップでの学習

長い映像では、小さな誤差をため込まないことが難しい

一歩ごとの向きがわずかにずれるだけでも、長く歩くと到着位置は大きく離れます。映像からの位置推定にも、この誤差の蓄積があります。MetricTrailは、直近の限られた範囲で計算するDPVOの仕組みを保ち、距離や画像の特徴によって局所的な推定を強くします。 著者らは、KITTI、Oxford Spires、VBRという三つの評価用データで、RGB映像を使う比較条件の平均軌跡誤差が、評価した方式の中で最も小さいと報告しています。

MetricTrailの公式3D復元結果。屋内から屋外を通り再び屋内へ入る空間に、色分けしたカメラの推定経路を重ねている。
研究チームが公開した実際の復元結果。色付きの記号はカメラの推定経路です。画像は出典の全体・色を保って掲載し、冒頭のサムネイルも同じ画像から作成しています。出典:MetricTrail公式プロジェクト/論文(CC BY 4.0)

入力画像

公式の入力映像の一コマ。カウンター、柱、天井が写る。

復元した同じ場所

公式ページで対応する場所として示されているカウンター周辺の3D復元。
公式ページの入力画像と、その場所の復元を比較。欠けや位置のずれも含め、写真との違いを見るための資料です。色や構造は加工していません。出典:公式ページのLocal Details

以前の場所に戻ったとき、過去の位置とのつながりから修正するループ閉じ込みも、オプションとして使えます。論文では、これを使った結果に印を付け、使わない条件と区別しています。局所的な追跡と、戻ってきた際の広い範囲の修正は、異なる役割です。

画面全体の奥行きは、各フレームの距離予測を、推定したカメラの姿勢で共通の空間へ配置して作ります。局所計算がすべての画素の奥行きを一緒に最適化しているわけではありません。カメラの姿勢を更新した後は、その姿勢で配置し直せます。

論文:長い動画と密な3D復元

毎秒12.70フレーム。その前に何を準備しているか

著者らは、KITTI-02という走行映像をNVIDIA A100 GPUで処理した実験で、動作が安定した後に毎秒12.70フレームと報告しています。カメラの内部パラメーターを与えた場合、最初の出力まで約0.7秒、GPUメモリの最大使用量は3.21GBでした。

カメラの設定最初の出力・メモリ・継続中の処理
内部パラメーターを与える最初の出力:約0.7秒
最大GPUメモリ:3.21GB
安定後:12.70フレーム/秒
RGB映像から推定する起動時:約175秒
最大GPUメモリ:6.81GB
安定後:12.70フレーム/秒
KITTI-02、NVIDIA A100での著者らの報告。起動までの待ち時間と、動作が安定した後の処理量を分けています。この記事での追試結果ではありません。論文のRuntime analysis

内部パラメーターをRGB映像から求める場合は、起動時の待ち時間が約175秒、最大GPUメモリが6.81GBへ増えます。その後の処理量は同じ毎秒12.70フレームです。継続中の速さだけを見て、撮影を始めるとすぐ同じ速さで復元が出てくる、と理解すると条件を見落とします。

いずれも論文の特定の映像・GPUでの著者らの測定です。手元のPCやスマートフォンでの実測ではなく、映像の解像度や動きが変わっても同じ速さを保証する数字ではありません。

論文:A100での速度・起動時間・メモリ

何ができるようになり、何は別に確かめる必要があるか

空間を動画から再構成できれば、建物の記録、現場の状況把握、ロボットの地図づくりへつながる可能性があります。公式ページでは、入力映像と再構成を見比べる動画や、復元した空間を回して見るデモが公開されています。これらは形や位置の整合性を理解する材料になります。

ただし、点の集まりがきれいに見えることと、計測に必要な距離の精度があることは別です。論文のカメラ軌跡の評価では、正解との座標・尺度を合わせて誤差を測る条件もあります。軌跡の誤差が小さいことを、そのまま現場での寸法保証に置き換えることはできません。

また、MetricTrailは未来の物体の動きを予測したり、ロボットの行動を決めたりするシステムではありません。動く人や物、見えない場所、撮影のぶれなどを含む用途では、復元の欠けや誤差がどこに出るかを確かめ、その不確かさを行動側へ伝える仕組みが別に必要です。

論文:評価指標と比較条件

考察。AIと幾何学の分担が、長い映像を扱う鍵になる

この研究から読み取れるのは、画像の理解が進むほど、すべてを一つの巨大なモデルへ任せる以外の選択肢も強くなることです。AIは距離や対応の手掛かりを作り、幾何学の計算は複数の観測がつじつまを合わせるように調整します。両者の得意な部分を接続する設計です。

導入を検討するなら、まず「全体の形を見たい」のか「寸法を測りたい」のか「ロボットを動かしたい」のかを決めます。そのうえで、撮影条件に合う精度、開始までの待ち時間、処理の遅れ、映像全体を保存する費用を確認します。追跡する範囲が限られていても、復元した地図や履歴まで無制限に無料で保持できるわけではありません。

実装はViPEの公式リポジトリーに長い映像向けのmetrictrailパイプラインとして公開されています。論文を読むだけでなく、使う構成と入力条件を固定して結果を確かめられる点も重要です。この記事ではモデルの実行や性能の追試は行っていません。

ViPEの公式コードとMetricTrailの案内