本文へ移動
相談する

BLOG

Tesla Reality Viewとは? 車を動かすAIが、次の曲がり角を乗員に見せる仕組み

夜の交差点を前に、車はどちらへ進むつもりなのか。TeslaのReality Viewは、運転を担うAIが描く周囲の風景に、旋回や駐車の予定を重ねます。公式映像から、この画面で読み取れることと、映像だけでは測れないことをたどります。

夜の道路を走るTeslaの車内。中央ディスプレイに、自車を後方から見た街路が映っている。

フロントガラスと画面で、同じ道の見え方が変わる

Teslaの発表映像では、夜の通りを走る車の中央ディスプレイに、自分の車と、その先に続く街路が映ります。運転席に座っている人には見えない、自車の後方に少し浮かんだような視点です。これが、Teslaが11月21日に初期配信を発表した運転支援ソフトウェア「FSD v15」の新しい表示、Reality Viewです。

Tesla公式映像。15秒付近から夜のReality View、30秒付近から車内画面に触れる場面。表紙と動画の静止画も同映像より。

映像の15秒付近から、画面いっぱいに映っていた街路が、実は車内のディスプレイに表示されていたと分かります。フロントガラスの先にある道路と、画面の中で車を外から眺める視点。この二つを見比べると、Reality Viewがどんな映像を作っているのかがつかめます。

Teslaの発表とデモ映像を見る

街路を描くのは、運転に使うモデル

TeslaでAI開発を率いるAshok Elluswamyによると、周囲の様子を描いているのは、車の運転に使うのと同じモデルです。入力から出力までを一続きに学習する方式を「エンドツーエンド」と呼びます。ここで乗員が受け取る出力の一つが、車の周囲を別の視点から描いた映像です。

たとえば、前を走る車を画面に出すとします。「車がこの位置にいる」という認識結果があれば、そこに車のアイコンを置けます。Reality Viewで興味深いのは、路面や沿道の景色までを含む一つの眺めを運転モデルが生成する点です。車載カメラが映した一枚の写真とは、画面の成り立ちが違います。

開発責任者によるReality Viewの説明

車を動かしながら、街路の映像をどう描くのか

Elon Muskは、Reality Viewがゲームエンジンを使わず、車載コンピューター「AI4」にあるTRIPアクセラレーターの一つの半分を使って、映像をリアルタイムに生成すると説明しています。アクセラレーターとは、ニューラルネットワークの計算を受け持つ専用の演算器です。「半分」が指すのはこの演算器一つを基準とした量で、車を運転するための計算全体は別にあります。

この数字が興味深いのは、画面を描いている間も、車は次の操舵や減速を決め続けるからです。運転のためにすでに読み取った周囲の特徴を表示にも使えれば、同じ道路を画面用にもう一度解析する仕事を減らせます。これは少ない追加計算で描ける理由の一つとして考えられますが、どの計算結果を再利用しているかは公表されていません。

Elon Muskによる車載演算器の説明

「H100の約1%」という比較をどう読むか

この発言に注目したMing氏は、演算器の構成と動作周波数から、TRIP半基分を毎秒約20兆回の演算に相当すると試算しました。投稿にある「約1%」は、その値をデータセンター向けGPU「H100」の公称演算性能と比べた比率です。Reality Viewを両方のチップで動かし、同じ映像を何秒で描けたか測った値ではありません。

比較にはもう一つ条件があります。走行中の車には、いま目の前にある道路を撮った映像が毎瞬届きます。文章で指定した街を一から動画にする場合とは、与えられる手がかりが違います。実際の描画負荷を比べるには、同じ入力と視点で、同じ解像度の映像を毎秒何枚、どれだけの遅れと消費電力で出せるかを測る必要があります。今回の発表には、その測定値までは示されていません。

Ming氏の試算と比較条件を読む

矢印はこれから曲がる方向、ピンは停めるつもりの場所

交差点に近づくとき、道路の形がいくら鮮明に映っていても、それだけでは車が直進するのか右折するのかは分かりません。Elluswamyの説明では、矢印はFSDが予定している旋回を、ピンは駐車しようとしている場所を示します。街路の映像が伝えるのは周囲の様子で、その上に重なる印が伝えるのは車の次の行動です。

乗員にとっての利点は、自分が入りたい場所と車が向かおうとしている場所のずれに、操作が始まる前に気づけることです。一方、駐車位置にピンが出ても、そこまでの通路が安全だと保証されたことにはなりません。FSD(Supervised)の使用中も、周囲を確認し、必要なときに介入するのは運転者です。

Teslaによる運転支援と監督の説明

写実的な映像から、どこまで認識の精度を判断できるか

たとえば、駐車車両の陰に入った自転車が、数秒後にまた見えたとします。街並みが滑らかに描かれることと、見えなかった間も自転車の位置を正しく追えていたことは、別々に確かめる必要があります。後者を測るには、実際の自転車の軌跡と推定位置を時刻ごとに照合する必要があります。

この問いは、空間の認識を扱うLumeやCaksにも通じます。別の視点から描いた映像は、モデルが位置や動きをどう捉えたかを人が調べる手がかりになります。ただし、Teslaの公開デモから分かるのは画面に現れた結果までです。奥行きを内部でどう表しているのか、運転指令と映像生成がどこまで計算を共有するのか、位置にどれだけ誤差があるのかは、発表では明らかにされていません。

だからこそ、デモを見るときに注目したいのは、街並みのリアルさに加えて、車が動き出す前の印です。どこで曲がり、どこに停まるつもりなのか。Reality Viewは、その予定を乗員が実際の道路と見比べられる形にしました。