本文へ移動
相談する

BLOG

NVIDIA GR00T 2は、5回の実演で何を学ぶのか

人や別のロボットの動きを見て学ぶNVIDIAのGR00T 2。両腕ロボットの実験で報告された成功率95%の条件と、RTX 5090一枚で行った追加学習の役割を読み解きます。

精密な手作業を練習する両腕ロボットのイメージ

5回の実演が効いたのは、すでに似た作業を見ていたから

NVIDIAは11月9日、ロボット学習の国際会議CoRLに合わせて、ロボット向け基盤モデルGR00T 2を発表しました。人や別のロボットの作業から学んだ経験を、手の形や関節の異なるロボットにも活かす研究です。

NVIDIAのDexter-50実験では、対象の両腕ロボットに各タスクを5回実演して追加学習すると、平均成功率が40%から95%に上がりました。対象機での実演がなくても、同じタスクは人の映像や別のロボットのデータに現れています。また、50タスクは5回の実演で成功率80%以上に達したものから選ばれています。数字が示すのは、そのような条件で、実機のデータがどこまで動作を補えたかです。

NVIDIAのCoRL 2026発表

次の動きと、動いた先の映像を一緒に学ぶ

たとえば瓶の蓋を開ける作業では、指をどう動かすかと、蓋がどう回り、瓶がいつ傾くかは結びついています。GR00T 2はカメラの映像、指示、ロボットの状態を手がかりに、次の一連の動作と、その先にどう見えるかを一緒に予測する世界行動モデルです。

出発点はNVIDIAの動画モデルCosmos-Predict2.5-2Bです。まず人やロボットの映像から手と物体の動きを学び、次に映像と動作を一緒に予測できるようにし、最後にロボットの実演データの比重を上げます。NVIDIAの研究ページによると、事前学習の内訳には人の一人称映像約40万時間と、ロボットの遠隔操作約2.35万時間が含まれます。人の動きをそのまま関節への指令に移すと、指の長さや曲がる方向の違いが残ります。機体ごとに状態や動作を扱う部品を分けることで、共通の経験と、実機に固有の動きをつなぎます。

GR00T 2の技術報告 第4章

人の実演とロボットの動きを、動画で見比べる

NVIDIAは、対象のロボットでその作業を実演せず、人や別の装置から学んだ動きを移す実験を「X-Adapt」と呼んでいます。公式デモでは、学習に使った人の実演と、ロボットが自律的に同じ作業を行う場面を見比べられます。

ろうとにろ紙をセットする

人の実演に続いて、5本指の両手を持つロボットが、ろ紙を折ってろうとに入れ、水で湿らせます。NVIDIA公式の実験ページ

人の実演

ロボットの自律動作

ベルトコンベヤーの荷物を仕分ける

人が手持ちの器具で荷物をつかむ動きを、別の形のつかみ具を持つロボットアームが再現します。NVIDIA公式の実験ページ

人の実演

ロボットの自律動作

ヨーグルトとグラノーラで朝食を用意する

人は指の動きを記録する器具を装着しています。器具を使った実演と、ロボットが同じ作業を両手で行う様子を見比べられます。NVIDIA公式の実験ページ

動画で見られるのは個々の実演と試行です。次の節の95%は、対象のロボットで集めた実演を使う別の評価で得られた数字です。

40%、71%、95%をどう読むか

比較対象は同じDexter-50です。追加学習なしでは40%、対象機を遠隔操作して記録した実演を各タスクで1回使うと71%、5回使うと95%でした。これはNVIDIAの報告にある平均成功率です。

Dexter-50の50タスクの平均成功率は、実演なしで40%、各タスクで1回の実演後に71%、5回の実演後に95%。対象は5回の実演で成功率80%以上に達したタスクから選ばれている。
NVIDIAの技術報告の図2と付録A.3から作成。実演ありの条件では、対象機で集めた記録を使いタスクごとにLoRAで調整しました。
Dexter-50の実機映像

評価に使われた作業をロボットが自律的に行う場面をまとめた映像です。NVIDIA公式の評価ページ

追加学習なしでも、50タスクのうち40タスクは少なくとも一度成功しました。一方、すべての試行で成功したのは4タスクでした。5回の実演で追加学習した条件では、すべての試行で成功したタスクは37に増えています。デモ動画で一度できることと、何度やっても同じ結果を出せることには差があります。

新しい作業への適応率を測るには、追加学習の結果を見る前に評価対象を決めます。成功しづらかった作業も平均に残すと、実演を増やしても残る課題が見えます。

NVIDIAの技術報告 図2と付録A.3

RTX 5090一枚で行ったのは、タスクごとの追加学習

NVIDIAは、学習済みモデルの重みを固定して小さな追加部分だけを更新するLoRAを使いました。1タスクの追加学習はRTX 5090一枚で約30分。5回分の実演の記録は1タスクあたり3分未満でした。現場で見積もる際は、記録と学習に加え、機体の準備や再試験にかかる時間も考慮します。

同じ設定を各タスクに使い、タスクごとに学習を実行しています。95%は、各作業向けに調整した条件での平均です。最初から基盤モデルを学習する計算量や、50の作業を単一の追加学習で習得する所要時間は、この実験とは別です。

付録A.3の追加学習条件

手順が分かっても、最後の数ミリで止まる

NVIDIAが示した失敗例には、やかんの蓋を持ち上げる、ひも付きの袋を開けるといった工程があります。大まかな順番が合っていても、指が当たる位置や力の向きがずれると、作業全体は終わりません。実機の実演は、こうした細部を対象の手に合わせる材料になります。

研究では、手先の位置をカメラ画像上で指定する仕組みや、失敗を含む試行から学ぶ強化学習も別に評価しています。工程を取り違える、狙った位置をつかめない、失敗から戻れない。それぞれ原因が違うため、最終的な成功率に加えて、どの段階で止まったかを見ると次に集めるデータが変わります。

歩きながら動かす機体では、推論時間も効く

GR00T 2 Turboは、動画を表すデータを圧縮して予測を軽くした派生版です。NVIDIAの測定では、Unitree G1に載せたJetson Thorで1回の予測に124ミリ秒かかりました。モデルが予測した動作は、全身制御器が受け取り、歩行や姿勢を含む機体の制御につなぎます。

学習にかかった30分と、現場での124ミリ秒は別々に測った値です。作業中の反応時間を見積もるには、カメラの取得、前処理、予測、制御器への受け渡しまで含めて測ります。

技術報告 第4.6節の実機推論条件

実機で試すなら、何が変わると失敗するかを測る

作業台で成功した動作を現場に移すと、照明、部品の向き、置き場所、手の形などが変わります。実験では、学習に使っていない配置や物体を用意し、初回の成功率だけでなく、連続運転時の成功率と、やり直せる失敗の割合を別々に記録できます。

11月10日時点で、NVIDIAの研究ページと公式Hugging Face配布一覧を確認した範囲では、GR00T 2の重みや配布条件を確認できませんでした。公開されている技術報告から評価設計は追えます。手元の機体で同じモデルを検証できるかは、重み、対応機体、実行手順の公開状況で変わります。

NVIDIAの公式モデル配布一覧