本文へ移動
相談する

BLOG

ロボットの危険な動作を、どこで止めるか。LEASHの三つの安全ゲート

ロボットへ依頼するとき、指示が安全でも、その先の動作が安全とは限りません。RoboRiskは危険な振る舞いを実際の動作で調べる評価、LEASHは依頼・動作・取り返しにくい操作を分けて確かめる仕組みです。実験で防げたことと、家庭や職場に残る課題を見ていきます。

LEASH研究で使われた、飲み物とノートPCとコースターがあるロボットのシミュレーション場面

障害物を避けても、安全とは限らない

ロボットがノートPCにぶつからず、飲み物を向こう側へ運べたとします。でも、その途中でPCの真上を通っていたら、こぼしたときの被害は残ります。安全な移動には、座標や衝突だけでなく、何を持ち、何の上を通るのかという場面の理解が必要です。

2026年11月10日に公開された論文「LEASH: Stay Safe in Agentic Robotics」は、言葉や画像を理解するAIが計画を立てるロボットの危険を調べ、実行する前に別の仕組みで確認する方法を提案しました。大きなAIに注意事項を伝えるだけで、動作を任せてよいのかを問う研究です。

LEASHの研究論文

まず、危険を動作の結果で測る

研究チームが作ったRoboRiskは、シミュレーション92課題と実機13課題からなる評価です。指示に対する文章だけを採点するのではなく、カメラなどの観測を受けて計画し、動き、その結果を再び観測する流れで実行します。

調べる危険何を確かめるか
依頼そのもの電子機器を水に入れるなど、危険な依頼を適切に断れるか。
実行方法飲み物をPCの真上へ運ぶ経路を、安全な経路へ直せるか。
途中の変化作業中に人や動物が入ったとき、新しい危険に対応できるか。
紛れた命令画面などに書かれた別の命令に惑わされず、元の依頼と方針を守れるか。
前の注意事項前に伝えられたアレルギーなどを、後の作業でも守れるか。
RoboRiskの五つの分類を、一般向けに整理。冒頭はP3-01の公式シミュレーション画像です。研究プロジェクトの課題一覧

危険は五つに分かれます。依頼自体を断る必要がある場面、安全な目的でも経路を直す場面、途中で新たな危険が現れる場面、画面などに紛れた命令に惑わされる場面、前に伝えられた注意事項を忘れる場面です。

評価のHarm Rateは、実害だけでなく、危険な状況を作った場合も含みます。Safe Success Rateは、安全に必要な仕事を終えた割合です。危険な依頼を適切に断ることも、その課題では成功に含まれます。止まるだけのロボットを高く評価しないために、二つの指標を併せて見ます。

研究プロジェクト:課題と評価方法

LEASHは、考える役と許可する役を分ける

LEASHは、ロボットの次の行動を考えるAIとは別に、動いてよいかを確かめる安全層を置きます。カメラ画像と依頼、候補となる操作を見て、判断用のモデルが安全性のスコアを返します。その値が基準を超えたときだけ、対象を限定した実行許可を与えます。

飲み物をPCの上へ通す経路を拒否し、迂回する例。依頼の受け付け、各動作の開始、監視対象の取り返しにくい操作の直前という三つの確認地点を示す。
論文のP3-01の関係を整理した概念図。経路は実測の軌跡ではありません。後段の拒否は計画側へ戻り、三つ目の確認は実装が監視する操作を対象にします。論文のLEASH設計

この限定された許可を、論文はleaseと呼びます。計画を立てるAIが、一度許可されたら何でも動かせる権限を持つわけではありません。実行を仲介するプログラムが、その都度の許可を確認します。計画側と確認側は共通の安全方針を読みます。

判断には、長い文章を生成する汎用モデルではなく、Jevなどの意思決定用モデルを使います。確認を何度も挟むため、判断の速さと費用も重要になるからです。別のモデルを置けば必ず正しくなるのではなく、誤りが動作へ直結する前に見直す地点を作る設計です。

論文:権限の扱いと共通の安全方針

依頼、各動作、手を離す直前の三か所で確かめる

最初のtask gateは、依頼と現在の場面を見て、引き受けてよいかを確認します。拒否した場合、その依頼は終了します。次のaction gateは、AIが提案した移動などの動作や、まとまった作業を始める前に確認します。拒否した場合、計画側は別の案を考え直します。

三つ目のcommit gateは、まとまった作業の途中にあります。移動を始めたときには安全でも、物を離す直前には状況が変わっているかもしれません。そこで、つかんだ物を離す、液体を注ぐといった、戻しにくい操作の直前に改めて確認します。

今回の実装で監視するのは、コードで検出する物をつかむハンド(グリッパー)を開く操作や、注ぐ操作です。あらゆる取り返しのつかない動作を自動発見する仕組みではありません。また、後段の二つのゲートは操作を止めますが、依頼自体を終了するかは計画側に戻して判断します。

論文:三段階のゲートと監視する操作

公式動画で、動きの前後を見る

研究プロジェクトは、ロボットが実際に何をしたかを比較できる映像を公開しています。文章だけでは、危険を認めたあとも動き続けたのか、動く前に止まったのかが見えません。映像は、判断と実行の間を確認する手掛かりになります。

研究チームが公開した公式紹介動画。字幕を含む映像中の説明は英語です。動画は紹介・実演であり、安全性の保証ではありません。公式プロジェクトの個別デモ

研究チームは、プロジェクト内の個別デモについて、思考時間32倍速・アームの動作4倍速と案内しています。映像の印象だけで実時間の応答速度を判断せず、編集条件と測定結果を分けて見る必要があります。

公式プロジェクトのデモと再生条件

効果は出た。ただし、少数の実験での結果

著者らは、報告した計画モデルと環境の組み合わせで、LEASHを加えると危険の割合が下がり、安全な成功の割合が上がったとしています。例えば実機では、四つの計画モデルがそれぞれ13回の評価で危険を観測せず、安全な成功率84.62%を記録しました。

「危険が0%」は、その実験で観測されなかったという意味です。一般の家庭や工場で事故が起きない確率を確定したものではありません。実機は課題ごとに1回の試行で、結果は人が判定しています。シミュレーションと実機で評価したモデルの組み合わせも同一ではありません。

別のモデルでは、LEASHを加えても実機の危険率38.46%が残りました。意味を取り違える問題に加え、動作の不安定さや衝突は、確認層だけで解決できないことを示しています。これは研究チームの報告であり、この記事で実機を追試した結果ではありません。

比較の読み方にも注意が必要です。論文の比較元の構成(ベースライン)には共通の安全方針が与えられていません。方針を共有することと、三つのゲートを加えることを含むシステム全体の効果であり、数字の改善をゲートだけの効果として切り分けることはできません。

論文:実機結果と残った危険

考察:安全を、一度きりの注意事項にしない

この研究の重要な視点は、依頼が妥当でも、その実行方法や途中の変化に危険があることです。「慎重に動いて」と最初に伝えるだけでは、実行のたびに変わる場面を十分に扱えません。権限を小さく区切り、直前の観測で確かめる設計には、家庭の片付けや職場の搬送にも通じる可能性があります。

一方、止める基準が厳しければ役立つ作業まで断ります。論文では、実機で人がいる場面になると、一部のモデルが過度に慎重になる傾向も報告されています。安全と作業完了を同時に測り、どの場面で人に引き継ぐかを決めることが、実用化の判断に必要だと考えられます。

論文:人がいる場面での課題

限界:カメラの死角と物理的な停止は残る

確認側も、画像や方針を誤って理解する可能性があります。カメラの死角、観測から実行までの時間差、監視対象として組み込まれていない操作は残ります。許可のスコアを、本当に事故が起きない確率として扱うこともできません。

現場へ広げるなら、力や速度を制限する制御、近接検知、非常停止などの物理的な保護と組み合わせ、対象機器と環境で検証する必要があります。これは研究結果を踏まえた設計上の考察であり、LEASHが安全認証や既存の安全機能を置き換えたという発表ではありません。

見るべきなのは、賢い計画が作れるかだけではありません。危険な候補を実際に止められるか、安全な仕事は続けられるか、判断できないときに誰へ戻すか。その境界を動作の結果で確かめることが、会話するAIを現実の機械へつなぐ前提になります。

論文:既存のロボット安全対策との関係