本文へ移動
相談する

BLOG

LingBot-Touchとは。ロボットが「触って確かめる」ためのAI

鍵が入ったか、物が滑り始めたか。映像では見えにくい変化を、ロボットは触れた感触からも捉えます。LingBot-Touchは、異なる触覚センサーの情報を動作モデルが使える特徴へ変える基盤モデルです。実機動画から、視覚に触覚を加える意味と、まだ難しい作業が見えてきます。

Robbyantが公開するLingBot-Touchのイメージ。多指ロボットハンドとさまざまな形・素材の物体。

鍵の位置が見えても、入った感触までは分からない

鍵を鍵穴へ差し込むとき、人は目で位置を合わせながら、指先に返る抵抗で角度を調整します。袋の口を閉じるときや、柔らかい容器を押すときも、見た目と力加減の両方が必要です。ロボットにも、物体へ触れた後の変化を判断に使う仕組みが求められます。

鍵に触れるロボットの指先と、異なる方式のセンサー信号。LingBot-Touchが位置・指・時間の情報を含む特徴に変換し、映像や言葉を使う動作モデルと制御器へ渡す。
公式の公開構成をもとに作成した概念図。入力方式や接触の描写は模式化し、波形は実測値ではありません。冒頭画像はRobbyantの公式ビジュアルです。 Robbyantの公式研究ページ

Ant Group傘下のRobbyantが公開したLingBot-Touchは、触覚センサーの情報から、ロボットの動作モデルが使いやすい特徴を取り出す基盤モデルです。公開資料では約5,000時間の触覚記録を使った事前学習が説明されています。今回は、触覚をどう共通化し、作業へ結びつけるのかを見ていきます。

LingBot-Touch公式研究ページ

センサーが違えば、「触れた」の数値も違う

磁気式、圧力で抵抗が変わる方式、接触による変形を視覚的に読み取る方式では、得られる信号が異なります。測定点の数や位置も、指の形もそろいません。ある手で学んだ信号の並びを、そのまま別の手へ渡しても、同じ意味にはなりません。

LingBot-Touchは、センサーごとの入力変換を通し、位置・指・時刻の情報とともに共通のTransformerで処理します。Transformerは複数の測定点や時間の関係を扱う仕組みです。これによって、個々の生の測定値から、接触の変化を含む文脈のある特徴へ変換します。

公開実装と入力形式の説明

接触の続きを学び、動作モデルへ手掛かりを渡す

学習にはJEPAと呼ばれる考え方を使います。触覚記録の一部を隠し、周囲の情報から、隠れた部分の特徴表現を予測します。生のデータをそのまま描き直すことよりも、時間や場所をまたいだ接触の関係を学ぶ狙いがあります。

利用時には、事前学習したエンコーダーという変換部分を使って触覚の特徴を取り出します。その情報を、映像や言葉をもとに行動を決めるVLAなどの動作モデルへ追加します。LingBot-Touchが出すのは特徴表現で、モーターへ送る完成した動作命令は、後段のモデルや制御系が担います。

公開リポジトリは、固定したエンコーダーで特徴を取り出す推論手順を案内し、TinyとSmallの重みを紹介しています。利用する際は、そのモデルと第三者部品のライセンス、入力センサーの対応条件を確認します。手元のロボットを動かすには、後段の動作モデルとの接続と検証も必要です。

事前学習と推論用エンコーダーの公開説明

実機では、鍵の操作と歯磨き粉の押し出しを見られる

公式ページでは、鍵を使う作業、歯磨き粉を押し出す作業、袋の口を閉じる作業などの動画が公開されています。下の2本はRobbyantの配信先を直接参照しています。研究側は、実機でのリアルタイム推論を1倍速で示した動画と説明しています。

鍵を使う作業

Sharpa Waveを使うRobbyantの実機デモ。公式説明ではリアルタイム推論・1倍速です。動画は公式配信先を直接参照しています。 公式の実験と評価条件

歯磨き粉を押し出す作業

Sharpa Waveを使うRobbyantの実機デモ。公式説明ではリアルタイム推論・1倍速です。動画は公式配信先を直接参照しています。 公式の実験と評価条件

鍵穴付近は手や物体に隠れやすく、容器の押し方では見た目が似ていても力が違います。こうした映像は、触覚を加える対象がどのような作業かを理解する助けになります。個々の成功動画だけで、どの程度失敗が減るかまでは判断できません。

実機動画と評価条件

評価されたのは、2種類の手を使う26の実機タスク

研究側はSharpa WaveとXHandの2種類の多指ハンドで26の実機タスクを評価し、各タスク20試行の結果を示しています。シミュレーションでの強化学習は、これとは別の評価です。比較では元の動作モデル、生の触覚を加えた構成、LingBot-Touchの特徴を加えた構成を分けています。

特徴を取り出すモデルを固定したままでも、作業用の動作モデルはその特徴を使えるように追加学習しています。触覚表現が未学習のセンサーへ移せるという結果と、初めて見る仕事をロボットが無調整で完了できるという主張は、区別して読む必要があります。

タスク別の結果と比較条件

違う手へ移すには、座標と信号の対応を確かめる

公開実装は、磁気式・圧抵抗式・視覚触覚の3系統の入力を受けます。新しい手では測定点の位置、指の順番、軸の向き、値の範囲を合わせる必要があります。配列の大きさだけが合っていても、左右の手や測定点の対応が違えば、物理的な意味が崩れます。

また、出力された1点の特徴には、他の指や時刻の情報も混ざっています。公開実装は、必要な情報を後段の注意機構で取り出すことを推奨しています。特定の指に対応する出力を選べば、その指だけの力になる、と考えると使い方を誤ります。

入力の正規化・センサー対応・特徴の読み出し

導入で測るのは、壊さずに作業を続けられるか

触覚の価値は、成功率に加え、物を落とした回数、押しつぶした回数、接触から修正までの時間で測れます。視覚だけの構成と比べ、照明や遮蔽、素材、センサーの摩耗を変えたときに、どこまで改善が残るかを確認します。これは研究結果を現場へ移すための検証案です。

圧力を感じる仕組みがあっても、それだけで安全な接触にはなりません。力や速度の上限、異常時の停止、センサー故障の検出は制御系として用意する必要があります。今後の可能性は、作業ごとに集めるデータの負担を、再利用できる触覚表現で減らせることです。どの手・素材・作業まで使い回せるかが、実用化の判断点になります。

関連するGR00T 2の動作学習の解説