本文へ移動
相談する

BLOG

会話をクラウドに送らず、スマホで詐欺の予兆を見つけられるか

「今、少し話せる?」という一言から、相手の意図を決めるのは難しい。シンガポール政府とGoogle DeepMindが開発したのは、その後の会話も手がかりにして、送金や情報の受け渡しの前に端末上で注意を促すAIです。

赤と白の層と透明な球を組み合わせたGoogle DeepMindのシンガポール共同研究のビジュアル。

暗号化されたメッセージを、どこで読むのか

友人から届いたメッセージは、配送の途中では暗号化されていても、受け取ったスマホの画面では読めます。送信側と受信側で内容を読めるようにし、間で運ぶサービスにも本文を読ませない仕組みを、エンドツーエンド暗号化と呼びます。受信した本人が読む段階で判定すれば、分析のためにもう一度その本文を外へ送る必要はありません。

Google DeepMindとシンガポール政府の技術機関GovTechは、10月14日に端末上で会話を分析するモデルを発表しました。想定しているのは、利用者の同意を得たアプリが端末内の会話を扱う形です。この仕組みを通じてGoogleや政府が利用者の会話を読めるようになることはないと説明しています。

Google DeepMind|GovTechとの共同研究

一通ごとの確認と、会話を読み返す確認を分ける

すべてのメッセージが届くたびに、長い会話を読み直せばスマホの電池を使います。そこで一段目には計算の軽い分類器を置き、届いたメッセージを素早く調べます。ここで気になるものだけが二段目に進みます。

端末上の軽い分類器が絞り込み、Gemmaが会話を読み返して警告の要否を判断する。
Google DeepMind発表の処理手順をもとに作図。表紙は同発表の公式ビジュアル。

二段目では、現地の詐欺の手口に合わせて追加学習した言語モデルGemmaが、直前のやり取りを含む、より広い範囲を読みます。たとえば、ありふれた挨拶の後に公的機関を名乗り、確認を急がせ、やがて送金を求める。単独では意味の薄い言葉も、順番に読むと働きかけの変化が見えてきます。これは仕組みを説明する架空の場面です。

二段目が危険と判断すれば、利用者にいったん立ち止まるよう端末上で警告します。前後を読んで疑いが解ければ、警告せずに終わります。一段目で見逃したメッセージは、その時点の二段目の精査に回らないという代償もあります。

現地の事例を学ぶときと、端末で判定するとき

公的機関の名前、日頃の言い回し、よく使う支払い方は地域で変わります。開発チームは匿名化した詐欺報告などを学習に使い、GovTechが管理する環境でGemmaを調整しました。発表によれば、学習用データから個人を識別できる情報や私的な情報を除き、架空の対話や現地の文章でも試験しています。

開発時に使うデータと、導入後に読者のスマホへ届く会話は、役割も置き場所も違います。後者は端末内で警告を出すために扱います。この保護が及ぶ範囲は、その検知機能が行う処理です。アプリのバックアップや利用者自身による転送の扱いは、利用するアプリの設定で別に確認する必要があります。

警告が出ない相手を、信用してよいか

公開資料はアプリへの段階的な導入を想定しています。日本語での検出率、普段の家族とのやり取りで誤って警告する頻度、端末ごとの電池消費は示されていません。シンガポールでの研究結果だけでは、日本で使った場合の実用性まで判断できません。

警告で分かるのは、その会話に注意すべき特徴があるということです。相手の身元や振込先の正当性を証明する機能はありません。急な送金依頼なら、警告の有無にかかわらず、以前から知っている番号に自分でかけ直す。会話の流れをいったん切って相手を確かめる時間を作れることが、この機能の価値です。