本文へ移動
相談する

BLOG

社内マニュアルだけでAIは仕事を覚えられるか。NTT「tsuzumi 2」の実験

同じ手順を、仕様書として読んだときと、お客様からの質問として聞いたとき。どちらでも正しく答えられるでしょうか。NTTは一つの資料から複数の教材を作り、業務知識の定着度を測りました。

何層もの紙を広げた冊子を描いた、業務マニュアルの概念画。

「返品できますか」と聞かれて、規程のどこを開くか

返品の受付手順を例に考えます。マニュアルは「受付条件」「期限」「例外」の順でも、お客様は「昨日開封したのですが」と話し始めます。担当者はその言葉から、どの条件を確かめればいいかを考えます。AIが規程の一文を復唱できても、違う聞かれ方で同じ条件を使えるかは別に確かめる必要があります。

NTTが11月12日に発表したのは、手元にある業務マニュアルから教材を作り、言語モデルに追加で学習させる方法です。公開された実験で使ったのはNTTの実業務マニュアルです。返品の話は仕組みを考えるための例です。

NTT|業務資料から専門知識を定着させる技術

一つの資料から、違う角度の教材を作る

元の資料に「未開封なら受け付ける」とあれば、仕様書には受付条件として書けます。FAQにすれば「開封後も対象ですか」という問いになります。元の事実は一つでも、それを答えに使う場面が増えます。NTTの手法では、言語モデル自身が原文を仕様書やFAQなどに書き換え、そうして用意した教材を使ってモデルを調整します。

ここでいう学習は、質問に続く答えを出しやすくするよう、モデルの内部の数値を更新する操作です。応答時にマニュアルの該当ページを毎回渡す方法とは、情報が入るタイミングが違います。教材を増やす際に「未開封」という条件を落とせば、その誤りまで覚えるおそれがあります。言い換えた教材でも例外が残っているかは、人が点検できる箇所です。

正答率83.1%は、何の問題を解いた数字か

実験では、業務マニュアルに書かれた範囲から問題を作り、答えられた割合を測りました。tsuzumi 2の正答率は学習前が65.3%、先行手法の最高値が73.3%、今回の手法が83.1%。学習前との差は17.8ポイント、先行手法との差は9.8ポイントです。

tsuzumi 2の正答率は学習前65.3%、先行手法73.3%、今回83.1%。
NTT発表の正答率から作図。表紙はマニュアルを表現した編集部のイラスト。

この数字から読み取れるのは、そのマニュアルの内容を問う問題への改善です。実際の電話で相手から必要事項を聞き出す力や、社内システムに正しく登録する力までを測った評価ではありません。別の会社の規程に同じ改善幅を当てはめるには、その会社の設問での評価が要ります。

来月、返品期限が変わったら

改訂の多い規程なら、質問のたびに最新版から該当箇所を探し、その文章を添えてAIに答えさせる方法があります。これが検索拡張生成(RAG)です。「この回答はどの版のどの条文に基づくか」を確認しやすくなります。ただし、古い版が検索対象に残っていたり、例外規定が別のページにあったりすれば、根拠の取り違えは起こります。

一方、業務用語や聞き方の違いに慣れさせることには、同じ資料を複数の形で学ばせる意味があります。導入を判断するなら、よくある質問に加えて、改訂直後の質問、例外に当たる質問、資料に答えがない質問を用意します。最後の問いで「担当者に確認が必要」と返せるかは、正答率とは別に見たい能力です。