BLOG
Decision Modelsとは。AIが文章を生成せずに問い合わせを振り分ける仕組み
問い合わせを担当部署へ回すとき、欲しい答えは長い文章ではなく一つの選択です。Hugging FaceのDecision Modelsは、候補ごとのスコアと選択結果を共通の形で返します。従来の分類器や文章生成との違いはどこにあり、どの判断を人へ戻すべきでしょうか。

欲しいのが一つの判断なら、候補に直接点を付ける
問い合わせに「領収書の宛名を変えたい」と書かれていたら、返信文を書く前に、どの部署が受け持つかを決められます。Hugging Faceは11月10日、こうした判断を候補ごとのスコアで返すDecision Modelsの共通インターフェイスを紹介しました。
アプリが渡すのは、問い合わせの内容、何を判断するか、どんな回答を認めるかです。モデルは選択肢に点を付け、選んだ候補と確率分布を返します。文章を一語ずつ生成して結果をJSONに整える工程が不要になるため、選択だけを大量に繰り返す仕事で処理時間を比較する価値があります。
Hugging FaceのDecision Models解説従来の分類器でも、確率は出せる
一般的な分類器も、請求・営業など、学習時に定めた分類先に確率を割り当てられます。部署が固定され、過去の振り分け記録が十分にあるなら、その分類器を基準に比較できます。ゼロショット分類器なら、実行時に候補を渡せるため、部署名が変わる場合にも対応できます。
Decision Modelsの提案では、一つの問い合わせに対し、担当部署の選択、優先度の段階評価、折り返しが必要かの二択を、同じ形式の質問として扱えます。対応するモデルの構造は一つに決まっておらず、Hugging Faceはエンコーダーを使うものと生成モデルをベースにしたものを紹介しています。
分類との違いと対応モデル生成する場合は、回答の形と判断の正しさを別々に確かめる
LLMにJSONを出させる方法では、部署名に加えて理由や返信案も返せます。構造化出力で候補やフィールドを制約すれば、アプリが扱える形に揃えられます。そこから先は、正しい部署に回るか、理由が入力の内容と一致するかを検証する必要があります。 Hugging Faceの実装では、対応する生成モデルでも、回答候補に対応するスコアを取り出すことで文章を生成せずに判断できます。
振り分けだけが必要な箇所では、モデルを置き換えたときの応答時間を実データで測ります。候補の数や入力の長さ、動かす機器が違えば時間も変わります。返信まで必要なら、先に担当を決め、返信が必要な案件だけ生成モデルに渡す構成も比較できます。
Hugging Faceによる構造化生成との比較確信度の高い案件から自動化するには
候補の確率が高くても、適切な部署が候補に入っていなければ誤って振り分けます。Hugging Faceの仕様で選択問題に付く確信度は、候補の確率がどの程度一つに偏ったかを表します。0.9の確信度が実際の正解率9割に対応するかは、過去の問い合わせで確かめる必要があります。候補にない案件や複数部署にまたがる案件も検証に含めます。
導入時は、人が付けた振り分けと比べながら、誤送率と自動化できる件数の両方を測ります。判断が割れやすい案件は「要確認」に回し、誤送のコストが高い処理では人の確認を残します。担当の予測と、返金などの操作を承認する権限を分けることで、分類の誤りがそのまま処理の実行につながるのを防げます。