発表のポイント:
- セキュリティ事故対応やコールセンター業務などにおける問い合わせ履歴から、熟練者の判断プロセスを約9割という高精度で見える化する世界初のAI技術を開発しました。
- これにより、問い合わせ対応における業務ノウハウの継承が進まないため熟練者の人材不足が深刻化する問題に対し、新人でも熟練者レベルの対応が再現可能となります。
- 今後、本技術により抽出した熟練者の判断プロセスをAIに取り込むことで、業務ノウハウに基づく自動応答を実現し、問い合わせ対応の品質向上と効率化をめざします。
NTT株式会社(本社:東京都千代田区、代表取締役社長:島田 明、以下「NTT」)は、セキュリティ事故対応やコールセンター業務などにおける問い合わせ履歴から、熟練者の判断プロセスを約9割という高精度で見える化する世界初のAI技術を開発しました。これにより、問い合わせ対応における業務ノウハウの継承が進まないため熟練者の人材不足が深刻化する問題に対し、新人でも熟練者レベルの対応が再現可能となります。今後、本技術により抽出した熟練者の判断プロセスをAIに取り込むことで、業務ノウハウに基づく自動応答を実現し、問い合わせ対応の品質向上と効率化をめざします。
本成果は、2025年7月27日から開催される国際会議The 63rd Annual Meeting of the Association for Computational Linguistics (ACL 2025)にFindingsとして採録されました。
図1: 熟練者の判断プロセスの抽出・見える化概略
1.背景
セキュリティ事故対応やコールセンター業務などの現場においては、より専門性の低い人材への業務のアウトソースやLLMなどによる対応の自動化に対するニーズが大きくなっています。一方、問い合わせ対応の中核を担う熟練者は、独自の思考やノウハウに基づいて対応を行っており、その判断プロセスは見えづらくなっています。そのため、問い合わせ対応における業務ノウハウの継承が進まず熟練者の人材不足が深刻化することが問題となっています。
そこで、NTTはLLMを用いて問い合わせ履歴を分析し、熟練者の判断プロセスを高精度で見える化する世界初のAI技術を開発しました。本技術により抽出した熟練者の判断プロセスを利用することで、新人でも熟練者レベルの対応が再現可能となります。
2.技術のポイント
ステップ1
テキスト化されたすべての問い合わせ履歴について、LLMを用いて「質問」「提案」を抽出する操作を行います(図2 抽出)。こうして抽出された「質問」「提案」に対して、同じ内容のものを統合する形で、「統合質問リスト」「統合提案リスト」を作成します(図2 リストの統合)。
図2: 「質問」「提案」の抽出と統合リストの作成
ステップ2
問い合わせ履歴を対象に、「統合質問リスト」「統合提案リスト」をLLMに参照させながら、この対話が「統合質問リスト」に記されたどの質問とそれに対する回答だったかを辿り、「統合提案リスト」上にあるどの提案につなげる対話であったかを分析することで、質問、回答から提案に至るまでをフローの形で構造化します。これをすべての問い合わせ履歴に対し行うことで、問い合わせ履歴を構造化フローに変換します。
図3: 問い合わせ履歴の構造化
ステップ3
各構造化フローにおいて、そこに出現する「質問または提案」から次の「質問または提案」への遷移を1ステップとし、その出現回数をLLMにカウントさせ、その出現回数が多いものが上位となるようなツリー構造に変換することによって、質問・判断フロー(フローチャート)を生成します。
図4: 質問・判断フロー(フローチャート)構築
3.実験の概要・結果
本技術の精度を確認するための実験においては、自然言語処理技術の評価などに用いられる問い合わせ履歴とそれに対応するフローチャートに関する公開データセット(FloDial*)を用いました。
FloDialに含まれる問い合わせ履歴から本技術で作成したフローチャートとFloDialに含まれる正解フローチャートを用いて、それぞれのフローチャートにおいてすべての問い合わせ履歴を抽出し、同一のものであるかを判定した結果、正解フローチャートにおける質問、提案のツリー構造を約9割再現できることを確認しました。これにより、明確な構造を持たない自由な自然言語による対話から、熟練者の判断フローを高い解釈性と視認性を備えたフローチャート形式で、精度よく抽出可能であることを示しました。
4.今後の展開
本技術は、セキュリティ事故対応やコールセンター業務などの問い合わせ対応における業務ノウハウの継承が進まない問題に対し、新人でも熟練者レベルの対応が再現可能となります。現時点では理想的な公開データセットであるFloDialを用いた方式の確認ができたため、今後は実業務における問い合わせ履歴を用いることで、情報の欠落や対話の飛躍などがある場合においても利用可能なよう抽出・見える化の精度向上をめざします。
また、本技術により抽出した熟練者の判断プロセスを見える化したフローチャートは、解釈性が高く、人手での修正も容易なことから、業務ノウハウの継承だけにとどまらず、問い合わせ対応の自動化への応用も期待されます。このフローチャートに基づいて対応を行う自動応答システムを構築することで、システムの応答根拠が明確となり、より安心して問い合わせ業務を任せることが可能になります。
【用語解説】
*FloDial Flowchart Grounded Dialogs Dataset URL:
https://dair-iitd.github.io/FloDial/