チャットボットの精度向上はナレッジから：5つの手段と週次の改善サイクル

サービス概要資料サービス内容・主要機能・料金体系の概要をまとめています無料でダウンロード

チャットボットの精度とは：測り方と、向上させる5つの手段

チャットボットの精度とは、お客様の質問に、自社の正しい情報どおりに答えられる割合のことです。いまのAIチャットボットの多くは、登録した資料を検索して回答を作る生成AI（RAG）型です。決めた回答を返すシナリオ型と違い、ナレッジの中身や書き方がそのまま回答の質を左右します。

精度は2つの方法で測ります。1つは正答率で、期待する回答と組にした質問の一覧（テストセット）を流し、合格した数を全体の数で割ります。もう1つは本番の会話の抜き取りで、人が正誤を判定します。抜き取りは件数が少ないので、4週分を合わせて直す前と比べます。

自動集計の解決率は、答えに納得しないまま離れた会話も解決に数えることがあり、人が判定した値より高く出がちです（実態より高く出る4つの理由）。

精度を上げる手段は、直す場所で分けると次の5つです。プロンプトはAIへの指示文、モデルはAIの種類のことです。

手を付けるのは図の上から、つまり効果が出やすいナレッジの側からです。プロンプトやモデルは、ナレッジでは直らないと分かってから触ります。

AIチャットボットの精度が上がらない・落ちる3つの典型

運用中に精度が下がる典型は、次の3つです。

改善のネタはチャットボットのログ分析で「つまずいた会話」から集める

会話をすべて読むことはできないので、つまずいた可能性の高い会話だけを次の4か所から集めます。

見落としやすいのは4つ目です。低評価も付かずに離脱される会話で、ナレッジの穴の手がかりになります。

ただし、お客様が誤りに気づかない誤答は、4か所のどこにも出てきません。料金や解約など影響の大きいテーマは、会話を週に数件ランダムに抜き取り、人が正誤を判定します。抜き取った会話も、ステップ1のシートに種類「抜き取り」で入れます。

チャットボットの精度を向上させる週次の改善サイクル

集めた会話は毎週、次の5つのステップで順番を変えずに処理します。私たち（株式会社miibo）も、自社のサポート用AIで未解決の会話を毎週レビューしています。

ステップ1：抽出／先週のつまずいた会話をシートに集める

シートに「会話ID・日付・ネタの種類・質問の要約・AIの回答の要約・正しい答え」の列を作り、先週分を書き出します。抽出の条件（例：「前週の会話から4か所それぞれ4件まで、抜き取りとあわせて合計20件まで」）をシートの先頭に書けば、担当者が変わっても同じ抽出ができます。

ステップ2：分類／原因の型と、使う手段を決める

1件ずつ会話を最初から読み、原因の型を決めると、使う手段も決まります。型の見分け方はチャットボットの誤回答、5つの原因と切り分け手順で詳しく紹介しています。

「対象外」の型を用意しておくのがコツで、人が対応すべき質問は早く人につなぎます。分類と同時に、次の章で使う「影響」の欄も埋めます。

ステップ3：修正／ナレッジ側から、1か所ずつ直す

修正は、1つの問題に1か所だけ変えます。記事とプロンプトを同時に変えると、どちらが効いたか分かりません。

ステップ4：再テスト／直した質問と「近くの質問」を流し直す

直した質問を言い回しを変えて2〜3パターン、同じ記事やテーマを参照しそうな「近くの質問」も流し、合格／不合格で判定します。直した質問はテストセットに足し、全体はモデルやプロンプトを変えたときに流します（誤回答の初動で入れる一時的な指示は除きます）。正答率を前と比べるときは、足す前からある質問の範囲で出します（作り方はチャットボットのテストは100問から）。

ステップ5：記録／変更と結果をセットで残す

シートに「対応内容・対応日・再テスト結果」を追記し、変更履歴（後述）に1行足します。翌週また同じ質問が出たら、修正が効いていないサインです。週の終わりには、ネタ別の該当件数（上限をかける前の数）とAIが対応した会話数、修正した件数、再テストの不合格件数を残します。該当件数は会話100件あたりに直し、推移で確かめます。

チャットボットの精度改善は「件数×影響」で直す順番を決める

毎週すべては直せないので、件数と影響を掛け合わせて順番を決めます。件数は同じ原因の会話の数で、言い回しが違ってもまとめて数えます。上限をかける前の数が分かるもの（ヒット0件の検索語など）は、その数を使います。影響は、被害の大きさで3段階に分けます。

ある週の分類結果の例です。

スコア順なら「解約 → 配送 → 旧料金」ですが、この例では旧料金を最初に直します。ルールは次のとおりです。

• 影響「大」は、スコアにかかわらずその週のうちに直す。料金などの誤った案内は、週次を待たずに誤回答を見つけたら最初にやること（影響範囲の確認・訂正・直るまでそのテーマは人に回す）を行う
• スコアが近いものは、記事1本の追加など直しやすいものから片付ける
• 影響が「大」でない1件だけの珍しい質問は「保留」欄に置き、翌週以降も出たら対応する

有人対応で書いた回答をナレッジに戻す

有人に切り替わった会話には、オペレーターが書いた正しい答えがあります。お客様向けの返信を、次の手順で記事の形にしてナレッジに戻します。

1. 応対中に印を付ける。オペレーターが「ナレッジ化候補」のタグやメモを付けます。
2. 個別の情報を取り除く。氏名、注文番号、そのお客様だけの事情を消します。
3. 一般化して記事の形にする。タイトルを質問の形にし、「〜の場合は」という条件を明示します。
4. 追記か新規かを決めて公開する。似た記事があれば追記します。承認者の確認とステップ4の再テストを通してから公開します。効果は、同じテーマで「AIが答えられない」理由の切り替え件数を、会話100件あたりにして公開前後で比べます。

個別の例外対応は記事にしないでください。「今回に限り返金した」を記事にすると、AIが誰にでも返金できると答えかねません。

変更履歴と役割分担で、精度改善の属人化を防ぐ

サイクルを決めても、回す人が1人なら属人化は解消しません。

変更履歴に残す6つの項目

特に大切なのは「理由」です。理由が残っていれば、プロンプトの1行を消してよいかを後から判断でき、精度が落ちたときに戻す地点も分かります。

役割を分け、作る人と承認する人を分ける

承認者は公開前チェックリスト（例：「料金や契約条件を推測で断定しない」）で毎回同じ観点を確かめます。

まとめ

精度は正答率と抜き取りで測り、ナレッジ側から1か所ずつ、件数×影響の順に毎週直します。変更の理由を残し、作る人と承認する人を分ければ、担当者頼みにせずに続けられます。

「精度改善が特定の担当者頼みになっている」「改善サイクルを回す時間が取れない」という方は、下のボタンからご相談いただけます。