AIチャットボットの評価方法:購入前に問うべき10の質問

Sep 14, 2026 によって Adam Khaled に公開されました。
AI チャットボット 購入ガイド
機能リストはAIチャットボットが理論的にできることを教えてくれます。これらの10の質問は、実際に何が起こるかを教えてくれます:人間を介さずに実際に解決できること、使用量が増えたときの実際のコスト、会話データの所有者、そして失敗した回答がどのようなものか。契約後にではなく、契約前に質問してください。

この記事の内容:

  1. 実際の解決率はどのくらい?
  2. 答えられない場合はどうなる?
  3. 回答はどこから来るのか?
  4. 私たちのボリュームだと実際のコストは?
  5. 実際に対応しているチャネルは?
  6. どのデータを見られて、どのデータを見られないのか?
  7. 実際のセットアップ期間は?
  8. 会話データの所有者は誰か?
  9. 実際に保持しているコンプライアンスは?
  10. 離脱したい場合はどうなる?

ほとんどのAIチャットボットのデモは、ベンダーが聞かせたい質問——どんな機能があるか、何と統合できるか、インターフェースがどれだけ素敵か——に答えるように作られています。私もこうしたデモを十分に見てきましたが、以下の10の質問は、洗練されたデモが最も自発的に答えたがらないものだと知っています。会議の場で直接質問し、具体的な数値が返ってくるか、それとも自信に満ちた主張だけが返ってくるかに注意を払ってください。

LiveAgentは私たちの製品です。このガイドでは代替製品とともに取り上げており、以下の質問は私たちも正直に答えるべきだと考えるものです。

1. 実際の解決率はどのくらい?

デモ環境ではなく、実際のトラフィックにおいて、人間の関与なしに解決された会話の測定された割合を求めてください。「よくある質問のほとんどに対応できるよう設計されています」は能力の主張です。「先四半期にエスカレーションなしでチケットの58%を解決しました」という回答は、実際の数値が何であれ、その背後に実際の数字がある本物の回答です。ベンダーが最初の種類の回答しか提供できない場合、それは軽微なギャップとして見逃すのではなく、追问する価値があります。

2. 答えられない場合はどうなる?

デモ中に、担当者がリハーサルしていない独自の質問を入力し、次に何が起こるかを観察してください。適切に機能するエスカレーションパスは、会話のコンテキストを保持したままフル会話を人間のエージェントに渡すため、顧客は同じことを繰り返し説明する必要がありません。弱いエスカレーションは、会話を途切れさせ、次のステップなしに謝罪するか、顧客に別の場所で最初からやり直すことを強制します。これはライブでテストするのが最も簡単なことの一つであり、あなたが強制しなければデモが静かにスキップする最も簡単なことの一つでもあります。

LiveAgentロゴ

カスタマーサービスを次のレベルへ

LiveAgentを無料でお試しください。

3. 回答はどこから来るのか?

自社のナレッジベースから回答を引き出すAIチャットボットは、一般的なトレーニングデータに依存するものとは大きく異なる動作をします。前者は顧客に実際の返品ポリシーを伝えることができます。後者は他の場所からのパターンに基づいて推測しており、どちらにせよ同じくらい自信満々に聞こえます。回答のトレーニングに使用されているコンテンツと、正確さを保つためにそのコンテンツをどのくらいの頻度で更新する必要があるかを尋ねてください。

AIチャットボットの回答がナレッジベースと一般的なトレーニングデータのどちらから来ているかを確認するダッシュボード

4. 私たちのボリュームだと実際のコストは?

AI機能がシート価格に含まれているか、アドオンとして請求されるか、また、含まれる許容量を超えた場合に1解決あたりの料金が発生するかを尋ねてください。一部のプラットフォームは解決ごとに請求 するため、ボットが実際に使用されればされるほど請求額が直接増加します。これは、定価を並べて比較するときに見落としがちな詳細です。Gartner自身の2026年1月の予測では、 generative AIの解決あたりのコストは上昇しており、下降していません 。低いシート価格が自動的に低い総請求額を意味するわけではありません。他のベンダーと比較する前に、ベンダー自身の価格計算を実際の月間チケットボリュームに当てはめてみてください。

5. 実際に対応しているチャネルは?

「オムニチャネル」という言葉は非常に曖昧に使われているため、それだけではほとんど意味をなさなくなっています。同じAIロジックがメール、チャット、ソーシャル全体で動作するのか、それとも一つのチャネルがフル機能セットを得られる一方で、残りは縮小版しか得られないのかを具体的に尋ねてください。ウェブチャットでは優れているが、他の場所では基本的なチャットボット——それはマーケティングページが示唆するような製品ではありません。

6. どのデータを見られて、どのデータを見られないのか?

ボットが注文履歴、アカウントステータス、CRMデータを見られるのか、それとも静的なドキュメントからの回答に限定されているのかを尋ねてください。顧客の実際の注文を見られないチャットボットは、基礎となるモデルがどれだけ優れていても、「荷物はどこですか?」と答えることができません。これはAIの問題であると同時に、システム統合の質問でもあります。

7. 実際のセットアップ期間は?

ピッチデッキの「数分でセットアップ」という数字ではなく、あなたと同規模の顧客に基づいた実際のタイムラインを求めてください。迅速に導入できると宣伝されているツールの多くは、実際に顧客の質問に答えられるようになるまでに、数週間の設定、コンテンツ移行、またはプロフェッショナルサービスを必要とします。楽観的な数字を基にローンチ日を計画する前に、正直な数字を入手してください。

8. 会話データの所有者は誰か?

トランスクリプトの所有者は誰か、それらが他の顧客のためのベンダーのモデルトレーニングに使用されているか、そしてどのくらいの期間保持されるかを直接尋ねてください。これはプライバシーコンプライアンスと、後でサポートトレンドを分析するための自社の能力の両方において重要です。ベンダーがこれまでにこの質問をされたことがなければ、確認して後日連絡する必要があることが多く、そのためらい自体が何かを物語っています。

9. 実際に保持しているコンプライアンスは?

規制産業の場合は、ベンダーがHIPAAのためのBusiness Associate Agreement(BAA)に署名するかどうか、そしてどのティアで提供されるかを尋ねてください。一部のプラットフォームでは、ZendeskがBAAをAdvanced Complianceの背後にゲートしている ように、すべてのプランではなく有料のコンプライアンスアドオンでのみこれを提供しています。「HIPAAに対応しています」は、実際に契約している内容によって意味が異なる場合があります。保護されたデータがツールに触れる前に、営業トークではなく、書面で確認してください。

10. 離脱したい場合はどうなる?

後でプラットフォームを切り替える場合、会話履歴、ナレッジベースコンテンツ、設定をどのようにエクスポートできるかを尋ねてください。自社製品に自信があるベンダーは、これに対して明確な回答を持っています。曖昧または回避的な回答は、今日の営業トークがどれだけうまくいっていようと、将来の移行がどれだけ困難になるかを示すプレビューです。

クイックリファレンス:全10の質問

#質問本当の回答とは
1解決率はどのくらい?実際のトラフィックから測定された割合。能力の主張ではない
2答えられない場合はどうなる?フル会話が人間に引き継がれ、コンテキストはそのまま
3回答はどこから来るのか?自社のナレッジベース。具体的に名前が挙げられる
4私たちのボリュームだとコストは?実際のチケット数に基づいて計算された数値。定価ではない
5実際に対応しているチャネルは?チャネルごとに同じAIロジックが明示される。「オムニチャネル」だけではない
6どのデータを見られる?注文履歴、アカウントステータス、CRMが具体的に挙げられる
7セットアップ期間は?あなたと同規模の顧客に基づいたタイムライン
8会話データの所有者は誰か?所有権、使用目的、保持期間についての直接的な回答
9どのコンプライアンスを保持?認定資格の名称と、どのティアに適用されるか
10離脱した場合はどうなる?履歴と設定の明確なエクスポート方法

ベンダーを評価するなら、これらの10の質問のうちいくつに対して、自信満々の回答ではなく、具体的で検証可能な回答が得られるかで判断します。2〜3の曖昧な回答があっても自動的に不合格になるわけではありませんが、契約前にどこをより深く調査すべきかを示しています。事前にショートリスト を絞り込んでいる場合は、判断の社内側面について、完全な購入チェックリスト と併用してください。

この記事を共有する

AdamはLiveAgentのコンテンツマネージャーです。AIエージェントがサポートチームの負担をどのように軽減できるかに心から興奮する一方で、顧客が理解されるために余計な手間をかけるような自動化には同様に懐疑的です。

Adam Khaled
Adam Khaled
コンテンツマネージャー

Frequently asked questions

あなたは良い手の中にいます!

満足したクライアントのコミュニティに参加し、LiveAgentで優れたカスタマーサポートを提供しましょう。

LiveAgent Dashboard