AI ボットを騙すのは簡単？なりすましやセキュリティ・コード窃取などを阻止するための対策とは？

AI Customer Service Bots Can Be Tricked Into Stealing Security Codes and Acting as Victims

2026/09/08 CyberSecurityNews — AI を活用したカスタマー・サービス・ボットは、顧客プロファイルや請求データの参照、サポート受信箱の管理、アカウント変更や返金処理のためのツールへのアクセスなど、企業内で多様な役割を担うようになっている。今回の研究で明らかになったのは、攻撃者が従来の脆弱性スキャナの使用やアプリケーションの直接的な悪用を必要とせず、AI エージェントが受信するデータやメッセージを操作することで、機密情報を開示させるほか、正規の顧客として操作を実行させる可能性である。

大きなリスクの 1 つは、チャットボットによる会話記録のメール送信機能である。多くのサポート・ボットでは会話のコピーをメールで送信できるため、攻撃者がチャット・セッションに悪意のあるテキストを注入すると、この機能を悪用して正規のサポート・アドレスから送信されたように見えるフィッシング・メールを作成できる。その結果、顧客は “support@company.com” からのメッセージを通常のフィッシング・ルアーよりも信用する可能性が高くなる。

メール・スプーフィングの脆弱性も、この問題をさらに深刻化させる可能性がある。一部の AI エージェントは受信メールに表示される From ヘッダを読み取ってユーザーを識別する一方、メール配信システムや認証システムでは別の送信者フィールドを検証する場合がある。この違いを悪用し、攻撃者は自らが制御するアドレスから認証を通過するメールを送信した後、AI システムにそのメッセージを被害者のアカウントと関連付けるよう指示する可能性がある。

AI ボットを騙してセキュリティ・コードを窃取

ある攻撃シナリオが示すのは、AI カスタマー・サービス・エージェントが被害者から送信されたように見えるリクエストを受信して、請求データ／プロファイル情報／アカウント情報を取得する可能性である。さらに攻撃者が CC フィールドや返信先フィールドに自身のアドレスを追加した場合には、高機密性の返信を意図せず攻撃者へ送信する可能性もある。

セキュリティ研究者 Inti De Ceukelaire が警告するのは、DEF CON 34 の Bug Bounty Village において、メールを悪用した細工やプロンプト・インジェクション／ID の混同／不十分な認証チェックによって、これらの機能が悪用される可能性である。

この研究では、多要素認証に関連するリスクも指摘されている。一部のボットでは、電話番号の更新など、機密性の高いアカウント変更を実行する前にワンタイム・パスコードの入力が要求されるが、メール・アドレスの正規化が不十分な場合には、同じメール・ボックスを指す別の形式のメール・アドレスを使用することで、攻撃者がレート制限をリセットする可能性がある。

たとえば、メール・アドレス内のコメント、エイリアス、通常とは異なる形式は、システムごとに異なる方法で解釈される場合がある。その結果、あるコンポーネントではそのアドレスを攻撃者のものとして認識する一方、別のバックエンド・サービスでは埋め込まれたデータを異なる方法で解析して被害者のアカウントを取得する可能性がある。この種の脆弱性は、特にユーザー入力が適切に処理されず、API リクエストに直接挿入される場合に危険となる。

サポート受信箱に接続された AI エージェントから、サードパーティのアカウント・コードが漏洩する可能性もある。攻撃者はまず、ボットの動作に影響を与えるよう設計した指示を送信した後、ソーシャルメディア・プラットフォームなどの別のサービスから企業のサポート受信箱へ正規のパスワード・リセット・メールを送信させる。そのコードを読み取る AI エージェントが、先に送信された悪意のある指示に従うことで、そのコードを攻撃者の制御するインフラへ転送させる可能性がある。

こうした攻撃は、人間による承認だけでは常に阻止できるとは限らない。人間のオペレータと AI エージェントが同じメールの異なる内容を処理する可能性があるためだ。攻撃者はマルチパートメッセージ／非表示の HTML／CSS による表示制御／引用返信／特殊な形式の添付ファイルなどを使用し、人間には無害なメッセージを表示する一方で、AI システムには悪意のある指示を認識させる可能性がある。

また、カスタマー・サービス・エージェントでは、企業のドキュメントを基に質問へ回答するため、検索拡張生成 (RAG) が利用されることが多く、ナレッジベースの汚染も拡大している懸念事項の 1 つである。コミュニティのコメント／ユーザー・プロファイル／企業ドメイン上の信頼できないページなどがクローラーによりインデックス化された場合、攻撃者が偽の指示や偽の割引コードを仕込むことで、それらの情報が AI によって信頼できる内部情報として扱われてしまう可能性がある。

このため、AI サポート・エージェントを導入する組織には、信頼できない顧客コンテンツとシステム指示を厳密に分離する必要がある。検証済みのセッションに紐付けた ID に基づくユーザー認証／メール・アドレスの一貫した正規化／すべてのツール・リクエストに対するサーバ側での検証／未確認の受信者へボットが機密情報を送信できない仕組みの導入が必要となる。

さらに、AI エージェントの権限も制限すべきである。メールの読み取り／アカウントの変更／返金処理／サードパーティの認証コードへのアクセスなどが可能なチャットボットは、攻撃者にとって価値の高い標的となる。そのため、企業には AI エージェントを単なる対話型インターフェースではなく、特権を持つ自動化システムとして扱うことが求められる。

AI を活用したカスタマーサポートエージェントでは、メールヘッダーや入力データの処理不足によるなりすましやデータ漏洩が課題となっています。認証を迂回した不正アクセス／サポートアドレスを装ったフィッシングメールの拡散／ワンタイムパスコード等の機密情報の窃取／偽情報を用いたレスポンスの操作といった深刻な影響が生じるおそれがあります。適切なユーザー認証の導入／メールアドレスの正規化／サーバー側での徹底した入力検証／最小権限の原則に基づくアクセス制限／AI システムと顧客コンテンツの分離などの包括的な対策が求められます。