AI Chat におけるプライバシーとリスク：Microsoft が詳述する Whisper Leak というサイドチャネル攻撃

AI chat privacy at risk: Microsoft details Whisper Leak side-channel attack

2025/11/09 SecurityAffairs — Microsoft が発表したのは、Whisper Leak と呼ばれる新たなサイドチャネル攻撃に関する情報である。具体的に言うと、ネットワーク・トラフィックを監視する攻撃者は、データが暗号化されている場合であっても、リモートの言語モデルを使用してユーザーが会話した内容を推測できるという。この脆弱性により、企業／個人ユーザーがストリーミング AI システムと交わした会話から機密情報が漏洩し、深刻なプライバシー・リスクが生じる可能性があると、同社は警告している。

現代において AI チャットボットは、医療や法律などの機密性の高い分野でも重要な役割を果たしている。したがって、強力な匿名化／暗号化／安全性のポリシーにより、ユーザー・データを保護することは、信頼とプライバシーを維持する上で不可欠である。

AI チャットボットは HTTPS (TLS) を用いて通信を暗号化し、安全で認証された接続を確保する。言語モデルはトークンごとにテキストを生成し、より高速なフィードバックのために出力をストリーミングする。TLS は非対称暗号化を使用して、AES や ChaCha20 などの暗号用の対称鍵を交換する。

この方式により、暗号文のサイズは平文のサイズとほぼ同じになる。しかし、サイズは隠せても、トークン生成の挙動は露出し得る。最近の研究で明らかになったのは、AI モデルにおけるサイドチャネル・リスクである。攻撃者はトークンの長さ／タイミング／キャッシュ・パターンなどから、プロンプトのトピックを推測できるという。その能力を拡張する Microsoft の Whisper Leak により、暗号化されたトラフィック・パターンからであっても、会話のテーマを明らかにできることが判明した。

Microsoft の研究者たちは、言語モデルとのチャットが “マネーロンダリングの合法性” といった特定のトピックに関するものなのか、それとも一般的なトラフィックに関するものなのかを判別するために、バイナリ分類器をトレーニングした。

彼らは、このトピックに関連する 100 個のプロンプトと無関係な 11,000 個以上のプロンプトを生成し、キャッシュ・バイアスを回避するためにサンプルをランダム化しながら、tcpdump を用いて応答時間とパケット・サイズを記録していった。さらに、LightGBM／Bi-LSTM／BERT モデルを用いて、時間／サイズ／複合データをテストした。その結果として、多くのモデルが 98% 以上の精度 (AUPRC：Area Under Precision-Recall Curve) を達成し、トピック固有のネットワーク・パターンにより、識別可能なデジタル・フィンガープリントが残ることが証明された。

Microsoft が公表したレポートには、「不均衡なデータセット (ネガティブサンプルが多く、ポジティブサンプルが少ない) に対するサイバー攻撃の成功度を測定する指標である、適合率再現曲線下面積 (AUPRC) を使用してパフォーマンスを評価した。”Best Overall” の列をざっと見ると、多くのモデルにおけるサイバー攻撃が 98% を超えるスコアを達成していることがわかる。つまり、管理されたテスト環境で AI 搭載の盗聴器を用いれば、特定のトピックに関する会話が残す固有のデジタル・フィンガープリントを確実に特定できる」と記されている。

現実的な監視シナリオのシミュレーションで、ランダムな会話 1 万件を監視するというテストも行われた。その中に含まれる、センシティブなトピックの会話１件を抽出する際にも、攻撃者は高い精度で標的を特定できることが分かった。

テストされた多くの AI モデルは 100% の精度を達成し、すべてのフラグ付けされた会話はトピックに正しく一致しており、標的とする会話全体の 5～50% を検出していた。それが意味するのは、暗号化されている会話であっても、センシティブな問題について議論しているユーザーを、攻撃者や政府機関が確実に特定できることである。

テスト・データに応じて予測は制限されるが、この結果が示唆するのは、攻撃者が大量のデータを収集し、そのモデルを改良するにつれて、現実的なリスクが増大することである。

Microsoft のレポートには、「１つのテスト・モデルを用いた長期テストでは、データセットのサイズが大きくなるにつれて、攻撃精度が継続的に向上することを確認した。より洗練された攻撃モデルと、複数ターンの会話や同一ユーザーの複数の会話を利用し、より豊富なパターンを組み合わせることが可能だ。したがって、忍耐力とリソースを備えたサイバー攻撃者であれば、当初の調査結果が示唆するよりも高い成功率に達する可能性がある」と記されている。

Microsoft は、OpenAI／Mistral／xAI と調査結果を共有しており、それらの企業においても、特定されたリスクを軽減するための緩和策が実施されている。

OpenAI と Azure で実施されたのは、ストリーミング応答への難読化フィールドの追加であり、トークンの長さを隠蔽することで攻撃の効果を大幅に低減できたという。この Azure の難読化におけるテストでは、非実用的なレベルまでリスクを低減できたことが確認されている。その一方で Mistral は、新たな “p” パラメータにより、同様の緩和策を導入している。

主に AI プロバイダーの問題ではあるが、ユーザーに対して推奨されるのは、信頼できないネットワーク上での機密性の高いトピックを避け、VPN を使用し、緩和策を備えたプロバイダーを選択することだ。さらに、非ストリーミングモデルを選択し、セキュリティ対策に関する最新情報を常に把握することで、プライバシーを強化できる。

AI チャットボットとの会話が TLS で暗号化されていても、LLM のストリーミング出力が生むトークン長や応答タイミングから、会話テーマのフィンガープリントが生成されるという問題があるようです。通信パターンをバイナリ分類器で分析する攻撃者が、そのテーマを高精度で推測できることが、Microsoft の Whisper Leak により判明しました。難読化やパディングといった対策が、プロバイダー側で必要になると、この記事は指摘しています。よろしければ、カテゴリ AI/ML を、ご参照ください。