OpenAI Blocks 15,000-User Campaign Trying to Extract Hidden AI Reasoning
2026/10/02 CyberSecurityNews — OpenAI が公表したのは、敵対的蒸留を通じて同社の AI モデルから保護された推論を抽出しようとする、15,000 人を超えるユーザーが関与した組織的なキャンペーンと、同社による活動の阻止に関する情報である。保護された推論とは、モデルが最終的な回答を生成する前に、タスクの処理で用いられる内部プロセスのことを指す。この非公開の推論には、中間的な分析／計画の手順／エンドユーザーに対して意図的に開示されない情報などが含まれる可能性がある。こうした情報を攻撃者が大規模に取得できるなら、開発／安全性テスト／インフラへの投資を行うことなく、高度なモデルの能力を再現を容易にする可能性がある。
OpenAI によると、このキャンペーンにより、暗号化システム／データベース／保存されたユーザーの会話が侵害されたわけではない。その代わりに攻撃者は、連携させたプロンプトや、複数の会話をまたぐ手法を悪用することで、通常のモデルとのやり取りを誘導し、非公開の推論を可視化しようとした。確認された手法の 1 つでは、ある会話から暗号化された推論データをコピーし、別の会話へ送信した上で、その内容を復号して書き起こすよう指示されていた。
15,000 人超が関与するキャンペーンとは？
不審な活動は、7月1日の時点で小さな規模で始まり、その後の 7月24日／25日に、OpenAI は活動の大幅な増加を確認し、抽出パターンが一致する 16,000 件のリクエストを、4,000 人を超えるユーザーから検出した。これらのリクエストを起点に調査の範囲を拡大した結果、15,000 人を超えるユーザーで構成される大規模な集団が関連するプロンプト活動が確認された。
OpenAI によると、この活動は 7月28日の時点で完全に阻止され、同社は、この活動の中核部分について、Kimi AI モデルを開発する Moonshot AI の関係者によるものと判断している。ただし OpenAI は、この広範なキャンペーンに関与した、すべてのアカウント／実行者を単一の攻撃主体に帰属させることについては確認できないと述べている。
したがって今回の公表内容は、15,000 人規模のネットワーク全体を Moonshot AI に帰属させるものではなく、中核となる集団を Moonshot AI の関係者と関連付けたものとなる。この活動について OpenAI は、自社サービスだけに限定された弱点ではなく、より広範な AI のセキュリティ問題だと説明している。
独立系の研究者たちからも、モデル間をまたぐ攻撃／会話の圧縮処理を利用した攻撃に関連する経路について、責任ある情報開示を通じて報告が行われていた。これらの報告は、OpenAI が推論抽出手法という、より広範な攻撃手法を調査する上で有用だったとしている。
これを受けて OpenAI は、不正なアカウントの禁止や制限／アカウント登録とインフラに対する制御の強化／関連するアカウント群の監視強化を実施した。さらに、暗号化された推論を入手した別のユーザーが、その内容を復元できる可能性があるリプレイ経路を遮断し、非公開の推論を露出させる可能性があるストリーミング出力を検出し、保留する保護策も追加した。
同社は Frontier Model Forum を通じて、業界パートナー／政府の情報機関と関連する情報を共有した。持ち運びやリプレイが可能な推論データは、他の Frontier AI 開発者にも同様のリスクを生じさせる可能性があるため、この情報共有は重要である。
今回のインシデントが示すのは、生成 AI プロバイダーが直面するサイバーセキュリティ上の問題の拡大である。AI モデルが、コーディング／科学／自律型ツールなど、デュアルユースの用途で高い能力を持つようになるにつれ、非公開の推論は競合企業や攻撃者にとって価値の高い標的となり得る。
OpenAI は、敵対的蒸留の試みが今後、高度化すると予想しており、検出／対処／モデルによる拒否機能／ツールの防御などに加えて、パートナーがホストするクラウド環境での保護策などを引き続き改善するとしている。
OpenAI が公表した、インシデント事例を紹介する記事です。本件では、ChatGPT などのモデルから非公開の内部プロセスを不正に抽出しようとするモデル蒸留攻撃が発生しました。攻撃者が多数のアカウントを連携させ、暗号化データのリプレイや会話を跨ぐプロンプト誘導を悪用したことで、企業の知的財産や高度な推論能力の再現を許すリスクが生じました。これに対し、該当アカウントの停止／制御・監視の強化／リプレイ経路の遮断／保護策の追加などの対応が実施されました。安全な運用環境の確保には、単なる脆弱性対応にとどまらず、サービス全体の利用傾向の適切な監視と迅速な防御機能のアップデートが求められます。
You must be logged in to post a comment.