CVE-2024-12366: Prompt Injection in PandasAI Enables Full System Compromise
2025/02/11 SecurityOnline — SinaptikAI が提供する OSS の AI 搭載データ分析ライブラリ PandasAI で、新たに公開されたセキュリティ脆弱性により、プロンプト・インジェクション攻撃によるリモート・コード実行 (RCE) の可能性が生じることが判明した。この脆弱性 CVE-2024-12366 を悪用する攻撃者は、自然言語プロンプトを操作して任意の Python コードを実行し、システム侵害を引き起こす機会を手にする。
CERT/CC は、「チャット・プロンプトにアクセスできる攻撃者であれば、コードとして解釈される悪意の入力を作成し、任意のコード実行を実現する可能性を得る」と指摘している。これに対応して、すでに SinaptikAI は、新しいセキュリティ・コンフィグを実装し、リスクを軽減している。
PandasAI は、自然言語を使用するユーザーが、データに対するクエリ／分析を可能にするように設計されている。具体的に言うと、OpenAI の GPT などの LLM を使用して、ユーザーのクエリを Python または SQL コードに変換して結果を生成している。ただし、このアプローチでは、AI により生成されるコードが暗黙的に信頼されるため、プロンプト・インジェクション攻撃の機会が生じる。
NVIDIA AI Red Team のセキュリティ研究者たちたが実証したのは、PandasAI バージョン 2.4.3 以前のセキュリティ制御では、プロンプト・インジェクションのブロックが不十分であることだ。彼らの調査では、攻撃者による以下のアクションが可能であることが示されている。
- 危険な操作を防ぐためのモジュール・インポート制限の回避
- 信頼できないコードの実行を防ぐはずの、ジェイルブレイク防止の回避
- 許可リストの操作による不正コマンドの実行
CERT/CC は、「この脆弱性は、AI チャットボットとエージェントにおいて、コードとデータを明確に分離するという、基本的な課題の欠如から生じている。PandasAI は、AI により生成されるコードを信頼できるものとして扱うため、プロンプト内に悪意の Python コードを埋め込む攻撃者は、任意のコードを実行できる」と述べている。
CERT/CC は、「PandasAI バージョン 2.4.3 以前のセキュリティ制御では、正当な入力と悪意の入力を区別できないため、システムを操作する攻撃者により、信頼できないコードが実行されてしまう。したがって、機密性の高い環境で PandasAI を使用している組織は、きわめて危険な状態にある」と指摘している。
CERT/CC は、この脆弱性を発見／報告した、NVIDIA の AI Red Team (Joe Lucas／Becca Lynch／Rich Harang／John Irwin／Kai Greshake) の功績を称えている。
すでに SinaptikAI は、最新のアップデートで３つのセキュリティ・レベルを導入し、脆弱性 CVE-2024-12366 に対処している。
- Standard：デフォルトの設定であり、使い易さとセキュリティのバランスを考慮。
- Advanced： 高リスク環境向けの、厳格なセキュリティ対策を取り込む。
- None：セキュリティ保護を無効化 (非推奨)。
さらに SinaptikAI は、プロンプト・インジェクションのリスクを軽減するために、サンドボックス環境をリリースしている。CERT/CC からユーザーへのアドバイスは、ただちに PandasAI を更新し、利用形態に合わせたセキュリティ設定をコンフィグしてほしいというものだ。
PandasAI の RCE 脆弱性が FIX とのことです。ご利用のチームは、ご確認下さい。ここのところ、AI のセキュリティ関連の News が続いています。関連トピックとして、2025/02/07 に「Ollama API と DeepSeek のブーム：どのような AI リスクが生じるのだろうか？」という記事をポストしています。よろしければ、カテゴリ AI/ML と併せて、ご参照ください。
IoT OT Security News 
You must be logged in to post a comment.