Python の AI パッケージの脆弱性 CVE-2024-34359 が FIX

Critical Flaw in AI Python Package Can Lead to System and Data Compromise

2024/05/17 SecurityWeek — AI アプリケーション開発者が使用する Python パッケージにおいて、先日に発見された重大な脆弱性により、任意のコード実行が可能となり、システムやデータが危険にさらす可能性があるという。 その脆弱性 CVE-2024-34359 は、研究者 Patrick Peng (別名 retr0reg) により発見され、Llama Dramaと呼ばれている。5月16日 (木) に、サイバーセキュリティ企業 Checkmarks が発表したのは、この脆弱性と影響について説明するブログ記事である。

脆弱性 CVE-2024-34359 は、主に HTML 生成で使用される Jinja2 テンプレート・レンダリング Python ツールと、AI モデルと Python との統合で使用される llama_cpp_python パッケージに関連している。

Llama_cpp_python では、モデルのメタデータを処理するために、Jinja2 が使用されている。しかし、そこでは、特定のセーフガードを用いられず、テンプレート・インジェクション攻撃が可能になっている。

Checkmarks は、「この問題のコアは、Jinja2 がサポートしているテンプレート・データを処理において、サンドボックスなどの適切なセキュリティ対策が欠落していることから生じている。今回は、それらが実装されていない」と説明している。

同社によると、この脆弱性の悪用に成功した攻撃者は、影響を受ける Python パッケージを使用するシステム上で、任意のコード実行を可能にする恐れがある。具体的にいうと、”llama_cpp_python” と “Jinja2” を使用している、Hugging Face AI コミュニティ上の 6,000以上の AI モデルが影響を受けていることを、Checkpoint は発見している。

Checkmarx は、「Hugging Face のような信頼できるプラットフォームから、一見すると無害に見える AI モデルをダウンロードすると、あなたのシステムを制御するためのバックドアを開いてことを、発見するという状況を想像してほしい」と締め括っている。

AI に関連する脆弱性ですが、文中でも指摘されているような、”モデルのメタデータ” 処理などに存在するとされる欠陥は怖そうです。その先に想定される被害が、どのようなものになるのか、そのあたりも分からないので、なおさら怖いです。なお、原文では、参照先として Checkpoint が明示されていましたが、Checkmarks の間違いなので、日本語分では修正しています。よろしければ、カテゴリ AI/ML も、ご利用ください。