GPT-4 調査：脅威アドバイザリを読むだけで多くの脆弱性を悪用できる – University of Illinois

GPT-4 Can Exploit Most Vulns Just by Reading Threat Advisories

2024/04/19 DarkReading — GPT-4 を搭載した AI エージェントは、現実の世界のシステムに影響を及ぼしている、公開されている脆弱性の大半を、オンラインで読み込むだけで悪用できることが判明した。イリノイ大学アーバナ・シャンペーン校 (UIUC) が公開した最新の研究は、AI を悪用するサイバー脅威において、これまで 18ヶ月の間は停滞気味だった状況が、根本的に活性化する恐れがあるとしている。

これまでに脅威アクターたちは、マルウェアを配布するフィッシング・メールを作成するために LLM (large language models) を悪用しており、キャンペーンの補助的な側面として利用するに過ぎなかった。しかし現在では、GPT-4 とパッケージ化のための OSS フレームワークだけで、脆弱性の悪用を自動化することが可能になっているという。

研究者の一人である Daniel Kang は、「我々のケース・スタディが、脅威を阻止する方法を伝えるのに役立つかどうかは分からない。サイバー脅威は、増加する一方だと思われる。したがって、ユーザー組織は、セキュリティのベストプラクティスの適用を強く検討すべきだ」と述べている。

GPT-4 対 CVE

UIUC の４人で構成される研究チームは、現実世界のシステムを、LLM が悪用できるかどうかを測定するための実験台を用意した。

用意された LLM エージェントは、４つのコンポーネントである、プロンプト／ベース LLM／フレームワーク (今回は LangChain に実装された ReAct) ／ターミナルやコードインタプリタなどのツールで構成されている。

研究者たちは、これらの LLM エージェントを使用して、Web サイト／コンテナ／Python パッケージなどに影響を及ぼす、15件の既知の脆弱性についてテストした。そのうちの８件は、CVE の深刻度スコアが High または Critical であった。また、GPT-4 がトレーニングされた日付を過ぎて、公開された 11件の脆弱性もあり、このモデルにとって、それらはに初めてのものになる。

AI エージェントは、そのセキュリティ・アドバイザリだけを頼りに、それぞれのバグを順番に悪用していくことになった。その実験結果は、厳しいものだった。

GPT-3.5 や Meta の Llama 2 Chat などの、評価された 10モデルのうち、9モデルは脆弱性を１つも悪用できなかった。しかし GPT-4 は、全体の 87 ％にあたる 13の脆弱性の悪用に成功したのだ。

失敗したのは、たったの２つだけだった。１つ目は、Iris インシデント・レスポンス・プラットフォームにおける脆弱性 CVE-2024-25640 (CVSS：4.6) である。この脆弱性は、Iris のアプリをナビゲートするプロセスに癖があり、このモデルでは対処できなかったことで、悪用は達成されなかった。２つ目は、Hertzbeat モニタリング・ツールの脆弱性 CVE-2023-51653 (CVSS：9.8) である。研究者たちは、この脆弱性の悪用に GPT-4 が失敗したのは、その記述が中国であったからだと推測している。

Daniel Kang は、「GPT-4 は、多くのタスクにおいて、他のモデルを大きく凌駕している。そこには、標準的なベンチマーク (MMLU など) も含まれる。また、GPT-4 はプランニングにも優れているようだ。残念ながら、OpenAI はトレーニングの詳細を公開していないので、その理由はわからない」と述べている。

GPT-4 は有能である

Daniel Kang は、「悪意の LLM は脅威かもしれないが、現時点においては、専門家である人間には達成できないような、新しい能力が解放されるわけではない。そのため、これらの AI エージェントが悪意の方法で使用され始めたら、ハッキングされないようにセキュリティのベスト・プラクティスを適用することが、組織にとって重要になると思う」と述べている。

もしハッカーが LLM エージェントを利用して、公開されている脆弱性の悪用を自動化し始めたら、新しい脆弱性にパッチが適用されるのを、悠長に待つことは非現実的な対応だと言わざるを得なくなるだろう。そして、ハッカーたちと同じように、同じ LLM 技術を使うことになるかもしれない。

しかし GPT-4 でさえ、完璧なセキュリティ・アシスタントになるには、まだ道半ばにあると、Endor Labs のセキュリティ研究者 Henrik Plate は指摘している。最近の実験で彼は、OSS のサンプルについて良性／悪性かを識別し、リスク・スコアを割り当てることを、ChatGPT と Google Vertex AI に課してみた。その結果として GPT-4 は、ソースコードを解説し、読みやすいコードの評価を提供することに関して、他の全てのモデルを上回ったが、それらのモデルの多くが、偽陽性と偽陰性をもたらしていたという。

Henrik Plate は、「たとえば、難読化は大きな問題点だった。手作業でのレビューを困難にするために、意図的にコードが難読化されていると、LLM が捉えるケースが非常に多かった。しかし、多くの場合において、正当な目的のためにサイズを小さくしているだけだった」と説明している。

彼のレポートには、「手作業によるレビューの代わりに、LLM ベースのレビューを用いるべきではない。しかし、LLM ベースの評価は、手動によるレビューに対する、１つの追加シグナル／インプットとして使用できることは確実である。特に、LLM ベースの評価は自動レビューに役立つ。ノイズの多い検出器により生成される、多数のマルウェア信号のレビューなどが可能である。レビュー能力が限られている場合に、完全に無視してしまうという危険性を回避できる」と記されている。

訳してみて、焦ってみたり、安心してみたりという、心の起伏を感じさせる記事でした。さまざまな生成 AI の中で、GPT-4 が図抜けた能力を持っていることが分かりましたが、人間が仕掛けるギミックには、まだ付いてこれないようです。文中にもあるように、セキュリティ・アシスタント的なポジションから始まるのが、最も妥当なのかと思います。よろしければ、カテゴリ AI/ML も、ご利用ください。