Google LLM の成果：ファジングでは到達できなかった SQLite の脆弱性を発見

Google Says Its AI Found SQLite Vulnerability That Fuzzing Missed

2024/11/04 SecurityWeek — Google によると、従来からのファジングでは到達できなかった SQLite の脆弱性が、LLM (Large Language Model) プロジェクトにより発見されたという。同社は 2024年6月に、LLM が持つとされる、攻撃的セキュリティ能力の評価を目的とする、Project Naptime の詳細を共有した。Google の Project Zero と DeepMind の共同プロジェクトである Naptime は、その後に Big Sleep というプロジェクトへと進化している。

11月1日に Google が発表したブログ記事によると、現時点では研究段階にある Big Sleep LLM エージェントだが、SQLite オープンソース・データベース・エンジンにおける、未知の脆弱性を発見したという。

この、悪用可能なスタックバッファ・オーバーフロー脆弱性は、10月初旬に発見され、公表から数時間以内に SQLite 開発者により修正されたという。ただし、正式リリース前のさコードで発見された脆弱性であるため、ユーザーには危険が生じないという。

その一方で Google は、この発見は注目に値するものであり、現実のソフトウェアにおける悪用可能なメモリ・セーフティ関連の問題を、初めて AI エージェントが発見した事例になるという。

この SQLite の脆弱性は、最近になってコミットされたコードを、Big Sleep エージェントに調査させ、最近にパッチが適用された脆弱性と類似する、セキュリティ問題を見つけさせるという試みの中で発見されたという。

Google が発表したブログ記事では、AI が SQLite の脆弱性を発見するまでの手順が説明されている。

Google の研究者たちは、LLM によって脆弱性が発見された後に、ファジングを使用して同じ脆弱性を特定しようとしたが、150 CPU 時間分のファジングを行なっても、その欠陥は発見できなかったという。数年前までは、SQLite のバグ発見において、 AFL fuzzer ファザーが極めて有効だったが、すでに飽和点に達したようだと、Google は指摘している。

Google は、「適切なツールが提供されるなら、現在の LLM による脆弱性の調査は可能である。しかし、今回の結果は、きわめて実験的なものであることに留意してほしい。現時点における Big Sleep チームの見解は、ターゲットに特化したファジング・ツールであれば、少なくとも同等の効果を発揮する可能性が高いというものである」と 述べている。

ソフトウェアの脆弱性研究を含め、サイバー・セキュリティ業界における AI 利用が広まっている。先週には、脅威インテリジェンス企業の GreyNoise が、広く普及している IoT カメラの深刻な脆弱性を悪用する試みを、AI 搭載ツールが検出したと評価している。

LLM を利用して脆弱性を検出しているのは、Google だけではない。AI セキュリティ企業の Protect AI は、LLM を活用して複雑な多段階の脆弱性を検出／説明できる、静的コード・アナライザーを開発している。

従来からのファジングでは発見できなかった脆弱性を、Google の LLM が見つけ出したという、とても興味深い記事です。その一方で、2024/11/03の「AI プラットフォーム Ollama に６つの脆弱性：AI モデルの盗用と汚染のリスクとは？」は、LLM 固有の脆弱性が発見されたと解説する記事です。いろんな局面で、AI と脆弱性が接近しつつあるように思えます。よろしければ、カテゴリ AI/ML を、ご参照ください。