Novee が発表した AI Red Teaming for LLM：AI を駆使する攻撃者の目線でペンテストを実施

Training an AI agent to attack LLM applications like a real adversary

2026/03/25 HelpNetSecurity — 従来のペンテストが追いつかない速度で、数多くのエンタープライズ・ソフトウェア開発チームが、AI 搭載アプリケーションをリリースしている。たとえば、500 のアプリケーションを抱えるセキュリティ・チームであっても、それぞれのアプリに対して、年に1 回以下の頻度でしかテストが行われていないケースもある。その間にも、モデル／統合／動作は変化し続けるが、それに対応するセキュリティ・レビューは実施されていない。

Novee が発表したのは、”AI Red Teaming for LLM Applications” と呼ばれる製品である。この製品は、RSAC 2026 で公開された、LLM ベースのソフトウェアを対象とする AI ペンテスト・エージェントである。

エージェントの機能

このエージェントは、Chatbot／Copilot／自律エージェント／LLM ワークフローなどの、AI アプリケーションを対象とする。攻撃者視点のシミュレーションを実行し、複数の攻撃手法を連鎖させることで、静的スキャナや単一のプロンプト・テストでは検出できない、脆弱性を特定する。

そのテストは、対象アプリケーションのコンテキスト収集から始まる。その後に、ドキュメント解析／API クエリ実行により内部モデルを構築し、対象となる環境に最適化されたテストを実施する。

たとえば、RBAC (Role-Based Access Control) 構造を解析し、低権限ユーザーによる高権限データへのアクセスの可能／不可を検証する。

Novee の CPO である Gon Chalamish は、「すでに攻撃者たちは、AI システム向けの攻撃手法を進化させている。防御側も、同様の方法でテストする必要がある」と述べている。

このエージェントは、OpenAI／Anthropic に加えて、各種のオープンソース・モデルなどの LLM に対応する。また、CI/CD パイプラインへの統合が可能であり、開発プロセスの一部として継続的なテストを実行できる。

従来ツールの限界

従来のペンテスト・ツールは、Web アプリやインフラ向けに設計されており、LLM 特有のインタラクションに対応していない。LLM アプリの脆弱性は、多段階の攻撃において悪用される可能性が高い。

したがって、ある領域にデータを埋め込み、その後に内部に悪意の命令を取り込んだエージェントにアクセスさせるという手順が、テスターにとって必要になるかもしれない。単一ペイロードを送信するツールでは、このような状況を再現できない。また、人的リソースにも制約がある。

熟練したペンテスターは高コストであり、多くの組織におけるテストは、年に 1〜2 回という頻度に留まってしまう。その一方で、LLM アプリは継続的に変化し、コードを変更しない場合においても、モデルの更新により挙動が変化する。そのためポイント・インタイムのテストでは対応できない。

さらに言えば、プロンプト・インジェクション／間接プロンプト・インジェクション／ツール悪用といった AI 特有の攻撃に対して、従来のスキルセットは十分にカバーできていない。

Gon Chalamish は、「AI を守るには AI が必要である」と結論付けている。このエージェントは、応答に応じて推論／適応し、多段階攻撃を計画する能力を持つ。

研究成果の活用

Novee の研究チームは、実際の AI における脆弱性を継続的に公開している。先日に報告したのは、Cursor コーディング・アシスタントのコンテキスト・ウィンドウ操作により、任意コード実行が可能となる脆弱性である。これらの研究成果は、エージェントのトレーニングに直接反映されている。

実環境で検出された高深刻度の脆弱性に対する悪用手法が、そのまま検出ロジックとして組み込まれる。

CEO の Ido Geffen は、「脆弱性発見から悪用までの時間が、数分に短縮される可能性がある。そのため、防御には定期的評価ではなく継続的テストが必要になる」と述べている。

市場および予算

Gon Chalamish は、「AI ペンテストにおいて、新規の予算は必要とされない。既存のペンテスト／レッドチーム／脆弱性スキャン予算を、継続的な自動テストへシフトすることを目標にしている。従来の年次／半期のテストはギャップを生じるため、AI による補完が求められる」と述べている。

Novee の資金調達

Novee は設立から4か月で $51.5 million を調達した。投資家には、YL Ventures／Canaan Partners／Zeev Ventures などが含まれる。創業者は、Ido Geffen／Gon Chalamish／Omer Ninburg であり、いずれも国家レベルにおけるオフェンシブ・セキュリティ分野の出身である。

訳者後書：RSA Conference 2026 において Novee が発表した、 LLM アプリケーション専用の AI ペンテスト・エージェント “AI Red Teaming for LLM Applications” について解説する記事です。今回の発表の背景にあるのは、 企業の AI 導入スピードに対して、年に 1〜2 回程度の頻度で行われる従来のペンテストでは、継続的に変化する AI モデルやエージェントの挙動を追い切れないという深刻なギャップです。 特に、プロンプト・インジェクションやツール悪用といった AI 特有の攻撃は、従来の Web セキュリティのスキルセットや単一のペイロードを送信するだけのツールでは十分に検知できません。AI を守るには AI が必要であるという同社の考えに基づき、 この自律型エージェントによる自動テストへと、既存のペンテスト予算をシフトさせることを目指しているようです。よろしければ、カテゴリー SecTools も、ご参照ください。