TrojAI の拡張：AI エージェントによる Red Teaming 機能を追加

TrojAI Extends Scope and Reach of Platform for Securing AI Environments

2026/04/06 SecurityBoulevard — AI ベースのアプリ／ツール／プラットフォームを保護する TrojAI は、特定タスク向けに訓練された、AI エージェントによる Red Teaming 機能を追加した。さらに同社は、AI コーディング支援ツールのインスタンスを取り込むかたちで AI 向けファイアウォールを拡張する、Agent Runtime Intelligence のプライベート・プレビューを提供している。

このプラットフォームは、AI エージェントの実行トレースを収集／解析し、使用ツール／アクセスされたメモリ／データ取得パターン／システムプロンプト露出の可能性を可視化する。これらの機能により、サイバー・セキュリティ・チームは攻撃シミュレーションと AI エージェント挙動の可視化を両立する、最適化された能力を得られると、同社 CEO Lee Weiner は述べている。

彼は、「AI エージェントはサイバー・セキュリティにおけるパラドックスを生み出している。プロンプト・インジェクション攻撃による悪意の命令の作成は、それほど難しいものではない。その一方で、AI エージェントは可能な限り多くのデータへ、積極的にアクセスするよう設計されている。結果として、ガードレールが存在しない状況で AI エージェントが侵害されると、その影響は壊滅的となり得る」と指摘している。

TrojAI Defend に追加された Agent 主導の AI Red Teaming 機能は、同社が収集してきたデータセットおよび操作手法ライブラリを活用し、複数の AI エージェントを介して、動的な攻撃チェーンを多段階でオーケストレーションする。この仕組みにより、サイバー・セキュリティ・チームは、脅威の全体像をより深く理解できると、彼は述べている。

全体の目的は、複雑なテスト・シナリオを手動で設定することなく、実行可能にすることだ。テスト結果は、OWASP／MITRE／NIST フレームワークへ自動的にマッピングされる。

これまでの同社は、サイバー・セキュリティ・チームによる独自の Red Team シミュレーションを、TrojAI Detect プラットフォームを通じて構築できるようにしてきた。そして、新たなフェーズにおいては、その作業を AI エージェント群に委任し、生成／管理させることが可能となった。さらに同社は、AI ツール／アプリケーション／モデル／Model Context Protocol (MCP) サーバの実行時保護に特化した、TrojAI Defend ファイアウォールも開発している。

Lee Weiner は、「サイバー・セキュリティ・チームが取るべき道として、AI 環境保護のための専用ツールへの投資と、既存路線への継続的な投資がある。しかし AI イノベーションの速度を踏まえると、AI 環境向けに設計された最適なプラットフォームの採用は合理的である」と指摘している。

いずれのアプローチを取るにしても、多くのサイバー・セキュリティ・チームの対応能力を、AI 導入の速度が上回っている。今後の数カ月で、AI に関連するセキュリティ・インシデントは指数関数的に増加する可能性が高い。

実際のところ、複数の大規模インシデントが発生しなければ、AI 環境保護に必要な予算が確保されないという見方もある。

ただし、その間においても、サイバー・セキュリティ・チームは最悪の事態を想定して備えるべきである。AI の活用方法に関しては、攻撃者が常に先行している可能性が高い。

訳者後書：今回の記事で指摘されている課題は、AI エージェントが多くのデータへ積極的にアクセスするよう設計されている一方で、その動作を制御するガードレールが不足していることにあります。プロンプト・インジェクションなどの手法で悪意の命令が実行されると、AI が持つ広範な権限がそのまま悪用され、被害が壊滅的なものになるというパラドックスが生じています。AI の自律性とセキュリティの両立という、構造的な問題がリスクの核心です。よろしければ、Prompt Injection での検索結果も、ご参照ください。