FuzzyAI：LLM のファジングを自動化するパワフルな OSS ツール

FuzzyAI: Open-source tool for automated LLM fuzzing

2024/12/13 HelpNetSecurity — 新たに登場したオープンソース・フレームワークの FuzzyAI は、LLM のファジングを自動化する強力なツールである。ガードレール迂回や有害な出力生成などの、LLM の潜在的なセキュリティ脆弱性の特定／緩和を支援するために設計されている。FuzzyAI の主な機能は、様々な敵対的インプットに対する AI モデルのテスト／セキュリティ・システムにおける潜在的な弱点の特定／AI 開発と展開の安全性向上のための体系的なアプローチなどである。

FuzzyAI の中核となるのは、ソフトウェアの欠陥や脆弱性を明らかにする、強力なファジング・ツール (fuzzer) である。この fuzzer を使用することで、倫理的なフィルターの回避から、隠されたシステム・プロンプトの公開に至るまで、10種類以上の攻撃手法で発見された脆弱性の特定が可能になる。

FuzzyAI の主な機能

• 包括的なファジング：様々な攻撃手法を用いて AI モデルを調査し、ガードレールの回避／情報漏洩／プロンプトの注入／有害な出力生成などの脆弱性を特定する。
• 拡張可能なフレームワーク：ユーザー組織や研究者は、攻撃方法を追加することで、ドメイン固有の脆弱性に対応したテストにカスタマイズできる。
• コミュニティとの連携：コミュニティ主導のエコシステムが拡大しているため、敵対的な技術や防御メカニズムの継続的な進歩が保証される。

サポートされているクラウド API

• OpenAI
• Anthropic
• Gemini
• Huggingface (Downloading models)
• Azure Cloud
• AWS Bedrock
• Ollama
• Custom REST API

FuzzyAI は、GitHub から無料でダウンロードできる。

LLM に対するファジングを自動化する、FuzzyAI という OSS ツールが登場とのことです。倫理的なフィルターの回避や、隠されたシステム・プロンプトの公開などは、とても AI っぽいですね。API 接続で、各種の LLM サービスに対応している感じがします。よろしければ、カテゴリ AI/LM と、カテゴリ Sec Tools を、ご参照ください。