Cisco が公開した AI Provenance Tool：AI モデルの系譜を追跡するオープンソース・ツール

Cisco Launches AI Provenance Tool to Strengthen Security and Compliance

2026/05/04 gbhackers — Cisco が公開した Model Provenance Kit は、AI モデルの正確な系譜を追跡するためのオープンソース・ツールである。AI モデルは多数のエンタープライズ・アプリケーションに統合されているが、その出自の特定は依然として大きなセキュリティ課題である。このツールは、複雑な AI サプライチェーンの透明性向上とコンプライアンス対応を目的とする。

不透明な AI サプライチェーン

現代の AI 開発は、Hugging Face のようなオープンソース・リポジトリに大きく依存しており、現時点で 200 万以上のモデルが公開されている。開発者は、これらのモデルをダウンロードしてファイン・チューニングするが、変更の履歴を正確に記録しないケースが多い。この透明性の欠如は、GenAI の導入において重大なリスクとなる。

汚染されたデータや隠れた脆弱性を含むモデルが導入された場合には、それらの問題が派生モデルへと伝播される。したがって、インシデント対応や異常動作の根本原因分析には、出自の追跡が不可欠である。さらに EU AI Act などの規制フレームワークにより、トレーニング・データやシステム構成要素の厳格な記録が求められている。

Cisco は、この可視性の問題を解決するために、AI の DNA 検査のように機能するツールとして Model Provenance Kit を開発した。

攻撃者はドキュメント改竄やメタデータ削除を容易に行えるため、従来の手法では出自の判定が困難である。また多くのモデルが、同一のアーキテクチャを共有しているため、コンフィグ・ファイルやメタデータのみでは識別できない。

このツールは、メタデータと学習済みパラメータの双方を解析し、これらの制約を回避する。その動作は 2 段階で構成されている。

第 1 段階では、モデル構成および構造メタデータを比較して高速スクリーニングを実施する。結果が曖昧な場合には、第 2 段階へ進み、学習済みの重みを直接解析する。

Model Provenance Kit performance against benchmarked sets (Source: CISCO)
Model Provenance Kit performance against benchmarked sets (Source: CISCO)
重みレベル・シグナルの抽出

深層を解析する段階では、モデル内部から 5 種類の補完的シグナルを抽出し、固有フィンガープリントを生成する。

  • Embedding anchor similarity：トークン間の幾何関係を評価し、ファイン・チューニング後も保持される構造を特定する。
  • Embedding norm distribution：オリジナルのトレーニングで学習された、単語の頻度パターンを解析する。
  • Norm layer fingerprints：変更後も安定して残る、正規化層の特性を抽出する。
  • Layer energy profiles：ニューラルネットワーク全層にわたるエネルギー分布を比較する。
  • Weight-value cosine metrics：対応層の重み値を直接比較する。

Cisco は 111 組のモデルペアを用いて、このツールに対する厳格なベンチマークを検証した。

そのテストには、aggressive distillation／same-tokenizer トラップ／異組織間ファイン・チューニングなどの実環境シナリオが含まれる。抽出されたシグナルは統合され、モデル間の共通系譜を判定するための Provenance スコアとして出力される。

評価結果は以下の通りである：

  • 標準派生 (ファイン・チューニング／量子化／アラインメント)：再現率 100%
  • 異組織派生 (リネーム／再公開モデル)：再現率 100%
  • same-tokenizer トラップ：特異度 100%
  • 独立再現 (同一アーキテクチャ／異なる学習)：非関連と正しく識別
  • 全体精度：111 組中 107 組を正確に分類
Screenshot of Model Provenance Kit’s command line interface (Source: CISCO)
Screenshot of Model Provenance Kit’s command line interface (Source: CISCO)

この Python ベースツールはコマンドライン・インターフェイスを備え、専用のハードウェアを必要とせず、標準 CPU 上で動作する。

比較モードでは、2 つのモデルが比較され、類似性の詳細分析が提供される。スキャン・モードでは、単一モデルをデータベースと照合し、最も近い系譜候補を特定する。

Model Provenance Kit は GitHub 上で公開されており、初期フィンガープリント・データセットとして Hugging Face 上に 150 のベース・モデルが提供されている。

訳者後書：Cisco が、AI モデルの系譜を特定するためのツール Model Provenance Kit を公開しました。その背景にあるのは、 AI の開発現場において、どのモデルを、誰が、どう改造したのかという出自が不透明になりやすく、セキュリティ上の大きな死角になっているという現状です。現在、多くの AI は既存のモデルをファイン・チューニングして作られていますが、その過程で名前が変えられたり、元の情報が消されたりすると、中身に脆弱性や悪意のデータが含まれていても、正体を突き止めることが困難です。このツールは、モデルの表面的な名前ではなく、内部の数値 (重み) のパターンを直接解析することで、AI の DNA 鑑定のような手法を用いて元のモデルを特定します。これにより、信頼できない場所から来た AI を誤って使うリスクを減らし、法規制への対応もスムーズになります。