ビジネスにおける生成 AI の実態：企業幹部の 70％ がセキュリティよりもイノベーションを優先 – IBM

#RSAC: 70% of Businesses Prioritize Innovation Over Security in Generative AI Projects

2024/05/06 InfoSecurity — 生成 AI プロジェクトに関する IBM の最新レポート “Securing Generative AI” によると、企業幹部の 70％ がセキュリティよりもイノベーションを優先しているため、サイバー・セキュリティやプライバシーの各種のリスクに企業がさらされているという。この調査では、セキュリティが確保される生成 AI プロジェクトが、僅か 24％ であることも判明している。その一方で、安全で信頼できる AI が、ビジネスの成功に不可欠であると、回答者の 82％ が認めている。

早期のコントロールが侵害を軽減する鍵となる

今回の調査結果について、IBM の VP of Data Security である Akiba Saeedi は、クラウド技術の導入時に犯した過ちを繰り返さないことが重要だと、Infosecurity の取材に応えている。

たとえば、クラウドのミス・コンフィグレーションは、脅威アクターたちがクラウド環境に侵入する際の、最も一般的な方法の１つであると指摘されている。したがって、適切なセキュリティ管理を早期に確立しなければ、AI のミス・コンフィグも、将来的における侵害の主要因となる可能性が高い。

Akiba Saeedi は、「いまの私たちは、組織が成熟するための学習と教育の段階にいる」と指摘する。

このレポートの調査対象となった経営幹部は、組織における生成 A Iツール導入について、さまざまな懸念を強調している。回答者の 51％ が、生成 AI の結果として生じる予測不可能なリスクや、新たなセキュリティ脆弱性を挙げている。また、47％が、AI に関する既存のモデル／データ／サービスを標的とする、新たな攻撃に懸念を示している。

このレポートで衆目される、AI 運用に対する新たな脅威は以下の通りである：

  • モデルの抽出：入力と出力の関係を観察することで、モデルの動作を盗み出す。
  • プロンプト・インジェクション：開発者が設定したガードレールや制限を解除することで、AI モデルを操作して意図しない動作を実行させる。
  • 逆向きの悪用：モデルの学習に使用されたデータに関する情報の漏洩。
  • データ・ポイズニング：AI モデルの訓練に使用するデータを変更し、AI モデルの動作を操作する。
  • バックドアの悪用：学習中に、モデルを微妙に変更し、特定のトリガー下で意図しない動作を引き起こす。
  • モデルの回避： AI モデルを騙すように入力を細工し、AI モデルが意図する動作を回避する。
  • サプライチェーンの悪用：AI モデルに接続されたシステムの、脆弱性を標的とする有害なモデルを生成し、その悪意の動作を隠蔽する。
  • データの流出： 脆弱性／フィッシング／特権クレデンシャルの不正使用を通じて、モデルのトレーニングやチューニングに使用される機密データにアクセスし、それを盗む。

Akiba Saeedi は、「生成 AI のモデル自体が、以前には存在しなかったものだが、それによる、新たな脅威の状況が提示されている」と指摘している。

ビジネスにおける 生成 AI のセキュリティ確保

回答者の大半となる 81％ は、生成 AI がテクノロジーにもたらすリスクの種類を軽減するために、新たなキュリティ・ガバナンス・モデルが、根本的に必要であることを認めている。

IBM は、世界中の政府が、さまざまな AI 規制を導入していると指摘した。そこには、EU の AI 法や、米国の大統領令 “Promoting the Use of Trustworthy AI in the Federal Government” などが含まれる。つまり、生成 AI に特化した包括的なガバナンス戦略が、さらに必要になると研究者たちは述べている。

How to secure the AI value stream. Source: IBM

このレポートによると、このガバナンスのフレームワークには、以下のようなセキュリティ上の考慮事項を組み込む必要があるという：

  • 新たな脅威ベクターを理解し、管理するための脅威モデリングを実施する。
  • 脆弱性を徹底的にスキャン／テストし、吟味された OSS で広く使用されているモデルを特定する。
  • トレーニング・データのワークフローを管理し、転送時や保存時に暗号化を施す。
  • 不正確さやバイアスをもたらし、モデルの挙動を損なう可能性のある、ポイズニングやエクスプロイトからトレーニング・データを保護する。
  • サードパーティ・モデルへの、API やプラグインの統合におけるセキュリティを強化する。
  • 予期せぬ動作／悪意の出力／セキュリティ脆弱性の出現などに対して、長期間にわたるモデル監視を実施する。
  • トレーニング・データとモデルへのアクセスを管理するために、ID とアクセス管理を使用する。
  • データのプライバシー／セキュリティなどに関する、責任のある AI 利用の法律や、コンプライアンス遵守を管理する。

Akiba Saeedi は、「ほとんどの成熟した組織は、このようなモデルを実現するために構築する、ガバナンス／リスク／コンプライアンスのフレームワークを既に持っており、生成 AI に必要な新たな対策に取り組んでいる」と強調している。

その中で最も重要なのは、適切な基本的セキュリティ・インフラの整備だという。

彼は、「データは移動するため、データ・ディスティネーションのライフサイクルを知ることが重要になる。つまり、データ・セキュリティと、それらのシステムにアクセスできる人々の身元確認が必要となる」とアドバイスしている。

セキュリティ・コンポーネントは、バイアスや信頼性といった側面を含む、より広範な AI ガバナンス・プログラムに適合する必要がある。

彼は、「セキュリティ・コンテキストを、別々のサイロにするのではなく、その中に組み込むべきである」と付け加えている。

脅威として台頭する Shadow AI

また、このレポートは、企業における Shadow AI の脅威が高まっていることも強調している。

この問題は、OpenAI の ChatGPT や Google Gemini のような、生成 AI を組み込んだサード・パーティ製アプリケーションに対して、組織の個人データを従業員が共有することで発生するものだ。その結果として、以下のような事態が生じる可能性がある：

  • 機密データや特権データの漏洩。
  • 専有データがサード・パーティのモデルに組み込まれる。
  • ベンダーがデータ侵害に遭遇した結果として、脆弱性を持つ可能性のあるデータ・アーティファクトが公開される。

セキュリティ・チームは AI の使用法を知らないため、このようなリスクを評価／軽減することは、きわめて困難であると報告されている。

IBM は、Shadow AI リスクを軽減するために、組織が取るべき行動として、以下を挙げている：

  • パブリック・モデルやサードパーティ・アプリケーション内での、特定の組織データの使用に対処するポリシーを確立／伝達する。
  • プロンプトからのデータの、サード・パーティにおける使用方法や、そのデータに対する所有権の主張などついて理解する。
  • サード・パーティのサービスとアプリケーションのリスクを評価し、どのリスクを管理する責任があるのかを理解する。
  • API を保護し、プロンプトの入力／出力の内容やコンテキストといった、ユーザー・アクティビティを監視するためのコントロールを実装する。

生成 AI のセキュリティを考えるという、IBM の詳細なレポートを紹介する記事です。文集にも、AI ならではのという、いくつかの注意点が記されていますが。よろしければ、IBM のレポート “Securing Generative AI” と併せて、カテゴリ AI/ML も、ご参照ください。