Gen AI とジェイルブレイク:各種の AI ツールに存在するリスクと影響について – CERT/CC

New Reports Uncover Jailbreaks, Unsafe Code, and Data Theft Risks in Leading AI Systems

2025/04/29 TheHackerNews — さまざまな GenAI サービスが抱える、2種類のジェイルブレイク攻撃に対して脆弱な特性により、違法/危険なコンテンツの生成を可能になることが判明した。この2つの手法のうちの1つ目は、”Inception” というコードネームで呼ばれ、AI ツールに架空のシナリオを想像させるように指示するものだ。このシナリオは、安全ガードレールが存在しない1つのシナリオで指示され、それが2つ目のシナリオに適応されるものだ。

Continue reading “Gen AI とジェイルブレイク:各種の AI ツールに存在するリスクと影響について – CERT/CC”

OpenAI の SSRF の脆弱性 CVE-2024-27564:広範な分野で積極的な悪用を観測

CVE-2024-27564: Attackers Exploit OpenAI Vulnerability in the Wild

2025/03/18 SecurityOnline — ChatGPT のサーバ・サイド・リクエスト フォージェリ (SSRF) の脆弱性 CVE-2024-27564 だが、単一の悪意の IP からの 10,479 件を超える攻撃の試行が記録されており、サイバー犯罪者の重要なターゲットにされているようだ。Veriti の最新の調査によると、この欠陥は、OpenAI の ChatGPT インフラに影響を与えるものであり、入力パラメータに悪意の URL を挿入する攻撃者は、アプリケーションが意図していないリクエストの、強制的な実行を達成するという。

Continue reading “OpenAI の SSRF の脆弱性 CVE-2024-27564:広範な分野で積極的な悪用を観測”

OWASP の GenAI セキュリティ・ガイダンス:ディープフェイクの増加を受けて強化

OWASP Beefs Up GenAI Security Guidance Amid Growing Deepfakes

2024/11/05 DarkReading — いまでは、ディープフェイクや GenAI 攻撃は珍しいものではなく、今後においては、そのような攻撃が急増する兆候が見られる。すでに、AI が生成したテキストは、電子メールでは一般的なものとなり、人間が作成した可能性が低い電子メールを検出する方法を、セキュリティ企業は見つけ出そうとしている。mimecast の分析によると、人間が作成した電子メールは、すべての電子メールの約 88% に減少している。LLM が生成する電子メールの割合は、2022年後半の約 7% から、現在の約 12%へと上昇している。

Continue reading “OWASP の GenAI セキュリティ・ガイダンス:ディープフェイクの増加を受けて強化”