_AI/ML – Page 3 – IoT OT Security News

AI Chat におけるプライバシーとリスク：Microsoft が詳述する Whisper Leak というサイドチャネル攻撃

AI chat privacy at risk: Microsoft details Whisper Leak side-channel attack

2025/11/09 SecurityAffairs — Microsoft が発表したのは、Whisper Leak と呼ばれる新たなサイドチャネル攻撃に関する情報である。具体的に言うと、ネットワーク・トラフィックを監視する攻撃者は、データが暗号化されている場合であっても、リモートの言語モデルを使用してユーザーが会話した内容を推測できるという。この脆弱性により、企業／個人ユーザーがストリーミング AI システムと交わした会話から機密情報が漏洩し、深刻なプライバシー・リスクが生じる可能性があると、同社は警告している。

GenAI を悪用するサイバー脅威の増加：製造業が対象の調査結果とは？　　

AI-Powered Cyber Threats Rise: Attackers Target Manufacturing Sector

2025/11/08 gbhackers — 最新の包括的なレポート Threat Labs Report: Manufacturing 2025 によると、製造業は二重の課題に直面している。GenAI 技術の急速な導入を進める一方で、そのプラットフォームや信頼できるクラウド・サービスを悪用する、高度な攻撃からの防御に対応しなければならない。この調査が浮き彫りにするのは、イノベーションとデータ保護のバランスを取る製造業において、セキュリティ対策の強化が喫緊の課題であることだ。

mal-AI Tool を列挙する：アンダーグラウンドで進化する悪意のエコシステムとは？

List of AI Tools Promoted by Threat Actors in Underground Forums and Their Capabilities

2025/11/06 CyberSecurityNews — サイバー・セキュリティを取り巻く状況は 2025年に劇的な変貌を遂げ、アンダーグラウンド・フォーラムで活動する脅威アクターにとって、人工知能 (AI) が基盤技術として台頭している。Google Threat Intelligence Group (GTIG) によると、違法 AI ツールのアンダーグラウンド市場は今年になって大きく成熟し、攻撃ライフサイクルの各ステップに対応するよう設計された、数多くの多機能ツールが提供されている。

Claude Desktop エクステンションの深刻な脆弱性：Web コンテンツ → AI 処理 → ローカル実行の構造とは？

Critical RCE Vulnerabilities in Claude Desktop Let Attackers Execute Malicious Code

2025/11/06 CyberSecurityNews — Anthropic の Claude Desktop の公式エクステンション３件に、深刻なリモート・コード実行 (RCE) の脆弱性が発見された。この脆弱性 CVE-N/A (CVSS：8.9) は、サニタイズされていないコマンド・インジェクションに起因し、Chrome／iMessage／Apple Notes コネクタに影響を及ぼすものだ。一連のエクステンションは、Anthropic のマーケットプレイスのトップページで公開／宣伝されている。この脆弱性を悪用する攻撃者は、無害に見える AI アシスタントとのインタラクションを通じて、ユーザー・マシン上で任意のコード実行の可能性を得るという。ただし、すでに Anthropic は、３件の脆弱性を修正しているという。

PROMPTFLUX という新型マルウェア：Gemini API を悪用して自身のコードを動的に書き換える

Google Warns of New PROMPTFLUX Malware Using Gemini API to Rewrite Its Own Source Code

2025/11/06 CyberSecurityNews — Google Threat Intelligence Group (GTIG) が公開したのは、Gemini API を悪用して自身のコードを動的に書き換える実験的なマルウェア・ファミリー PROMPTFLUX の詳細である。2025年11月4日に GTIG が発表した最新の AI Threat Tracker レポートによると、このマルウェアの形態が示すのは、単なる生産性向上ツールとして LLM の利用から、リアルタイムでの適応と検知回避のための LLM の直接統合へと、その手法が移行していることだ。

OpenAI の Assistants API を悪用する SesameOp：AI 侵害のためのバックドアをステルス C2 で確立

SesameOp: Using the OpenAI Assistants API for Covert C2 Communication

2025/11/04 gbhackers — OpenAI Assistants API を悪用する高度なバックドア型マルウェア SesameOp が、従来とは異なる Command-and-Control (C2) 通信経路を用いていることを、Microsoft の Detection and Response Team (DART) が明らかにした。この種の脅威は、正規のクラウド・サービスを悪用して通信を隠蔽する手法へ急速に適応しており、既存のセキュリティ対策による検知を著しく困難にしている。

Claude AI における間接プロンプト・インジェクションの脆弱性：API 操作によるデータ窃取が可能に

Hackers Can Manipulate Claude AI APIs with Indirect Prompts to Steal User Data

2025/11/03 CyberSecurityNews — Anthropic の Claude AI を悪用するハッカーは、機密性の高いユーザー・データを窃取する可能性を手にしている。この攻撃者は、コード・インタープリタ・ツールに新たに追加されたネットワーク機能を悪用し、間接的なプロンプト・インジェクションを用いることで、チャット履歴などの個人情報を抽出して自身のアカウントに送信する。2025年10月に Johann Rehberger がブログで詳述した、この問題が浮き彫りにするのは、AI システムが外部と接続性を高めるにつれてリスクが拡大している状況である。

Google の広告ビジネスは AI で変化する：検索にも導入される AI Mode とは？

Google confirms AI search will have ads, but they may look different

2025/11/01 BleepingComputer — Google の広告利益は高水準にあり、今後も存続するとみられる。最終的には、Google の AI 検索結果などのサービスにも広告が表示される可能性が高い。その裏付けとして、先日に Google が報告したのは、検索および YouTube における広告収益が $56.57 billion に達したことであり、検索事業から広告が消えるとは考えられないとしている。

OpenAI が Aardvark を公表：GPT-5 をベースにしてセキュリティ専門家を模倣する

OpenAI Unveils Aardvark: GPT-5 Agent That Finds and Fixes Code Flaws Automatically

2025/10/31 TheHackerNews — OpenAI が発表したのは、自社の GPT-5 大規模言語モデル (LLM) を搭載し、人間の専門家を模倣するようにプログラムされ、コードのスキャン／理解／パッチ適用を可能にする “エージェント型セキュリティ研究者” である。人工知能 (AI) 企業である OpenAI によると、この自律型エージェントである Aardvark は、開発者やセキュリティのチームによる、セキュリティ脆弱性の大規模な検出／修正を支援するために設計されている。現時点において、プライベート・ベータ版として利用可能となっている。

PhantomRaven の攻撃手法：依存関係隠蔽／AI 標的／自動スクリプトを持つ 126 の悪意の npm パッケージ

PhantomRaven Attack Discovered in 126 Malicious npm Packages, Exceeding 86,000 Downloads

2025/10/30 gbhackers — PhantomRaven の出現は、世界中の開発者コミュニティを揺るがすものだ。この大規模キャンペーンには、126 個の悪意のある npm パッケージが関与し、86,000 回以上のダウンロードを記録した。これらの悪意のパッケージは水面下に潜み、世界中の無防備な開発者から npm トークン／GitHub の認証情報／CI/CD のシークレットを積極的に盗んでいる。この攻撃者はオープンソース・エコシステムの盲点を突くことで、セキュリティ分析から悪意のコードを隠蔽する新しい手法を駆使し、大きな影響を生み出している。

Operant AI が警告する Shadow Escape 攻撃：MCP 接続 AI エージェントをゼロクリックで悪用

First Zero Click Attack Exploits MCP and Connected Popular AI Agents To Exfiltrate Data Silently

2025/10/28 CyberSecurityNews — Operant AI が発見した脆弱性 Shadow Escape を悪用する攻撃者は、Model Context Protocol (MCP) と ChatGPT／Claude／Gemini などの一般的な AI エージェントを介して、機密データをゼロクリック攻撃で盗み出す。この攻撃者は、ユーザーによる操作を必要とせず、従来のセキュリティ・ツールによる検出を回避しながら、社会保障番号や医療記録といった個人識別情報を流出させることが可能になるという。

ChatGPT Atlas Browser に深刻な脆弱性：偽 URL トリックによるプロンプト・インジェクション

ChatGPT Atlas Browser Can Be Tricked by Fake URLs into Executing Hidden Commands

2025/10/27 TheHackerNews — 新たにリリースされた OpenAI Atlas Web ブラウザが、プロンプト・インジェクション攻撃に対して脆弱であることが判明した。この攻撃は、悪意のプロンプトを無害に見える URL に偽装することで、オムニボックスをジェイルブレイクさせるものだ。11月24日 (金) に NeuralTrust が公開したレポートによると、「アドレスバーと検索バーを組み合わせたオムニボックスは、その入力された内容を移動先を示す URL として、また、エージェントへの自然言語コマンドとして解釈する」と述べている。

Copilot Studio を悪用する CoPhish 攻撃が拡大：OAuth トークンを窃取する新たな攻撃手法

New CoPhish Attack Exploits Copilot Studio to Exfiltrate OAuth Tokens

2025/10/27 CyberSecurityNews — CoPhish と呼ばれる高度なフィッシング手法は、Microsoft Copilot Studio を悪用してユーザーを騙し、Microsoft Entra ID アカウントへの不正アクセスを攻撃者に許可させるものだ。Datadog Security Labs が命名したこの手法は、正規の Microsoft ドメイン上でホストされるカスタマイズ可能な AI エージェントを悪用することで、従来の OAuth 同意攻撃を巧妙に偽装し、信頼性を装いながらユーザーの疑念を回避するものである。この攻撃は、最近のレポートで詳細が明らかにされたものだ。それが浮き彫りにするのは、Microsoft が同意ポリシーの強化に努めているにもかかわらず、クラウドベースの AI ツールに継続的な脆弱性が存在することだ。

Perplexity の Comet Browser の脆弱性：スクリーン・ショットを介した悪意のプロンプト挿入

Perplexity’s Comet Browser Screenshot Feature Vulnerability Let Attackers Inject Malicious Prompts

2025/10/23 CyberSecurityNews — Perplexity の Comet AI ブラウザに発見された新たな脆弱性を悪用する攻撃者は、無害に見えるスクリーン・ショットを介して悪意のプロンプトを挿入できる。2025年10月21日に公開された、この脆弱性が裏付けるのは、ユーザーに代わって動作する AI エージェント・ブラウザの、プロンプト挿入に関する従来からの懸念である。新たに発見された脆弱性が浮き彫りにするのは、これらの新興技術に潜む継続的なリスクの存在であり、それにより、隠された命令によりユーザー・セッションが乗っ取られ、機密データにアクセスされる可能性が生じる。

AI エージェントに存在する引数インジェクションの問題：システム・コマンドの悪用が可能？

Critical Argument Injection Vulnerability in Popular AI Agents Let Attackers Execute Remote Code

2025/10/22 CyberSecurityNews — 名前が公表されていない３つの AI エージェント・プラットフォームに、深刻な引数インジェクションの脆弱性が存在することが判明した。この脆弱性を悪用する攻撃者は、人間による承認の安全策を回避し、無害に見えるプロンプトを介してリモート・コード実行 (RCE) を引き起こせる。つまり、ファイル検索やコード分析などのタスクの効率化を目的として設計された、事前に承認されたシステム・コマンドの悪用が、これらの脆弱性により可能になってしまう。それが浮き彫りにするのは、エージェント型 AI システムに広く見られる設計上の欠陥だと、Trail of Bits は述べている。

Smithery MCP Server の脆弱性が FIX：パス・トラバーサル攻撃から API キー流出へ

Critical Vulnerability in MCP Server Platform Exposes 3,000+ Servers and Thousands of API Keys

2025/10/22 CyberSecurityNews — MCP (Model Context Protocol) サーバのレジストリとして広く利用される Smithery.ai に、深刻な脆弱性が発見された。この脆弱性を悪用する攻撃者は、3,000 台以上の AI サーバから情報を盗み出し、多数のサービスにまたがる数千人のユーザーから API キーを盗み出すことが可能な状況にあった。MCP とは、ローカル・ファイルやリモート・データベースなどの外部ツール／データに、AI アプリをリンクさせることで、その機能を強化するものだ。そのサーバにはローカル版とリモート版があるが、多くのリモート版は自社ホストやプロバイダーにより完全に管理されている。

Microsoft 365 Copilot の悪用：間接プロンプト・インジェクションと情報漏洩

Microsoft 365 Copilot Flaw Lets Hackers Steal Sensitive Data via Indirect Prompt Injection

2025/10/21 gbhackers — Microsoft 365 Copilot の脆弱性を悪用する攻撃者は AI アシスタントを騙して、ドキュメント内に隠し持った指示を実行させ、テナントの機密データを取得／抽出できる状態にあった。その後に、この AI はデータを悪意の Mermaid ダイアグラムにエンコードし、それがクリックされると、盗んだ情報を攻撃者のサーバに送信する仕組みを構築していた。

Kali に新たなツール llm-tools-nmap が登場：LLM を用いるネットワーク・スキャン機能とは？

New Kali Tool llm-tools-nmap Uses Nmap For Network Scanning Capabilities

2025/10/11 CyberSecurityNews — Kali Linux 2025.3 のリリースに伴うメジャー・アップデートにおいて、人工知能とサイバー・セキュリティを組み合わせる革新的なツール llm-tools-nmap が導入された。新しいプラグインとして実験的な llm-tools-nmap がリリースされ、 Simon Willison のコマンドライン Large Language Model (LLM) ツールに、ネットワーク・スキャン機能が追加された。

Google の新たな AI エージェント CodeMender：脆弱なコードの特定／修正を自動化

Google’s New AI Agent, CodeMender, Automatically Rewrites Vulnerable Code

2025/10/08 CyberSecurityNews — Google が発表した CodeMender は、人工知能 (AI) を搭載する新たなエージェントであり、脆弱性の特定／修正によりソフトウェアのセキュリティを自動的に強化するものだ。この取り組みが目的とするのは、AI の活用によるセキュリティ上の欠陥の迅速な発見と、パッチ適用に必要な手作業への対処である。高度な AI を活用する CodeMender は、新たな脅威に対応するだけではなく、既存のコードをプロアクティブに書き換えて、さまざまな脆弱性をクラスごとに排除する。

GenAI と ASCII スマグリング：Gemini の問題を脆弱性ではないと否定する Google

Google won’t fix new ASCII smuggling attack in Gemini

2025/10/07 BleepingComputer — Google が公表したのは、Gemini に対する新たな ASCII スマグリング攻撃について、修正を施さないという方針である。この攻撃は、AI アシスタントを騙してユーザーに偽の情報を提供させ、モデルの動作を改変し、データを密かに改竄する可能性があるものだ。ASCII スマグリングとは、Unicode の Tags ブロックに含まれる特殊文字を利用して、ユーザーには見えないかたちで悪意のペイロードを挿入し、LLM による検出／処理を行わせるものである。

Gemini CLI と Kali Terminal の統合が実現：ペンテストの自動化による精度と効率の UP！

Integrate Gemini CLI into Your Kali Terminal to Speed Up Pentesting Tasks

2025/10/06 gbhackers — Kali Linux が、バージョン 2025.3 のリリースを発表した。この新バージョンにより、ペンテスト担当者やセキュリティ専門家は、革新的な AI 搭載アシスタントである Gemini CLI (Command-Line Interface) を利用できるようになるという。このオープンソース・パッケージは、Google の Gemini AI をターミナルに統合し、一般的なペンテスト・ワークフローを自然言語で自動化するものだ。

Zeroday Cloud ハッキング・コンテストが 12月にロンドンで開催：報奨金の総額は $4.5M

Zeroday Cloud hacking contest offers $4.5 million in bounties

2025/10/06 BleepingComputer — Zeroday Cloud が発表したのは、オープンソースのクラウドおよび AI ツールに焦点を当てた新たなハッキングコンテストであり、さまざまな標的に対してエクスプロイトを提出した研究者に対して、総額で $4.5 million のバグ報奨金を提供するというものだ。このコンテストは、クラウド・セキュリティ企業 Wiz の研究部門が、Google Cloud／AWS／Microsoft と提携して開始し、2025年12月10日〜11日にロンドンで開催される、Black Hat Europe カンファレンスで実施される予定である。

Google Drive Desktop に AI 駆動のランサムウェア検出機能：オープン・ベータ版が提供

New Google Drive Desktop Feature adds AI-powered Ransomware Detection to Prevent Cyberattacks

2025/10/01 CyberSecurityNews — Google Drive for Desktop に、AI を活用する新たなランサムウェア検出機能が導入された。この機能は、サイバー攻撃をブロックし、ユーザーファイルを自動的に保護するように設計されている。この機能の強化により、Windows／macOS ユーザーのセキュリティが向上し、ランサムウェアという厄介な脅威に対応できるようになる。医療／小売などの業界の組織にとって、そして政府機関にとって、依然としてランサムウェアは、重大なサイバー・セキュリティ上の課題である。

Red Hat OpenShift AI の脆弱性 CVE-2025-10725 が FIX：認証済みユーザーへの過大な権限付与

Red Hat OpenShift AI Vulnerability Lets Attackers Seize Infrastructure Control

2025/10/01 gbhackers — Red Hat OpenShift AI (RHOAI) サービスに発見された深刻な脆弱性を悪用する攻撃者は、最小限のアクセス権限を持ってさえいれば、権限を昇格させてクラスタ全体を制御する可能性を得るという。この脆弱性 CVE-2025-10725 は、ClusterRole の割り当てが過大なことに起因する。たとえば、標準の Jupyter Notebook アカウントを持つ、データ・サイエンティストなどの低権限のユーザーが、この脆弱性を悪用すると、クラスタの完全な管理者権限を取得できる。

Google Gemini の３件の脆弱性が FIX：ユーザー情報と位置データの漏洩を悪用する攻撃例とは？

Google Gemini Vulnerabilities Let Attackers Exfiltrate User’s Saved Data and Location

2025/09/30 CyberSecurityNews — Google の AI アシスタント・スイート Gemini に３件の脆弱性が発見されたが、それらを悪用する攻撃者がいれば、ユーザーが保存した情報や位置データを窃取する可能性があったという。Tenable が Gemini Trifecta と命名した、これらの脆弱性が示すのは、AI システムが単なる標的ではなく、攻撃手段として悪用され得ることである。つまり、この研究で明らかになったのは、Gemini エコシステム内の複数コンポーネントに、深刻なプライバシー・リスクが潜んでいることだ。

脆弱性管理における AI の役割を調査：セキュリティ・エンジニアリングにおける人間の不可欠性

Can We Trust AI To Write Vulnerability Checks? Here’s What We Found

2025/09/29 BleepingComputer — 脆弱性の管理は常に競争である。攻撃者は素早く動き、スキャンには時間がかかる。スキャナが追いつかなければ、システムは無防備な状態に陥る。そのような中、 Intruder のセキュリティ・チームが立ち上げた検証プロジェクトは、AI を活用して高い品質基準を維持しながら、新しい脆弱性チェックを迅速に構築するためのものである。結局のところ、検出が確実でなければ、スピードは意味を持たない。また、実際の問題を見逃すチェックは役に立たないが、誤検知は効率を著しく悪化させる。この記事では、AI を用いて行った実験の方法と、上手く機能している点と、問題が残る点を紹介する。

悪意の MCP Server を発見：AI Agent を介して Postmark からのメール送信に不正な BCC を追加

Malicious MCP Server Discovered Stealing Sensitive Emails Using AI Agents

2025/09/26 gbhackers — 世界中の企業が MCP サーバを採用している。このツールにより、AI アシスタントに “神モード” の権限が付与され、メール送信／データベースクエリ実行といった面倒なタスクの自動化が可能になる。しかし、「これらのツールを作ったのは誰か」と、立ち止まって問うことは、誰もが見過ごしてきたことだ。今日、現実の世界で初めての、悪意の MCP サーバ postmark-mcp が登場し、そこで処理されるすべてのメールが静かに盗み出されている。

AI 搭載マルウェア MalTerminal の発見：GPT-4 を悪用してランサムウェアを生成

First-ever AI-powered ‘MalTerminal’ Malware Uses OpenAI GPT-4 to Generate Ransomware Code

2025/09/20 CyberSecurityNews — MalTerminal と呼ばれる AI 搭載マルウェアは、OpenAI の GPT-4 モデルを悪用することでランサムウェアやリバースシェルなどのコードを動的に生成し、脅威の開発と展開の方法に重大な変化をもたらしている。この発見は、AI 搭載マルウェア PromptLock の分析に続くものであり、攻撃者が大規模言語モデル (LLM) を武器化する明確な傾向を示している。

ChatGPT 系エージェントによる CAPTCHA 回避が示すもの：プロンプト・インジェクションの脅威

ChatGPT Tricked Into Bypassing CAPTCHA Security and Enterprise Defenses

2025/09/19 CyberSecurityNews — ChatGPT エージェントでは、自身の安全プロトコルを回避して CAPTCHA を解読することが可能であり、広く利用される AI とボット対策システムの、安全対策と堅牢性に重大な懸念が生じている。SPLX の調査によると、プロンプト・インジェクションと呼ばれる手法を用いることで、AI エージェントは組み込みポリシーを破るように誘導され、単純な CAPTCHA 課題だけではなく、より複雑な画像ベースの CAPTCHA も解読できる恐れがある。

ShinyHunters の活動を分析：音声フィッシングに特化した技術に AI 悪用が加わっている

New ‘shinysp1d3r’ Ransomware-as-a-Service Targets VMware ESXi in Ongoing Development

2025/09/18 gbhackers — AI を悪用する ShinyHunters が、ボイスフィッシング／サプライチェーン侵入に加えて、企業ネットワークへの直接アクセスを提供する従業員や請負業者といった悪意の内部関係者を介して、その活動を拡大していると、EclecticIQ のアナリストたちが高い確信を持って評価している。ShinyHunters は、小売／航空／通信などの業界で利用される SSO (single sign-on) プラットフォームへの、不正アクセスを提供するボイスフィッシング・キットを活用するために、Scattered Spider と The Com のメンバーに依存している可能性が高いとされる。

Google の新たな LLM VaultGemma：差分プライバシーでの学習と個人情報保護の強化

Google introduces, a differentially private LLM built for secure data handling

2025/09/16 HelpNetSecurity — Google が発表した、大規模言語モデル (LLM) VaultGemma は、トレーニング中に用いる機密データを、非公開に保つよう設計されたものだ。このモデルは、差分プライバシー技術を用いて個々のデータ・ポイントの露出を防ぐため、医療／金融／政府などの分野での、機密情報の安全な取り扱いを可能にする。

悪意の MCP Server を PoC として構築：任意のコード実行とデータ窃取が実証された

Threat Actors Exploit MCP Servers to Steal Sensitive Data

2025/09/16 gbhackers — 検証されていない MCP (Model Context Protocol) サーバは、攻撃者によるマルウェアの配備を必要とすることなく、ステルス性の高いサプライチェーン攻撃ベクターを生み出し、認証情報／コンフィグ・ファイルなどの機密情報の収集を可能にする。この MCP とは、AI アシスタント向けの新しい “plug-in bus” であり、外部ツールやデータソースと AI モデルとの間のシームレスな統合を実現するものだ。

Kimsuky による ChatGPT の悪用：ディープフェイク ID による標的型フィッシング攻撃

Hackers using generative AI “ChatGPT” to evade anti-virus defenses

2025/09/15 gbhackers — Kimsuky APT グループは ChatGPT を悪用し、韓国軍機関の ID カードのディープフェイクを作成し始めた。このフィッシング詐欺のルアーは、高度に難読化されたバッチ・ファイルと AutoIt スクリプトで構成され、ウイルス対策スキャンを回避するよう設計されている。したがって、組織にとって必要なことは、隠されたスクリプトを検知し、エンドポイントを保護するために、EDR ソリューションを導入することだ。

FlowiseAI の脆弱性 CVE-2025-58434：アカウント乗っ取りに No Patch／Yes PoC

FlowiseAI Password Reset Token Vulnerability Allows Account Takeover

2025/09/15 CyberSecurityNews — FlowiseAI が公表したのは、Flowise プラットフォームに存在する深刻な脆弱性 CVE-2025-58434 の情報である。この脆弱性の悪用に成功した攻撃者は、最小限の労力でアカウントを完全に乗っ取ることが可能になる。クラウド環境 (cloud.flowiseai.com) とセルフホスト環境に影響を及ぼすため、この AI エージェント構築プラットフォームを利用する組織にとって、広範なセキュリティ上の懸念が生じている。

Villager という AI ネイティブ・ペンテスト・ツール：大規模な攻撃の計画／適応／実行を可能にする

AI Pentesting Tool ‘Villager’ Merges Kali Linux with DeepSeek AI for Automated Security Attacks

2025/09/13 gbhackers — Straiker AI Research (STAR) チームのセキュリティ研究者たちが発見したのは、中国に拠点を置く Cyberspike グループが開発した AI ネイティブのペンテスト・フレームワーク Villager である。このフレームワークは、公式 Python Package Index (PyPI) での公開から２ヶ月以内に、すでに１万回以上のダウンロードを記録している。このツールは、Kali Linux ツールセットと DeepSeek AI モデルを組み合わせて、ペンテストのワークフローを完全に自動化するものだが、そこで懸念されるのは、Cobalt Strike の軌跡と同様に、二重使用により悪用へと至る可能性である。

EvilAI というマルウェアを検出：LLM を用いて生成され静的シグネチャ・スキャナを回避

EvilAI: Leveraging AI to Steal Browser Data and Evade Detection

2025/09/12 gbhackers — Trend Research が追跡する新たなマルウェア・ファミリー EvilAI が、この数週間にわたり、正規の AI 駆動型ユーティリティを装いながら活動している。これらのトロイの木馬は、プロフェッショナルなユーザー・インターフェイスや有効なコード署名に加えて実際の機能を備えており、企業／個人のセキュリティ対策を回避していく。

Cursor AI Code Editor の脆弱性 CVE-N/A：Workspace Trust 無効化による悪意の自動実行

Cursor AI Code Editor RCE Vulnerability Enables “autorun” of Malicious on your Machine

2025/09/10 CyberSecurityNews — Cursor AI Code Editor に、リモート・コード実行の脆弱性が発見された。この脆弱性により、悪意のコード・リポジトリが自動的に開かれ、ユーザーのマシン上でコードが実行される可能性がある。この脆弱性を発見した Oasis Security の研究チームは、人気エディタのデフォルト・コンフィグの悪用による、一般的なユーザー・プロンプトのバイパスを実証している。

SpamGPT による大規模フィッシング攻撃：$5,000 で販売される AI 搭載フィッシング・ツールの脅威

SpamGPT – AI-powered Attack Tool Used By Hackers For Massive Phishing Attack

2025/09/09 CyberSecurityNews — SpamGPT と呼ばれる高度なサイバー犯罪ツール・キットは、人工知能とプロ仕様のメール・マーケティング・プラットフォーム機能を組み合わせることで、ハッカーたちによる大規模かつ効果的なフィッシング・キャンペーンを支援している。ダークウェブで Spam-as-a-Service プラットフォームとして販売される SpamGPT は、詐欺メール攻撃の大半の工程を自動化することで、犯罪者の技術的障壁を大幅に低減している。

X の Grok AI が手助け：ブロックを回避して悪質な広告やマルウエアを展開する手法とは？

Threat actors abuse X’s Grok AI to spread malicious links

2025/09/03 BleepingComputer — X に搭載されている AI アシスタント Grok を悪用する脅威アクターが、このプラットフォームが悪質広告の抑制を目的として導入した、リンク投稿への制限を回避している。Guardio Labs の研究員 Nati Tal によると、この広告主はアダルト・コンテンツなどの怪しい動画広告を掲載することが多く、意図的に本文にリンクを取り込まず、X によるブロックを迂回しているという。

AI モデル名前空間の再利用という問題：Hugging Face の欠陥とサプライチェーン攻撃

Namespace Reuse Vulnerability Exposes AI Platforms to Remote Code Execution

2025/09/03 gbhackers — AI サプライチェーンで発見された Model Namespace Reuse と呼ばれる脆弱性により、Microsoft Azure AI Foundry／Google Vertex AI に加えて、数千のオープンソース・プロジェクトなどの AI プラットフォームにおいて、攻撃者によりリモート・コード実行 (RCE) が引き起こされる可能性が生じている。Hugging Face に放棄／削除されたモデル名前空間を再登録 (Model Namespace Reuse) する攻撃者は、それらの名前でモデルを取得するパイプラインを騙し、汚染されたリポジトリのデプロイ／エンドポイント環境の侵害／不正アクセスの許可などを可能にするという。

AI セキュリティ・ツールを脆弱にする LLM の欠陥：プロンプト・インジェクション攻撃の実態

AI-Powered Cybersecurity Tools Can Be Turned Against Themselves Through Prompt Injection Attacks

2025/09/03 CyberSecurityNews — AI 搭載のサイバー・セキュリティ・ツールは、プロンプト・インジェクション攻撃により自らを攻撃対象とされ、自動化されたエージェントを乗っ取る攻撃者に対して、不正なシステム・アクセスの取得を許す可能性がある。セキュリティ研究者である Victor Mayoral-Vilches と Per Mannermaa Rynning は、悪意のサーバが無害に見えるデータ・ストリームに命令を挿入することで、AI 駆動型ペンテスト・フレームワークが脆弱になる仕組みを明らかにした。

プロンプト・インジェクションを理解する：AI エージェントの導入つれて拡大する攻撃対象領域

How Prompt Injection Attacks Bypassing AI Agents With Users Input

2025/09/01 CyberSecurityNews — LLM と AI エージェントのコア・アーキテクチャを悪用することで、現代の AI システムにおける最も深刻なセキュリティ脆弱性を突くプロンプト・インジェクション攻撃が、根本的な課題として浮上している。その一方では、自律的な意思決定／データ処理、ユーザー・インタラクションのために、AI エージェントを導入するユーザー組織が増えており、攻撃対象領域が劇的に拡大している。巧妙に細工されたユーザー入力を通じて、サイバー犯罪者たちが AI の挙動を操作するという、新たなベクターが生まれている。

VirusTotal の Code Insight が拡張：逆アセンブル／逆コンパイルされたコード・スニペットを AI で分析

VirusTotal Launches Endpoint That Explains Code Functionality for Malware Analysts

2025/08/29 gbhackers — Virustotal が発表したのは、Code Insight スイートに新たな機能を追加したことである。それは、逆アセンブル／逆コンパイルされたコード・スニペットを受け取り、マルウェア・アナリスト向けの簡潔なサマリと詳細な説明を返すという、専用 API エンドポイントのことである。RSA 2023 における Code Insight の発表から２年以上を経ているが、この公開されたエンドポイントは、リバース・エンジニアリング・ワークフローの自動化と、AI ドリブン分析を、逆アセンブル・ツールにダイレクト統合する大きな進展である。

Claude AI に３つのインシデント：サイバー犯罪者たちの巧妙な試みを Anthropic が阻止

Hackers Attempted to Misuse Claude AI to Launch Cyber Attacks

2025/08/28 CyberSecurityNews — 新たに発表された脅威インテリジェンス・レポートによると、Claude AI プラットフォームの悪用を狙うサイバー犯罪者たちの、複数の巧妙な試みを Anthropic が阻止したようだ。Claude の高度な機能を悪用する攻撃者たちは、有害な出力を防ぐための多層的な安全対策を回避しながら、このエージェント AI を武器化することで、大規模な恐喝／雇用詐欺／ランサムウェア攻撃を実行している。

LLM-Based コーディングへの提言：危険なサンプル・コードの学習を想定すべきだ

New Research and PoC Reveal Security Risks in LLM-Based Coding

2025/08/28 gbhackers — 2025年8月22日に公開された詳細なブログ記事によると、最近の調査で明らかになったものに、LLM のみを用いて生成されたアプリケーション・コードにおける、深刻なセキュリティ脆弱性の可能性についての指摘がある。この調査が強調するのは、広範なインターネット・データを学習した、つまり、安全ではない可能性のあるサンプル・コードを学習した LLM が、開発者に対して潜在的なリスクを警告することなく、安全が確保されていないパターンを複製していくという問題点である。

OpenAI を悪用するランサムウェア PromptLock：標的のシステム上で攻撃用の Lua スクリプトを作成

First AI Ransomware ‘PromptLock’ Uses OpenAI gpt-oss-20b Model for Encryption

2025/08/26 CyberSecurityNews — 新たなランサムウェアが確認された。どのようなものかと言うと、ローカル AI モデルを介して悪意のコンポーネントを生成するものであり、史上初のランサムウェアの種類であると考えられている。ESET Research Team により “PromptLock” と名付けられたマルウェアは、Ollama API を介して OpenAI の gpt-oss:20b モデルを利用し、攻撃チェーン用のカスタム・クロス・プラットフォーム Lua スクリプトを作成する。

Gmail Phishing の進化：人間に加えて AI ベースの防御システムを操作する？

New Gmail Phishing Attack Uses AI Prompt Injection to Evade Detection

2025/08/24 CyberSecurityNews — これまでのフィッシングは、人を欺くことを常としてきた。しかし、今回のキャンペーンで明らかになったのは、攻撃者はユーザーを標的にするだけでなく、AI ベースの防御システムも操作しようとしたことだ。これは、先週に報告した Gmail フィッシング・チェーンの進化形である。先週のキャンペーンで悪用されていたのは、緊急性のアピールと巧みなリダイレクトだったが、今回は自動分析を混乱させるための、隠された AI プロンプトが導入されている。

AI によるエクスプロイト開発：１件あたり $1 のコストで所要時間は僅か 10〜15 分

AI Systems Capable of Generating Working Exploits for CVEs in Just 10–15 Minutes

2025/08/22 gbhackers — 公開されている脆弱性 (CVE) に対する有効なエクスプロイトを、わずか 10～15 分で自動生成できる人工知能システムが、サイバー・セキュリティ研究者たちにより開発された。このシステムは、１つのエクスプロイトを約 $1 というコストで生成できるという。したがって、防御側が依拠してきた、従来からのセキュリティ対応スケジュールに対して、根本的な挑戦を突き付けるものとなる。