LLM – IoT OT Security News

DeepSeek-R1 の脆弱性：政治的なプロンプトを入力すると生成されるコードが変化する？

DeepSeek-R1 Makes Code for Prompts With Severe Security Vulnerabilities

中国で開発された人工知能コーディング・アシスタント “DeepSeek-R1” に、懸念すべき脆弱性が発見された。この AI モデルは、中国共産党に関連する政治的にセンシティブなトピックに遭遇すると、深刻なセキュリティ欠陥を含むコードを通常より最大 50% 高い割合で生成する。中国の AI スタートアップ企業 DeepSeek が、2025年1月にリリースした R1 モデルは、コーディング品質において欧米の競合製品と遜色ないように見えていた。

Google Gemini 3 は次世代 LLM：AI Studio 上での確認と公開の予定

Google Gemini 3 spotted on AI Studio ahead of imminent release

2025/11/17 BleepingComputer — Google の次世代 LLM になると推測される Gemini 3 が、AI Studio 上で確認されており、数時間から数日の間に展開が開始される見込みだ。AI Studio は、開発者／研究者／学生などが Gemini モデルを用いてアプリを構築できるプラットフォームであり、モデルごとの制御性も高めている。また、現時点での最新モデルは Gemini 2.5 Pro であり、AI Studio ではコンテキスト・サイズや温度パラメータなどの、詳細設定が可能となっている。

Xanthorox AI が生成する多様なマルウェア：安全制限を排除した悪意の LLM が拡散

Threat Actors can Use Xanthorox AI Tool to Generate Different Malicious Code Based on Prompts

2025/11/17 CyberSecurityNews — ダークネット・フォーラムや犯罪コミュニティで注目を集めている危険な新ツールを、サイバー・セキュリティ研究者たちが確認した。このツールは、Xanthorox と呼ばれる悪意の人工知能プラットフォームであり、セキュリティ業界にとって深刻な懸念材料となっている。ChatGPT のようなチャットボットとして動作する Xanthorox であるが、最も大きな違いは、安全上の制限が一切存在しないところにある。

OpenAI が Aardvark を公表：GPT-5 をベースにしてセキュリティ専門家を模倣する

OpenAI Unveils Aardvark: GPT-5 Agent That Finds and Fixes Code Flaws Automatically

2025/10/31 TheHackerNews — OpenAI が発表したのは、自社の GPT-5 大規模言語モデル (LLM) を搭載し、人間の専門家を模倣するようにプログラムされ、コードのスキャン／理解／パッチ適用を可能にする “エージェント型セキュリティ研究者” である。人工知能 (AI) 企業である OpenAI によると、この自律型エージェントである Aardvark は、開発者やセキュリティのチームによる、セキュリティ脆弱性の大規模な検出／修正を支援するために設計されている。現時点において、プライベート・ベータ版として利用可能となっている。

Kali に新たなツール llm-tools-nmap が登場：LLM を用いるネットワーク・スキャン機能とは？

New Kali Tool llm-tools-nmap Uses Nmap For Network Scanning Capabilities

2025/10/11 CyberSecurityNews — Kali Linux 2025.3 のリリースに伴うメジャー・アップデートにおいて、人工知能とサイバー・セキュリティを組み合わせる革新的なツール llm-tools-nmap が導入された。新しいプラグインとして実験的な llm-tools-nmap がリリースされ、 Simon Willison のコマンドライン Large Language Model (LLM) ツールに、ネットワーク・スキャン機能が追加された。

脆弱性管理における AI の役割を調査：セキュリティ・エンジニアリングにおける人間の不可欠性

Can We Trust AI To Write Vulnerability Checks? Here’s What We Found

2025/09/29 BleepingComputer — 脆弱性の管理は常に競争である。攻撃者は素早く動き、スキャンには時間がかかる。スキャナが追いつかなければ、システムは無防備な状態に陥る。そのような中、 Intruder のセキュリティ・チームが立ち上げた検証プロジェクトは、AI を活用して高い品質基準を維持しながら、新しい脆弱性チェックを迅速に構築するためのものである。結局のところ、検出が確実でなければ、スピードは意味を持たない。また、実際の問題を見逃すチェックは役に立たないが、誤検知は効率を著しく悪化させる。この記事では、AI を用いて行った実験の方法と、上手く機能している点と、問題が残る点を紹介する。

Google の新たな LLM VaultGemma：差分プライバシーでの学習と個人情報保護の強化

Google introduces, a differentially private LLM built for secure data handling

2025/09/16 HelpNetSecurity — Google が発表した、大規模言語モデル (LLM) VaultGemma は、トレーニング中に用いる機密データを、非公開に保つよう設計されたものだ。このモデルは、差分プライバシー技術を用いて個々のデータ・ポイントの露出を防ぐため、医療／金融／政府などの分野での、機密情報の安全な取り扱いを可能にする。

AI セキュリティ・ツールを脆弱にする LLM の欠陥：プロンプト・インジェクション攻撃の実態

AI-Powered Cybersecurity Tools Can Be Turned Against Themselves Through Prompt Injection Attacks

2025/09/03 CyberSecurityNews — AI 搭載のサイバー・セキュリティ・ツールは、プロンプト・インジェクション攻撃により自らを攻撃対象とされ、自動化されたエージェントを乗っ取る攻撃者に対して、不正なシステム・アクセスの取得を許す可能性がある。セキュリティ研究者である Victor Mayoral-Vilches と Per Mannermaa Rynning は、悪意のサーバが無害に見えるデータ・ストリームに命令を挿入することで、AI 駆動型ペンテスト・フレームワークが脆弱になる仕組みを明らかにした。

プロンプト・インジェクションを理解する：AI エージェントの導入つれて拡大する攻撃対象領域

How Prompt Injection Attacks Bypassing AI Agents With Users Input

2025/09/01 CyberSecurityNews — LLM と AI エージェントのコア・アーキテクチャを悪用することで、現代の AI システムにおける最も深刻なセキュリティ脆弱性を突くプロンプト・インジェクション攻撃が、根本的な課題として浮上している。その一方では、自律的な意思決定／データ処理、ユーザー・インタラクションのために、AI エージェントを導入するユーザー組織が増えており、攻撃対象領域が劇的に拡大している。巧妙に細工されたユーザー入力を通じて、サイバー犯罪者たちが AI の挙動を操作するという、新たなベクターが生まれている。

Claude AI に３つのインシデント：サイバー犯罪者たちの巧妙な試みを Anthropic が阻止

Hackers Attempted to Misuse Claude AI to Launch Cyber Attacks

2025/08/28 CyberSecurityNews — 新たに発表された脅威インテリジェンス・レポートによると、Claude AI プラットフォームの悪用を狙うサイバー犯罪者たちの、複数の巧妙な試みを Anthropic が阻止したようだ。Claude の高度な機能を悪用する攻撃者たちは、有害な出力を防ぐための多層的な安全対策を回避しながら、このエージェント AI を武器化することで、大規模な恐喝／雇用詐欺／ランサムウェア攻撃を実行している。

LLM-Based コーディングへの提言：危険なサンプル・コードの学習を想定すべきだ

New Research and PoC Reveal Security Risks in LLM-Based Coding

2025/08/28 gbhackers — 2025年8月22日に公開された詳細なブログ記事によると、最近の調査で明らかになったものに、LLM のみを用いて生成されたアプリケーション・コードにおける、深刻なセキュリティ脆弱性の可能性についての指摘がある。この調査が強調するのは、広範なインターネット・データを学習した、つまり、安全ではない可能性のあるサンプル・コードを学習した LLM が、開発者に対して潜在的なリスクを警告することなく、安全が確保されていないパターンを複製していくという問題点である。

ライトウェイトLLM によるインシデント処理：ログ・データが複雑であっても迅速な対応が可能に！

Using lightweight LLMs to cut incident response times and reduce hallucinations

2025/08/21 HelpNetSecurity — メルボルン大学とインペリアル・カレッジ・ロンドンの研究者たちは、LLM を用いるインシデント対応計画の改善手法を、幻覚リスクの低減に焦点を当てながら開発した。この手法は、小規模で微調整された LLM を基盤とし、RAG (retrieval-augmented generation) と意思決定理論に基づく計画手法を、組み合わせるものである。

OpenAI が立ち上げる Red Teaming チャレンジ：新たな Open-Weight LLM は何を変えていくのか？

OpenAI Launches Red Teaming Challenge for New Open-Weight LLMs

2025/08/06 InfoSecurity — OpenAI が発表したのは、２つの新しいオープン・ウェイト LLM の提供と、賞金総額 $500,000 のレッドチーム・チャレンジの開催である。8月5日午前10時、OpenAI の CEO である Sam Altman は、ソーシャルメディアに “gpt-oss がリリースされた” と投稿した。

Perplexity AI が Firewall を回避して Web サイトをクロール：Cloudflare が警告

Cloudflare Accuses Perplexity AI For Evading Firewalls and Crawling Websites by Changing User Agent

2025/08/05 CyberSecurityNews — 標準的な Firewall を回避するステルス型のクロール技術を採用しているとして、高度な LLM を搭載する新興の QA エンジン Perplexity AI が注目を集めている。スタート時の Perplexity クローラーは透明性を重視しており、PerplexityBot/1.0 といったユーザー・エージェントを用いて自らを識別し、robots.txt の指示や Web Application Firewall (WAF) のルールを遵守していた。しかし、2025年8月初旬に研究者たちが確認したのは、ブロックを受けた Perplexity がクロール中に自身の識別情報を改変し、一般的なブラウザのユーザー・エージェントおよび未公開の IP 範囲を用いて、アクセスが制限されるコンテンツへと接続している現実である。

Enterprise LLM に潜むリスクを整理：シンプルなプロンプトによる巧妙な攻撃と甚大な被害

Enterprise LLMs Under Risk: How Simple Prompts Can Lead to Major Breaches

2025/07/30 CyberSecurityNews — 大規模言語モデル (LLM) を統合するエンタープライズ・アプリ群は、単純に見えるプロンプトのインジェクション攻撃により、悪用の可能性が生じるという、前例のないセキュリティ脆弱性に直面している。最近のセキュリティ評価により明らかにされたのは、巧妙に作成された自然言語クエリのみを使用する攻撃者が、認証システム回避と機密データの抽出を達成し、不正なコマンドの実行を可能にするという問題である。

LLM-Powered マルウェアが登場：ロシアの APT28 が採用する AI 機能の統合とは？

First Known LLM-Powered Malware From APT28 Hackers Integrates AI Capabilities into Attack Methodology

2025/07/24 CyberSecurityNews — 新たに明らかになった LAMEHUG 攻撃が示唆するのは、サイバー・セキュリティにおける画期的な出来事である。大規模言語モデル (LLM) を実環境のマルウェアにダイレクトに組み込むロシア政府系 APT28 (Fancy Bear) は、それぞれの感染させたホストから、カスタマイズされたシェル・コマンドを即座に受信できるようにしている。Hugging Face の公開 API を介することで、攻撃者は　Qwen2.5-Coder-32B-Instruct モデルを呼び出す。この手法により、従来の静的ペイロード制約を回避し、これまでにはなかった柔軟性を実現している。

Meta が提供する OSS の AI Tool：LLM による機密ラベルを自動的にドキュメントに添付

Meta open-sources AI tool to automatically classify sensitive documents

2025/06/05 HelpNetSecurity — Meta がリリースしたのは、機密文書の自動分類を行うための Automated Sensitive Document Classification という、オープンソースの AI ツールである。このツールのオリジナルは、社内使用向けに開発されたものであり、文書内の機密情報の検出と、セキュリティ・ラベルを自動的に適用するために設計されている。このツールは、カスタマイズ可能な分類ルールを使用することで、テキストを取り込んでいるファイルに対応している。ラベル付けされた文書は、不正アクセスからの保護や、検索拡張生成 (RAG) を使用する AI システムからの除外が可能になる。

NHI は人間の 45倍規模：AI Agent の大規模展開の前に考えるべきセキュリティ原則とは？

AI Agents and the Non‑Human Identity Crisis: How to Deploy AI More Securely at Scale

2025/05/27 TheHackerNews — GitHub Copilot のコード補完から、社内のナレッジベースをマイニングして即答するチャットボットにいたるまで、AI は企業の生産性に大きな変化をもたらしている。そこで用いられる、それぞれの新たなエージェントは、他のサービスでの認証を得る必要があるため、企業クラウド全体における NHIs (Non‑Human Identities) の数が静かに増加している。

Linux SMB のゼロデイ脆弱性 CVE-2025-37899：特定したのは ChatGPT を操る研究者

Linux Kernel Zero-Day SMB Vulnerability Discovered via ChatGPT

2025/05/22 gbhackers — Linux Kernel SMB サーバに存在するゼロデイ脆弱性 CVE-2025-37899 を、OpenAI o3 言語モデルを使用するセキュリティ研究者が発見した。この脆弱性は、SMB の “logoff” コマンド・ハンドラに存在する、メモリ解放後使用 (use-after-free) のバグであり、リモートの攻撃者に対して、カーネル権限での任意のコード実行の可能性を与えるものだ。AI 支援による脆弱性研究において、この発見は大きな進歩であり、同時実行パスの理解を必要とする、複雑なメモリ安全性の問題を、LLM が効果的に特定できることを実証している。

Langroid の脆弱性 CVE-2025-46724／46725 が FIX：LLM Apps における RCE の可能性

Langroid Flaws (CVSS 9.8) Expose LLM Apps to RCE

2025/05/22 ScurityOnline — LLM アプリ構築用に設計された、人気の Python フレームワークである Langroid に存在する、２つの深刻な脆弱性ついて、研究者たちが明らかにした。カーネギーメロン大学とウィスコンシン大学マディソン校の研究者たちが開発した Langroid は、データ分析やチャット自動化のためのモジュール型 LLM エージェント構築に広く利用されるものであり、PyPI では毎月 15,000件以上のダウンロード数を誇っている。

vLLM の脆弱性 CVE-2025-47277 (CVSS 9.8) が FIX：不適切なデータ処理による RCE の恐れ

Critical CVSS 9.8 RCE Flaw in vLLM Exposes AI Hosts to Remote Attacks

2025/05/21 SecurityOnline — 大規模言語モデル (LLM) 向けの高性能推論／サービング・エンジンである vLLM に、深刻な脆弱性 CVE-2025-47277 が存在することが公表された。この脆弱性は、PyNcclPipe 通信サービスにおける安全が確保されないデシリアライズ処理に起因し、リモート・コード実行 (RCE) を可能にするものであり、CVSS スコア 9.8 が割り当てられている。

RAGFlow の脆弱性 CVE-2025-48187 (CVSS 9.1)：アカウント乗っ取りに No Patch／Yes PoC

High-Risk RAGFlow Flaw: Account Takeover Possible (No Patch, PoC Available)

2025/05/20 SecurityOnline — Infiniflow が開発したオープンソースの RAG (Retrieval-Augmented Generation) プラットフォーム RAGFlow に、深刻なアカウント乗っ取りの脆弱性が発見された。この脆弱性 CVE-2025-48187 (CVSS：9.1) を悪用する攻撃者は、ブルートフォース攻撃によるメール認証コードの不正取得を達成し、ユーザー登録／ログイン／パスワードに対するリセット攻撃などの可能性を得る。

Gemini Nano vs. テック・サポート詐欺：Chrome の新機能で即時検出

Google Chrome to use on-device AI to detect tech support scams

2025/05/09 BleepingComputer — Google が発表したのは、組み込みの LLM である Gemini Nano を活用する、新しい Chrome セキュリティ機能の実装である。その機能はというと、Web の閲覧中にテクニカル・サポート詐欺を検出／阻止するものだ。テクニカル・サポート詐欺とは、悪意の Web サイトでユーザーを欺き、その PC にウイルス感染やシステム不具合が生じていると見せかける手口である。それらの悪意の警告は、フルスクリーンのブラウザ・ウィンドウやポップアップとして表示され、ユーザーの操作を妨げる特徴がある。

vLLM の脆弱性 CVE-2025-32444 (CVSS 10) が FIX：Mooncake 統合時の RCE

CVE-2025-32444 (CVSS 10): Critical RCE Flaw in vLLM’s Mooncake Integration Exposes AI Infrastructure

2025/05/01 SecurityOnline — 高性能の推論と LLM の提供に利用される人気の OSS ライブラリ vLLM に、深刻なセキュリティ脆弱性が発見された。この脆弱性 CVE-2025-32444 (CVSS：10.0) は、Mooncake 統合を利用したデプロイメントにおいて、深刻なリモートコード実行 (RCE) のリスクを生じるという。

AI プロトコル MCP／A2A に潜む脅威：新たな視点から AI ツールとデータ流出を考える

Researchers Demonstrate How MCP Prompt Injection Can Be Used for Both Attack and Defense

2025/04/30 thehackernews — AI 分野が急速に進化する中で、Model Context Protocol (MCP) の悪用方法が分析され、プロンプト・インジェクション攻撃だけではなく、セキュリティ・ツールの開発や悪意のツールの特定などもカバーできそうなことが、Tenable の調査により明らかになった。Anthropic が 2024年11月に発表した、新しいプロトコル MCP は、大規模言語モデル (LLM：Large Language Models) と外部のデータソース／サービスを接続するために設計されたものだ。その目的は、LLM が選ぶ外部ツールを通じて、それらのシステムと連携し、AI アプリケーションの精度／関連性／実用性などを高めるところにある。

Gen AI とジェイルブレイク：各種の AI ツールに存在するリスクと影響について – CERT/CC

New Reports Uncover Jailbreaks, Unsafe Code, and Data Theft Risks in Leading AI Systems

2025/04/29 TheHackerNews — さまざまな GenAI サービスが抱える、２種類のジェイルブレイク攻撃に対して脆弱な特性により、違法／危険なコンテンツの生成を可能になることが判明した。この２つの手法のうちの１つ目は、”Inception” というコードネームで呼ばれ、AI ツールに架空のシナリオを想像させるように指示するものだ。このシナリオは、安全ガードレールが存在しない１つのシナリオで指示され、それが２つ目のシナリオに適応されるものだ。

Google の Sec-Gemini が登場：Mandiant のデータと LLM を統合

Google Pushing ‘Sec-Gemini’ AI Model for Threat-Intel Workflows

2025/04/07 SecurityWeek — Google が発表したのは、脅威インテリジェンス部門 Mandiant のインシデント対応および、脅威分析ワークフローを支援するために設計された、実験的な人工知能モデルである。この “Sec-Gemini v1” と呼ばれる AI モデルは、Google の LLM である Gemini の機能と、Google Threat Intelligence (GTI)、Open Source Vulnerability (OSV) データベースなどの社内リソースを統合することで、ほぼリアルタイムのセキュリティ・データとツールを構成するという。

vLLM の深刻な RCE 脆弱性 CVE-2025-29783 が FIX：Mooncake 統合で問題が拡大

Critical Remote Code Execution Vulnerability in vLLM via Mooncake Integration

2025/03/24 SecurityOnline — LLM を用いる推論やサービスで人気のライブラリ vLLM は、先日に発見された深刻なセキュリティ脆弱性に対処した。GitHub で 43,000 を超えるスターを獲得している vLLM は、広範なユーザーを抱えているため、重要な問題に発展する可能性もある。その脆弱性 CVE-2025-29783 の CVSS スコアは 9.0 と評価されている。

OpenAI の Operator に悪意を植え付ける：Symantec が Phishing PoC で実証したものは？

Symantec Demonstrates OpenAI’s Operator Agent in PoC Phishing Attack

2025/03/14 hackread — 最近になって OpenAI がリリースした “Operator” などの AI エージェントが、サイバー攻撃に悪用される可能性があることを、Symantec の脅威ハンターたちが実証した。それらの AI エージェントは、定型的なタスクを自動化して生産性を高めるように設計されているが、Symantec の調査によると、人間の入力を最小限に抑えることで、複雑な攻撃シーケンスの実行も可能にすることが示されている。

DeepSeek R1 とジェイルブレイク：マルウェア生成の能力を試してみた – Tenable 調査

AI Chatbot DeepSeek R1 Can Be Manipulated to Create Malware

2025/03/14 HackRead — オープンソースの AI チャットボットである DeepSeek R1 は、キーロガーやランサムウェアなどの悪意のソフトウェアを、その操作に応じて生成し得ることが、サイバーセキュリティ企業 Tenable Research の新たな分析により明らかになった。Tenable Research の調査は、DeepSeek における有害なコードの生成能力の評価を目的として行われたものであり、２種類の主要なマルウェア・タイプに焦点を当てるものとなっている。具体的には、秘密裏にキー・ストロークを記録するキーロガーと、ファイルを暗号化して身代金を要求するランサムウェアである。

LLM トレーニングに用いられるデータセットの問題：約 12,000 個の API キーの発見

12,000+ API Keys and Passwords Found in Public Datasets Used for LLM Training

2025/02/28 TheHackerNews — LLM のトレーニングに使用されるデータセットに、認証を成功させるライブ・シークレットが約 12,000 個も取り込まれていることが判明した。

CrowdStrike の 2025 Global Threat Report：高度化する犯罪グループを数値で分析する

Unpatched Vulnerabilities Attract Cybercriminals as EDR Visibility Remains Limited

2025/02/27 gbhackers — CrowdStrike 2025 Global Threat Report によると、サイバー攻撃者たちの集団は、合法的なビジネスの業務効率を模倣し、高度に組織化されたプロ組織へと進化している。このレポートが強調するのは、2024年のサイバー脅威の状況が大きく変化し、高度な戦術を採用する攻撃者が、GenAI などの最新テクノロジーを活用して、そのアクティビティを拡大している状況である。

AI と Security の組み合わせ：この新しいパズルを解いていこう

AI and Security – A New Puzzle to Figure Out

2025/02/13 TheHackerNews — いまや、あらゆるところに存在するのが AI であり、企業の運営方法を変革し、それぞれのユーザーがアプリ／デバイス／サービスと関わる方法を置き換えている。チャット・インターフェイスのサポートや、インテリジェントなデータ分析、ユーザーの好みとのマッチングといった領域で、数多くのアプリケーションに、何らかの AI が組み込まれている。ユーザーにとってのメリットを、AI がもたらすことに間違いはないだろうが、新たなセキュリティ上の課題、特に ID 関連のセキュリティ上の課題が浮かび上がってきている。それらの課題とは何なのだろうか？そのために、Okta で何ができるかを考えていこう。

PandasAI の脆弱性 CVE-2024-12366 が FIX：Python コードの実行

CVE-2024-12366: Prompt Injection in PandasAI Enables Full System Compromise

2025/02/11 SecurityOnline — SinaptikAI が提供する OSS の AI 搭載データ分析ライブラリ PandasAI で、新たに公開されたセキュリティ脆弱性により、プロンプト・インジェクション攻撃によるリモート・コード実行 (RCE) の可能性が生じることが判明した。この脆弱性 CVE-2024-12366 を悪用する攻撃者は、自然言語プロンプトを操作して任意の Python コードを実行し、システム侵害を引き起こす機会を手にする。

Cisco による DeepSeek R1 調査：ジェイルブレイクに関する大きな懸念とは？

Cisco Finds DeepSeek R1 Highly Vulnerable to Harmful Prompts

2025/02/03 HackRead — 中国のスタートアップ DeepSeek は、高度な推論機能とコスト効率の高いトレーニングを備えた、大規模言語モデル (LLM) の導入による注目を集めている。最近にリリースされた DeepSeek R1-Zero／DeepSeek R1 は、OpenAI o1 などの主要モデルに匹敵するパフォーマンスを、わずかなコストで実現している。そして、数学／コーディング／科学的推論などのタスクにおいて、Claude 3.5 Sonnet や ChatGPT-4o を上回っている。

GitHub Copilot で発見されたジェイルブレイクの手法：悪意のモデルのトレーニングなどが可能に？

New Jailbreaks Allow Users to Manipulate GitHub Copilot

2025/01/31 DarkReading — GitHub の AI コーディング・アシスタント Copilot を操作する、２つの新たな手法を研究者たちが発見した。この方式を用いれば、セキュリティ制限やサブスクリプション料金の回避や、悪意のモデルのトレーニングなどが可能になる。

国家に支援される APT と AI の関係：57 の脅威グループが Google Gemini を悪用

Google: Over 57 Nation-State Threat Groups Using AI for Cyber Operations

2025/01/30 TheHackerNews — 中国／北朝鮮／イラン／ロシアに関連するとされる 57 の脅威アクター・グループが、Google が提供する人工知能 (AI) 技術を使用して、悪意の活動を強化していることが確認されている。Google Threat Intelligence Group (GTIG) の最新レポートには、「脅威アクターたちは、そのオペレーションのために Gemini を試しており、生産性の向上は見つかっているが、新しい機能の開発は確認されていない。いまの脅威アクターたちは AI の研究段階にあり、コードのトラブル・シューティング／コンテンツの作成およびローカライズを試行している」と記されている。

FuzzyAI：LLM のファジングを自動化するパワフルな OSS ツール

FuzzyAI: Open-source tool for automated LLM fuzzing

2024/12/13 HelpNetSecurity — 新たに登場したオープンソース・フレームワークの FuzzyAI は、LLM のファジングを自動化する強力なツールである。ガードレール迂回や有害な出力生成などの、LLM の潜在的なセキュリティ脆弱性の特定／緩和を支援するために設計されている。FuzzyAI の主な機能は、様々な敵対的インプットに対する AI モデルのテスト／セキュリティ・システムにおける潜在的な弱点の特定／AI 開発と展開の安全性向上のための体系的なアプローチなどである。

ML Toolkit 群で発見された複数の脆弱性：サーバ乗っ取りや特権昇格にいたる恐れ

Security Flaws in Popular ML Toolkits Enable Server Hijacks, Privilege Escalation

20224/11/11 TheHackerNews — 機械学習 (ML) に関連する、15種類のオープンソース・プロジェクトにまたがる、およそ 20件のセキュリティ脆弱性が発見された。ソフトウェア・サプライチェーン・セキュリティ企業の JFrog は、先週に発表した分析の結果において、サーバ側／クライアント側で新たな脆弱性が発見されたと述べている。

OWASP の GenAI セキュリティ・ガイダンス：ディープフェイクの増加を受けて強化

OWASP Beefs Up GenAI Security Guidance Amid Growing Deepfakes

2024/11/05 DarkReading — いまでは、ディープフェイクや GenAI 攻撃は珍しいものではなく、今後においては、そのような攻撃が急増する兆候が見られる。すでに、AI が生成したテキストは、電子メールでは一般的なものとなり、人間が作成した可能性が低い電子メールを検出する方法を、セキュリティ企業は見つけ出そうとしている。mimecast の分析によると、人間が作成した電子メールは、すべての電子メールの約 88％に減少している。LLM が生成する電子メールの割合は、2022年後半の約 7％から、現在の約 12％へと上昇している。

Google LLM の成果：ファジングでは到達できなかった SQLite の脆弱性を発見

Google Says Its AI Found SQLite Vulnerability That Fuzzing Missed

2024/11/04 SecurityWeek — Google によると、従来からのファジングでは到達できなかった SQLite の脆弱性が、LLM (Large Language Model) プロジェクトにより発見されたという。同社は 2024年6月に、LLM が持つとされる、攻撃的セキュリティ能力の評価を目的とする、Project Naptime の詳細を共有した。Google の Project Zero と DeepMind の共同プロジェクトである Naptime は、その後に Big Sleep というプロジェクトへと進化している。

AI プラットフォーム Ollama に６つの脆弱性：AI モデルの盗用と汚染のリスクとは？

Six Vulnerabilities Uncovered in Ollama: Risks of AI Model Theft and Poisoning

2024/11/03 SecurityOnline — ローカル／クラウドのインフラ上で LLM (large language models) を実行する、人気オープンソース・フレームワークである Ollama に、６つの脆弱性が発見された。エンターテイメント AI 環境において Ollama の使用が急増する中で、これらの脆弱性が浮き彫りにするのは、AI ツールを導入する組織にとっての深刻なリスクである。

Vulnhuntr で脆弱性を発見：LLM と静的コード解析による包括的な機能を提供

Vulnhuntr: A Tool for Finding Exploitable Vulnerabilities with LLMs and Static Code Analysis

2024/10/19 SecurityOnline — 今日のサイバーセキュリティの進化の状況において、ソフトウェアとインフラの安全性を維持するために、コードベースの脆弱性を特定することは不可欠である。GitHub で入手可能なオープンソース・ツールである Vulnhuntr は、LLM (Large Language Models) と静的コード解析を活用することで、Python ベースのプロジェクトにおける、リモートから悪用可能な脆弱性を特定する。

OpenAI を悪用するサイバー犯罪と偽情報拡散：20件以上の悪意のキャンペーンを阻止

OpenAI Blocks 20 Global Malicious Campaigns Using AI for Cybercrime and Disinformation

2024/10/10 TheHackerNews — 10月9日に OpenAI が発表したのは、同社のプラットフォームをグローバルで悪用する、20件以上の悪意のアクティビティとネットワークを、2024年に入ってから阻止したというメッセージである。阻止された悪質な活動として挙げられるのは、マルウェアのデバッグ／悪意の Web サイト記事執筆／悪意の SNS アカウント経歴の作成／X の偽アカウント用の AI 生成プロフィール画像の作成などである。

MLOps 群に存在する 20件以上の脆弱性：サプライチェーン攻撃の可能性を検証する – JFrog

Researchers Identify Over 20 Supply Chain Vulnerabilities in MLOps Platforms

2024/08/26 TheHackerNews — MLOps プラットフォーム群をターゲットに悪用される可能性のある 20以上の脆弱性が、サイバー・セキュリティ研究者たちにより発見された。それが警告するのは、機械学習 (ML：machine learning) ソフトウェアのサプライチェーンにおける、セキュリティ・リスクの存在である。これらの脆弱性は、固有の欠陥と実装ベースの欠陥が含まれるが、任意のコード実行から悪意のデータセットのロードにいたるまでの、深刻な結果をもたらす可能性が生じている。

AI プラットフォーム Ollama に脆弱性 CVE-2024-37032：リモート・コード実行の恐れ

Critical RCE Vulnerability Discovered in Ollama AI Infrastructure Tool

2024/06/24 TheHackerNews — オープンソースの AI インフラ・プラットフォーム Ollama に存在する、リモート・コード実行の脆弱性 CVE-2024-37032 に関する詳細情報が、クラウド・セキュリティ企業 Wiz により公開された。この Wiz が Probllama と命名する脆弱性は、2024年5月5日に情報が開示され、その後の 5月7日にリリースされた Ollama 0.1.34 で対処されている。

増加し続ける悪質なボット：全インターネット・トラフィックの約半数に到達 – Imperva

Bots dominate internet activity, account for nearly half of all traffic

2024/04/18 HelpNetSecurity — 2023 年の全インターネット・トラフィックの、49.6％はボットによるものであり、前年比で２％増加しているという。Thales の子会社である Imperva が 2013年に自動トラフィック監視を開始して以来、この数字は最も高い水準となった。悪質なボットが生み出す Web トラフィックの割合は、５年連続で増加し続けており、2022年の 30.2％から 2023年の 32％へと増加し、人間であるユーザーからのトラフィックは 50.4% に減少した。Web サイト／API／アプリケーションなどへの、自動化されたトラフィックが引き起こす攻撃により、年間で数十億ドル (USD) 相当の損害が、ユーザー組織に発生している。

Google Magika がオープンソース化：AI でファイルの安全性を識別

Google Open Sources Magika: AI-Powered File Identification Tool

2024/02/17 TheHackerNews — Google は、人工知能 (AI) を搭載したファイル識別ツールである Magika をオープンソース化することを発表した。同社は、「Magika は、従来のファイル識別方法を凌駕するものであり、VBA／JavaScript／Powershell などの、従来は識別が困難であったが潜在的に問題のあるコンテンツに対して、全体として 30％の精度向上と、最大で 95％の高精度を提供する」と述べている。

GitHub の AI 拡張：３つの機能のパブリック・プレビューを発表

GitHub Enhances Security Capabilities With AI

2023/11/08 SecurityWeek —

今日、Microsoft 傘下の GitHub が、GitHub Advanced Security の AI を活用しする、３つの機能のパブリック・プレビューを発表した。GitHub Enterprise Cloud および Enterprise Server の顧客向けに提供される Advanced Security により、コードの品質を維持／向上するための一連の機能が提供される。Dependabot などの機能の一部は、公開リポジトリでも利用できる。

UK AI Safety Institute が設立： AI の未来への青写真とは？

UK AI Safety Institute: A Blueprint for the Future of AI?

2023/11/03 InfoSecurity — 英国の Frontier AI Taskforce は、2023年4月にファウンデーション・モデル・タスクフォースとして発足した政府出資のイニシアチブである。しかし同機関は、英国 AI Safety Institute へと進化しつつある。Rishi Sunak 英国首相は、2023年11月2日に英国ブレッチリー・パークで開催された AI Safety Summit の閉会スピーチで、同研究所の設立を発表した。この新組織における英国政府の目的は、新たなタイプのAI の安全性テストを任務とする世界的なハブにすることだと、Sunak 首相は述べている。