OpenAI – IoT OT Security News

OpenAI が Trusted Access for Cyber を公表：選ばれたパートナー向けに限定公開

OpenAI Readies Rollout of New Cyber Model as Industry Shifts to Defense

2026/04/09 SecurityBoulevard — OpenAI は、選ばれたパートナー向けに限定公開される、サイバー・セキュリティ製品の最終調整を進めている。Axios の報道によると、OpenAI の新モデルは、一般に公開するには危険すぎるという、最新の AI 技術に対して開発者が抱く不安の高まりを示している。この動きの背景にあるのは、自律的なハッキング／推論において、人工知能 (AI) の能力が臨界点に到達したという現実である。

OpenAI Codex の脆弱性：コマンド・インジェクションの欠陥による GitHub トークン窃取の可能性

OpenAI Codex Vulnerability Allows Attackers to Steal GitHub Access Tokens

2026/04/07 CyberSecurityNews — AI コーディング・エージェントの導入により、開発チームにとって影響の大きい新たな攻撃対象領域が生じていた。OpenAI Codex において深刻なコマンド・インジェクション脆弱性が発見されたと、BeyondTrust 傘下の Phantom Labs が報告している。この欠陥により、攻撃者は機密性の高い GitHub ユーザー・アクセス・トークンを窃取可能になる。Codex におけるタスク作成リクエストの処理を悪用する攻撃者は、AI エージェントに付与された権限を悪用し、ユーザー組織の GitHub 環境への攻撃の横展開が可能な状況にあった。

OpenAI が公表：ChatGPT のデータ漏洩とCodex の GitHub トークン窃取の脆弱性

OpenAI Patches ChatGPT Data Exfiltration Flaw and Codex GitHub Token Vulnerability

2026/03/30 TheHackerNews — OpenAI ChatGPT に存在する未知の脆弱性により、ユーザーの認識や同意なしに機密性の高い会話データが外部へ送信される可能性があったことが、Check Point の新たな調査で明らかになった。同社は、「単一の悪意のプロンプトにより、通常の会話が秘匿的なデータ流出チャネルへと変化し、ユーザーメッセージ／アップロードファイルなどの機密情報が漏洩する可能性がある。また、バックドア化された GPT により、ユーザーの認識なしにデータへのアクセスが行われる」と指摘していた。

OpenAI が Codex Security を正式発表：脆弱性の発見／検証／修復を自動化するセキュリティ AI

OpenAI’s Codex Security Built to Automate Vulnerability Discovery and Remediation

2026/03/07 gbhackers — OpenAI が正式に発表したのは、脆弱性の発見と修復の自動化を目的とする、高度なアプリケーション・セキュリティ・エージェント Codex Security である。これまでは、Aardvark として知られていたツールであり、現在はリサーチ・プレビュー版として提供されている。最先端の AI モデルと自動検証を組み合わせることで、手動によるセキュリティ・レビューのボトルネックを解消し、トリアージ・ノイズを大幅に削減することを目的としている。これにより、開発チームによる安全なコードの出荷／リリースが迅速に行われるようになる。

イラン戦争における Anthropic と米軍：Claude で実施された作戦と OpenAI の動き

US Military Reportedly Used Claude in Iran Strikes Despite Trump’s Ban

2026/03/02 CyberSecurityNews — 米国国防総省は、2月28日に実施されたイスラエルとの共同攻勢 Operation Epic Fury において、Anthropic の Claude AI を使用した。トランプ大統領が、Anthropic を国家安全保障上のサプライチェーン・リスクに指定し、すべての連邦機関に対して同社の AI システムの使用停止を命じたわずか数時間後に、この作戦は実施された。

ChatGPT で悪意のキャンペーンを管理：中国由来の脅威アクターを OpenAI が追跡

OpenAI Confirms Chinese Hackers Used ChatGPT in Cyberattack Campaign

2026/02/26 gbhackers — OpenAI の最新の脅威レポート “Disrupting malicious uses of AI” が明らかにしたのは、中国と関連するオペレーターの広範なキャンペーンの一環として ChatGPT が悪用されていたことである。このキャンペーンは、サイバー作戦／オンライン嫌がらせ／秘匿的影響工作を組み合わせたものである。ChatGPT のモデル自体が、エクスプロイト作成やネットワーク侵入に直接使用されたわけではない。しかし、オンライン上において、批判者／反体制派／外国の政治関係者を標的とするオペレーションの計画／拡散に、繰り返し悪用されていた。

OpenAI が立ち上げた Trusted Access for Cyber：GPT-5.3-Codex による脆弱性の発見／修正

OpenAI Launches Trusted Access to Strengthen Cybersecurity Protections

2026/02/06 gbhackers — OpenAI が発表したのは、同社の最先端 AI モデルがもたらすリスクを低減し、サイバー・セキュリティ防御を強化する、新たな ID／Trust ベースのフレームワーク Trusted Access for Cyber である。このイニシアティブの中核となるのは、OpenAI で開発されたサイバー領域特化型のフロンティア推論モデル GPT-5.3-Codex である。このモデルは、複雑なセキュリティ・タスクを完了するために、数時間から数日間にわたり自律的に動作する能力を有する。

OpenAI が拡張する防御のモデル：AI の規模と精度が従来型の脅威と組み合わされる時代に

OpenAI Enhances Defensive Models to Mitigate Cyber-Threats

2025/12/12 InfoSecurity —12月10日 (水) に OpenAI が発表したのは、モデル性能の急上昇に伴い社内計画を再構築したという声明である。そのレポートによると、Capture The Flag (CTF) チャレンジを用いた能力評価は、2025年8月の GPT-5 における 27% から、2025年11月の GPT-5.1-Codex-Max の 76% へと向上しているという。OpenAI が警告するのは、今後登場するシステムの一部が、同社の Preparedness Framework における高能力レベルに達する可能性である。そのレベルに達すると、複雑な侵入作戦からゼロデイ・エクスプロイトの開発に至るまでの、さまざまなタスクが支援されてしまう可能性があるという。

ChatGPT で世界的なアクセス障害：Codex のトラブルにより会話履歴が一時的に消失

ChatGPT Down – Users Report Outage Worldwide, Conversations Disappeared for Users

2025/12/03 CyberSecurityNews — 2025年12月3日 (水) の早朝に、ChatGPT が大規模なサービス障害に見舞われ、世界中の何百万ものユーザーの業務に深刻な支障が生じた。午前6時30分頃に発生した障害により、多数のユーザーが AI チャットボットへアクセスできなくなり、また、会話履歴が消失したように見えるといった、データ可視性に関する重大な問題が発生した。OpenAI は迅速な対応を行い、すべてのシステムが短時間で復旧したと発表している。

OpenAI Codex CLI にコマンド・インジェクション：リポジトリを介した悪用のシナリオとは？

OpenAI Codex CLI Command Injection Vulnerability Let Attackers Execute Arbitrary Commands

2025/12/01 CyberSecurityNews — OpenAI が公表したのは、Codex CLI ツールのコマンド・インジェクション脆弱性の修正に関する情報である。この脆弱性を悪用する攻撃者は、悪意のコンフィグ・ファイルをプロジェクト・リポジトリに配置するだけで、開発者のマシン上で任意のコマンド実行の可能性を得る。この問題は、すでに Codex CLI バージョン 0.23.0 で修正されている。修正前の Codex CLI では codex コマンドの日常的な使用が、サイレントなリモート・コード実行のトリガーとなっていた。

OpenAI が ChatGPT 広告を公開へ向けて準備中：利用者データを活用するパーソナライズド広告の可能性

Leak confirms OpenAI is preparing ads on ChatGPT for public roll out

2025/11/29 BleepingComputer — Web の経済を再定義するかもしれない ChatGPT 内の広告機能を、OpenAI が内部でテスト中とのことだ。これまで、ChatGPT の基本利用は無料だった。有料のプランやモデルは存在するが、ChatGPT が商品を販売することも広告を表示することもなかった。その一方で、Google 検索ではユーザーの購買行動に影響を与える広告が表示される。それと同じエクスペリエンスを、OpenAI は ChatGPT 上で実現しようとしている。

OpenAI が Mixpanel 関連のインシデントを公表：氏名／メールアドレス／OS 情報などが漏洩

OpenAI Discloses Mixpanel Data Breach – Name, Email Address and Operating System Details Exposed

2025/11/27 CyberSecurityNews — OpenAI が公表したのは、API 製品のフロントエンドである “platform.openai.com” の活動を監視するために、以前に使用していたサードパーティ分析プロバイダ Mixpanel に関連するセキュリティ・インシデントである。2025年11月9日に Mixpanel が検知したのは、自社システムへの不正なアクセスがあり、一部の OpenAI API ユーザーの識別情報を含む分析データがエクスポートされたことだった。

OpenAI の Assistants API を悪用する SesameOp：AI 侵害のためのバックドアをステルス C2 で確立

SesameOp: Using the OpenAI Assistants API for Covert C2 Communication

2025/11/04 gbhackers — OpenAI Assistants API を悪用する高度なバックドア型マルウェア SesameOp が、従来とは異なる Command-and-Control (C2) 通信経路を用いていることを、Microsoft の Detection and Response Team (DART) が明らかにした。この種の脅威は、正規のクラウド・サービスを悪用して通信を隠蔽する手法へ急速に適応しており、既存のセキュリティ対策による検知を著しく困難にしている。

OpenAI が Aardvark を公表：GPT-5 をベースにしてセキュリティ専門家を模倣する

OpenAI Unveils Aardvark: GPT-5 Agent That Finds and Fixes Code Flaws Automatically

2025/10/31 TheHackerNews — OpenAI が発表したのは、自社の GPT-5 大規模言語モデル (LLM) を搭載し、人間の専門家を模倣するようにプログラムされ、コードのスキャン／理解／パッチ適用を可能にする “エージェント型セキュリティ研究者” である。人工知能 (AI) 企業である OpenAI によると、この自律型エージェントである Aardvark は、開発者やセキュリティのチームによる、セキュリティ脆弱性の大規模な検出／修正を支援するために設計されている。現時点において、プライベート・ベータ版として利用可能となっている。

ChatGPT Atlas Browser に深刻な脆弱性：偽 URL トリックによるプロンプト・インジェクション

ChatGPT Atlas Browser Can Be Tricked by Fake URLs into Executing Hidden Commands

2025/10/27 TheHackerNews — 新たにリリースされた OpenAI Atlas Web ブラウザが、プロンプト・インジェクション攻撃に対して脆弱であることが判明した。この攻撃は、悪意のプロンプトを無害に見える URL に偽装することで、オムニボックスをジェイルブレイクさせるものだ。11月24日 (金) に NeuralTrust が公開したレポートによると、「アドレスバーと検索バーを組み合わせたオムニボックスは、その入力された内容を移動先を示す URL として、また、エージェントへの自然言語コマンドとして解釈する」と述べている。

OpenAI を悪用するランサムウェア PromptLock：標的のシステム上で攻撃用の Lua スクリプトを作成

First AI Ransomware ‘PromptLock’ Uses OpenAI gpt-oss-20b Model for Encryption

2025/08/26 CyberSecurityNews — 新たなランサムウェアが確認された。どのようなものかと言うと、ローカル AI モデルを介して悪意のコンポーネントを生成するものであり、史上初のランサムウェアの種類であると考えられている。ESET Research Team により “PromptLock” と名付けられたマルウェアは、Ollama API を介して OpenAI の gpt-oss:20b モデルを利用し、攻撃チェーン用のカスタム・クロス・プラットフォーム Lua スクリプトを作成する。

OpenAI が立ち上げる Red Teaming チャレンジ：新たな Open-Weight LLM は何を変えていくのか？

OpenAI Launches Red Teaming Challenge for New Open-Weight LLMs

2025/08/06 InfoSecurity — OpenAI が発表したのは、２つの新しいオープン・ウェイト LLM の提供と、賞金総額 $500,000 のレッドチーム・チャレンジの開催である。8月5日午前10時、OpenAI の CEO である Sam Altman は、ソーシャルメディアに “gpt-oss がリリースされた” と投稿した。

Linux SMB のゼロデイ脆弱性 CVE-2025-37899：特定したのは ChatGPT を操る研究者

Linux Kernel Zero-Day SMB Vulnerability Discovered via ChatGPT

2025/05/22 gbhackers — Linux Kernel SMB サーバに存在するゼロデイ脆弱性 CVE-2025-37899 を、OpenAI o3 言語モデルを使用するセキュリティ研究者が発見した。この脆弱性は、SMB の “logoff” コマンド・ハンドラに存在する、メモリ解放後使用 (use-after-free) のバグであり、リモートの攻撃者に対して、カーネル権限での任意のコード実行の可能性を与えるものだ。AI 支援による脆弱性研究において、この発見は大きな進歩であり、同時実行パスの理解を必要とする、複雑なメモリ安全性の問題を、LLM が効果的に特定できることを実証している。

MCP に潜む脆弱性：AI 時代の新たな脅威として浮上するツール・ポイズニング攻撃

Tool Poisoning Attacks: Critical Vulnerability Discovered in Model Context Protocol (MCP)

2025/04/10 SecurityOnline — Model Context Protocol (MCP) に存在する深刻な脆弱性は、ツール・ポイズニング攻撃 (TPA：Tool Poisoning Attacks) を可能にするものだと、Invariant Labs が明らかにした。AI エージェントが利用する、無害に見えるツールを悪用する TPA により、機密データの流出／AI の挙動の乗っ取り／リモート・コード実行などが引き起こされる恐れがある。Invariant のセキュリティ・チームは、ユーザーに対して、「サードパーティの MCP サーバに接続する際には十分な注意を払い、機密情報を保護するためのセキュリティ対策を実施してほしい」と促している。

OpenAI を悪用する AkiraBot：中小企業の Web サイトを解析してフェイク SEO サービスを展開

New AkiraBot Abuses OpenAI API to Spam Website Contact Forms

2025/04/09 HackRead — AkiraBot と呼ばれる AI 搭載ボットによる、新たなスパム攻撃キャンペーンを、サイバー・セキュリティ研究者たちが特定した。AkiraBot は、中小企業の Web サイトを標的にして、カスタマイズされたプロモーション・メッセージを送り付けるものだ。高度なスパム・ツールである AkiraBot は、少なくとも８万件以上の Web サイトの問い合わせフォームや、チャット・ウィジェットへ向けてスパムを送信しており、2024年9月以降において 40万回以上の攻撃を仕掛けてきた。

OpenAI の SSRF の脆弱性 CVE-2024-27564：広範な分野で積極的な悪用を観測

CVE-2024-27564: Attackers Exploit OpenAI Vulnerability in the Wild

2025/03/18 SecurityOnline — ChatGPT のサーバ・サイド・リクエストフォージェリ (SSRF) の脆弱性 CVE-2024-27564 だが、単一の悪意の IP からの 10,479 件を超える攻撃の試行が記録されており、サイバー犯罪者の重要なターゲットにされているようだ。Veriti の最新の調査によると、この欠陥は、OpenAI の ChatGPT インフラに影響を与えるものであり、入力パラメータに悪意の URL を挿入する攻撃者は、アプリケーションが意図していないリクエストの、強制的な実行を達成するという。

OpenAI の Operator に悪意を植え付ける：Symantec が Phishing PoC で実証したものは？

Symantec Demonstrates OpenAI’s Operator Agent in PoC Phishing Attack

2025/03/14 hackread — 最近になって OpenAI がリリースした “Operator” などの AI エージェントが、サイバー攻撃に悪用される可能性があることを、Symantec の脅威ハンターたちが実証した。それらの AI エージェントは、定型的なタスクを自動化して生産性を高めるように設計されているが、Symantec の調査によると、人間の入力を最小限に抑えることで、複雑な攻撃シーケンスの実行も可能にすることが示されている。

ChatGPT の Weekly User 数が４億人に到達：いまの有料サブスクだけで資金は足りるのか？

ChatGPT Hits 400 Million Weekly Users

2025/02/21 SecurityOnline — 2024年12月に OpenAI が発表したのは、ChatGPT の週間アクティブ・ユーザー数が３億人を突破したことだ。2024年8月の時点では、週間アクティブ・ユーザーは２億人であり、わずか数か月で１億人のユーザーが増加したという驚くべき数字を示している。

PandasAI の脆弱性 CVE-2024-12366 が FIX：Python コードの実行

CVE-2024-12366: Prompt Injection in PandasAI Enables Full System Compromise

2025/02/11 SecurityOnline — SinaptikAI が提供する OSS の AI 搭載データ分析ライブラリ PandasAI で、新たに公開されたセキュリティ脆弱性により、プロンプト・インジェクション攻撃によるリモート・コード実行 (RCE) の可能性が生じることが判明した。この脆弱性 CVE-2024-12366 を悪用する攻撃者は、自然言語プロンプトを操作して任意の Python コードを実行し、システム侵害を引き起こす機会を手にする。

DeepSeek におけるログイン情報：国営通信会社 China Mobile に送信されている？

DeepSeek AI Accused of Sharing User Data with Banned Chinese Telecom

2025/02/06 gHacks — 中国軍とのつながりが疑われ、米国での営業が禁止されている国営通信会社 China Mobile に、DeepSeek がユーザーのログイン情報を送信している可能性があることを、セキュリティ研究者たちが発見した。それにより、ユーザー・プライバシーと国家安全保障に関する深刻な懸念が引き起こされている。

Cisco による DeepSeek R1 調査：ジェイルブレイクに関する大きな懸念とは？

Cisco Finds DeepSeek R1 Highly Vulnerable to Harmful Prompts

2025/02/03 HackRead — 中国のスタートアップ DeepSeek は、高度な推論機能とコスト効率の高いトレーニングを備えた、大規模言語モデル (LLM) の導入による注目を集めている。最近にリリースされた DeepSeek R1-Zero／DeepSeek R1 は、OpenAI o1 などの主要モデルに匹敵するパフォーマンスを、わずかなコストで実現している。そして、数学／コーディング／科学的推論などのタスクにおいて、Claude 3.5 Sonnet や ChatGPT-4o を上回っている。

GitHub Copilot で発見されたジェイルブレイクの手法：悪意のモデルのトレーニングなどが可能に？

New Jailbreaks Allow Users to Manipulate GitHub Copilot

2025/01/31 DarkReading — GitHub の AI コーディング・アシスタント Copilot を操作する、２つの新たな手法を研究者たちが発見した。この方式を用いれば、セキュリティ制限やサブスクリプション料金の回避や、悪意のモデルのトレーニングなどが可能になる。

DeepSeek による AI への挑戦：軽量／安価なオープン・モデルと国家安全保障の問題

How DeepSeek changed the future of AI—and what that means for national security

2025/01/30 NextGov — 中国の DeepSeek が発表した内容は、米国の著名なツールと比べて、その構築に用いられるコンピューティング・パワーがきわめて少ないという、生成 AI へのアプローチの詳細である。その数日後に、国防総省における AI の購入／使用の方法から、米国人の生活やプライバシーに対して外国勢力もたらす混乱にいたるまで、AI と国家安全保障をめぐる世界的な議論が変化している。

DeepSeek からリークした大量のデータ：チャット・ログや機密情報が流出

DeepSeek AI Leaks Over a Million Chat Logs and Sensitive Data Online

2025/01/30 HackRead — 中国の AI 企業 DeepSeek が、OpenAI のシステムに匹敵する AI モデルで名を馳せている。しかし、同社の台頭につれて、深刻なセキュリティ問題が発生している。Wiz の研究者が発見したのは、同社に関連付けられたデータベースが一般公開されており、100 万件を超えるログ・エントリ／バックエンドの詳細／ソフトウェア・キーなどが公開されている状況である。

OpenAI を悪用するサイバー犯罪と偽情報拡散：20件以上の悪意のキャンペーンを阻止

OpenAI Blocks 20 Global Malicious Campaigns Using AI for Cybercrime and Disinformation

2024/10/10 TheHackerNews — 10月9日に OpenAI が発表したのは、同社のプラットフォームをグローバルで悪用する、20件以上の悪意のアクティビティとネットワークを、2024年に入ってから阻止したというメッセージである。阻止された悪質な活動として挙げられるのは、マルウェアのデバッグ／悪意の Web サイト記事執筆／悪意の SNS アカウント経歴の作成／X の偽アカウント用の AI 生成プロフィール画像の作成などである。

Google の Privacy Sandbox：欧州の非営利団体 noyb から痛烈に批判される

Google’s Privacy Sandbox Accused of User Tracking by Austrian Non-Profit

2024/06/14 TheHackerNews — Google Chrome の Privacy Sandbox において、サードパーティのトラッキング・クッキーを非推奨にする計画だが、新たな問題にぶつかっている。この機能は、依然としてユーザー追跡のために使用できると、オーストリアのプライバシー非営利団体 noyb (none of your business) が指摘しているのだ。

ChatGPT の停止：OpenAI が DDoS 攻撃を認め Anonymous Sudan が犯行を主張

OpenAI confirms DDoS attacks behind ongoing ChatGPT outages

2023/11/09 BleepingComputer — OpenAI の “周期的な停止” だが、この 24時間で発生した API と ChatGPT サービスを標的とする DDoS 攻撃が原因のようだ。このインシデントの根本的な原因について、OpenAI は詳細を提供しなかったが、今日の未明になって、進行中の分散型サービス拒否 (DDoS) 攻撃に関連していることを認めた。OpenAI のインシデント・レポートには、「DDoS 攻撃と思われる異常なトラフィック・パターンによる周期的な停止に対処している。私たちは、この問題を軽減するための作業を続けている」と述べている。

UK AI Safety Institute が設立： AI の未来への青写真とは？

UK AI Safety Institute: A Blueprint for the Future of AI?

2023/11/03 InfoSecurity — 英国の Frontier AI Taskforce は、2023年4月にファウンデーション・モデル・タスクフォースとして発足した政府出資のイニシアチブである。しかし同機関は、英国 AI Safety Institute へと進化しつつある。Rishi Sunak 英国首相は、2023年11月2日に英国ブレッチリー・パークで開催された AI Safety Summit の閉会スピーチで、同研究所の設立を発表した。この新組織における英国政府の目的は、新たなタイプのAI の安全性テストを任務とする世界的なハブにすることだと、Sunak 首相は述べている。

Bing Chat チャットに御用心：マルウェアのダウンロードを推奨されることもある

Bing Chat responses infiltrated by ads pushing malware

2023/09/28 BleepingComputer — OpenAI の GPT-4 エンジンを搭載した Bing Chat が、検索業界における Google の優位性に挑戦するために、2023年2月から Microsoft により展開されている。従来の検索クエリや検索結果の形式ではなく、インタラクティブなチャット・ベースのエクスペリエンスをユーザーに提供することで、オンライン検索をより直感的でユーザー・フレンドリーにすることを、Bing Chat は目指している。そして Microsoft は、この新しいプラットフォームから収入を得るために、2023年3月から Bing Chat に広告を挿入し始めた。

FraudGPT という悪意の生成 AI ツール：月額 $200 で ChatGPT の代替品

New AI Tool ‘FraudGPT’ Emerges, Tailored for Sophisticated Attacks

2023/07/26 TheHackerNews — WormGPT の足跡をたどる脅威アクターたちは、さまざまなダークウェブ・マーケットプレイスや Telegram チャンネルで、FraudGPT と名付けたサイバー犯罪生成 AI ツールを宣伝している。7月25日 (火) に発表されたレポートの中で、Netenrich の Security Researcher である Rakesh Krishnan は、「これは AI ボットであり、スピアフィッシング・メールの作成／クラッキングツールの作成／カーディングなどの攻撃に特化したものだ」と述べている。Netenrich によると、このサービスは遅くとも 2023年7月22日以降において、月額 $200 (半年 $1,000／1年 $1,700) で提供されているという。

ChatGPT のアカウント 10万件がダークウェブで販売されている：侵害されると何が起こる？

Over 100,000 ChatGPT Accounts Found in Dark Web Marketplaces

2023/06/20 InfoSecurity — OpenAI の LLM (Large Language Models) である ChatGPT の、10万件以上の侵害されたアカウントが、ダークウェブ・マーケットプレイスで発見された。それを発見した、シンガポール拠点のサイバー・セキュリティ企業 Group-IB が、6月20日のブログ記事で説明している。Group-IB の Head of Threat Intelligence である Dmitry Shestakov は、「多くの企業が、ChatGPT を業務フローに組み込んでいる。具体的なアクティビティとしては、従業員による機密通信の入力や、ボットを用いたコードを最適化などが挙げられる」とコメントしている。

ChatGPT が推奨する OSS パッケージは安全なのか？ LLM に悪意を埋め込む PoC が公開

New ChatGPT Attack Technique Spreads Malicious Packages

2023/06/06 InfoSecurity — OpenAI の LLM である ChatGPT を悪用し、開発者たちの環境に悪意のパッケージを拡散させるという、新たなサイバー攻撃手法が登場した。Vulcan Cyber の Voyager18 research team は、先ほど発表したアドバイザリで、この問題について述べている。同社の研究者である Bar Lanyado と、コントリビュータである Ortal Keizman と Yair Divinsky は、「実際には存在しない URL やリファレンスを、さらにはコード・ライブラリや関数を、ChatGPT が生成することが確認されている。このような LLM (Large Language Model) モデルがもたらす幻覚は以前にも報告されていたが、古い学習データの結果として生じている可能性もある」と、技術文書で説明している。

ChatGPT に関連する悪意の URL：不正占拠ドメインが 17,818% 増加

2023/04/20 InfoSecurity — ChatGPT に関連する、新規登録ドメインとスクワッティング・ドメインの数が、2022年11月〜2023年4月初旬の間に、910%／月のペースで増加したとのことだ。この調査結果は、今日の未明に Palo Alto Networks の Unit 42 が共有したものだが、同じ期間において、DNS Security のログを見ると、ChatGPT に関連する不正占拠ドメインが 17,818% 増加したことにも言及している。

Facebook 上の ChatGPT／Google Bard 偽広告：RedLine スティラーを配布している

Attackers Hide RedLine Stealer Behind ChatGPT, Google Bard Facebook Ads

2023/04/12 DarkReading — サイバー犯罪者たちは、Facebook のビジネスページやコミュニティページを乗っ取り、ChatGPT や Google Bard などの正規のスポンサーを装い、AI チャットボットの無料ダウンロードを宣伝する広告を展開している。それらの広告に誘導されたユーザーは、AI チャットボットではなく、RedLine Stealer と呼ばれる有名な情報スティーラー・マルウェアをダウンロードしていることが、研究者たちの調査により判明した。RedLine Stealer とは、オンライン・ハッカー・フォーラムを通じて販売されている Malware-as-a-Service (MaaS) プラットフォームだ。Web ブラウザを標的にして、認証情報や支払いカードの詳細などの、様々なユーザー情報を収集する。さらに、次の攻撃にむけて攻撃対象領域を評価するために、システムのインベントリを取得する。

サイバー攻撃に悪用される ChatGPT：防御側も LLM を活用すべき

Bad Actors Will Use Large Language Models — but Defenders Can, Too

2023/04/07 DarkReading — 各種の AI がヘッドラインを席巻しているが、その中でも ChatGPT は最新のトピックであり、その斬新さに誰もが心を奪われている。しかし、 LLM (Large Language Models) が兵器化される方法などについては、誰も触れていない。インターネットは信じられないほど巨大で複雑になり、数多くの機密情報が露呈されるようになった。10年前には１つの Web サイトしか持たなかった企業が、今日では数十の Web サイトを持ち、未知の資産や子会社を抱えている。それらを悪用する攻撃者が、ネットワーク／システムへの侵入や知的財産の流出を活性化している。

ChatGPT／GPT-4 を止めろ：Musk／Wozniak などの著名人グループが申し立て

Musk, Scientists Call for Halt to AI Race Sparked by ChatGPT

2023/03/29 SecurityWeek — いつかは人間を凌駕するかもしれない、パワフルなな人工知能技術の展開において、テック企業の動きは速すぎるのだろうか。著名なコンピューター科学者や、Elon Musk、Apple の創業者 Steve Wozniak といったテック業界の著名人たちのグループは、リスクを考慮するために、６ヶ月間の一時停止を要求している。この申立は、サンフランシスコのスタートアップ OpenAI が、先日に発表した GPT-4 に対するものだ。広く使われている AI チャットボット ChatGPT を、さらに進化させた GPT-4 は、ビッグテックである Microsoft と Google のアプリケーション開発競争に火をつけるきっかけにもなっている。

ChatGPT に企業データを投げ込むという行為：潜在的なリスクについて考えよう

The risk of pasting confidential company data into ChatGPT

2023/03/13 SecurityAffairs — Cyberhaven Labs の研究者たちが、各企業で働く 160万人の従業員による ChatGPT の利用状況を分析した。その結果として、発売以来人気のチャットボット・モデルを、彼らの 5.6％が職場で使用し、4.9％が企業データを提供していることが判明した。この種のデータを用いて、ChatGPT のナレッジベースは構築され、さらに、構築された情報は一般に公開されていく。

ChatGPT の偽アプリ／偽ドメインに御用心：Windows／Android マルウェアが配信されている

Hackers use fake ChatGPT apps to push Windows, Android malware

2023/02/22 BleepingComputer — OpenAI のチャットボット ChatGPT の人気を利用して、Windows／Android 向けのマルウェア配布や、無防備な人々をフィッシング・ページへと誘導する、驚異アクターの活動が検知されている。2022年11月にリリースされた ChatGPT は絶大な人気を博し、2023年1月の時点で１億人以上のユーザーを持つという、最も急成長したコンシューマー向けアプリケーションである。この人気と急成長が要因となり、OpenAI はツールの使用を制限せざるを得ない状況になった。つなり、利用制限なしでチャットボットを使用する個人向けに、月額 $20 の有料サービス (ChatGPT Plus) を立ち上げることになった。

ChatGPT とセキュリティの関係：ポジティブ？ネガティブ？判断は時期尚早？

ChatGPT Subs In as Security Analyst, Hallucinates Only Occasionally

2023/02/16 DarkReading — 今週に発表された調査結果によると、人気の Large Language Model (LLM) である ChatGPT は、その AI モデルが特定のアクティビティのために訓練されていなくても、潜在的なセキュリティ・インシデントのトリアージや、コード内のセキュリティ脆弱性を見つける防御者にとって、有益であると示唆される。

Microsoft の AI Chat：Bing と Edge を強化する OpenAI 言語モデルとは？

Microsoft launches new AI chat-powered Bing and Edge browser

2023/02/07 BleepingComputer — 火曜日に Microsoft は、ChatGPT よりもパワフルであり、Web 検索用に訓練された次世代 OpenAI 言語モデルを搭載する、Bing 検索エンジンの新バージョンを発表した。Microsoft の CEO である Satya Nadella は、「AI は、すべてのソフトウェア・カテゴリを根本的に変革するが、その中でも最たるカテゴリは検索であり、そこから始まる。今日、私たちは、AI 操作とチャットを搭載した Bing と Edge を発表し、人々が検索と Web から、より多くのものが得られる」と、今日のプレスイベントで述べている。

OpenAI がリリースした AI Text Classifier：書いたのは ChatGPT なのか？人間なのか？

OpenAI releases tool to detect AI-written text

2023/01/31 BleepingComputer — OpenAI が新たに公開したのは、ChatGPT のような人工知能ツールが生成したコンテンツを検出するための、AI Text Classifier である。OpenAI のブログポストには、「この AI Text Classifier は、テキストの各パートが、ChatGPT のような AI により生成された可能性を予測する、微調整された GPT モデル」と記されている。

ChatGPT でセキュリティを強化：2023年を変えていく３つの視点とは？

3 Ways ChatGPT Will Change Infosec in 2023

2023/01/28 DarkReading — 2022年11月30日に OpenAI が、ChatGPT をテスト用に公開した直後から、世界中に嵐を巻き起こった。AI や ML の「革新」に満足できなかった業界にとって、この反応は非常に重要なものだった。情報セキュリティにとって AI が、まさに革命的なものであることが、ようやく明らかになった瞬間だと、私は捉えているが、その可能性に期待してきた多くの人々も同様だと思う。

ChatGPT がもたらす変化：Social エンジニアリングから Prompt エンジニアリングへ

Malicious Prompt Engineering With ChatGPT

2023/01/25 SecurityWeek — 2022年末に、誰もが OpenAI の ChatGPT を利用できるようになったことで、AI の可能性が良くも悪くも実証された。ChatGPT は、大規模な AI ベースの自然言語生成器であり、LLM (Large Language Model) と呼ばれるものである。そして、プロンプト・エンジニアリングという概念を、一般に知らしめたものでもある。ChatGPT は、2022年11月に OpenAI がリリースしたチャットボットであり、OpenAI の LLM である GPT-3 ファミリーの上に構築されている。

ChatGPT が明らかにした問題点： AI を騙して悪用するのは簡単だ

Learning to Lie: AI Tools Adept at Creating Disinformation

2023/01/24 SecurityWeek — 人工知能は小説を書き、ゴッホにインスパイアされた画像を作り、山火事の消火活動を支援するにまでいたった。そして今、人工知能は、かつて人間に限られていた活動において、つまりプロパガンダや偽情報の作成において競争を始めた。オンライン AI チャットボット ChatGPT に、広く否定されている主張 (たとえば COVID-19 ワクチンは危険だという主張) を支持する、ブログ記事／ニュース記事／エッセイを作成するよう、研究者たちは依頼してみた。すると、このサイトは応じることがあり、オンライン・コンテンツのモデレーターを長年にわたり悩ませてきた、同様の主張と見分けがつかないほどの出来栄えで、それらを作文したという。

ChatGPT でマルウェア開発：継続的な変異により捕捉／検出が困難になる

ChatGPT Creates Polymorphic Malware

2023/01/18 InfoSecurity — CyberArk のサイバー・セキュリティ研究者が、OpenAI の ChatGPT とテキストベースの対話を行い、新たな多形態マルウェア (Polymorphic Malware) を作成したと報告している。先日に同社が InfoSecurity と共有した技術文書によると、ChatGPT を用いて作成されたマルウェアは、「攻撃者による努力や投資を大幅に抑制した上で、簡単にセキュリティ製品を回避し、緩和を面倒なものにする」ことが可能だという。