New Reports Uncover Jailbreaks, Unsafe Code, and Data Theft Risks in Leading AI Systems
2025/04/29 TheHackerNews — さまざまな GenAI サービスが抱える、２種類のジェイルブレイク攻撃に対して脆弱な特性により、違法／危険なコンテンツの生成を可能になることが判明した。この２つの手法のうちの１つ目は、”Inception” というコードネームで呼ばれ、AI ツールに架空のシナリオを想像させるように指示するものだ。このシナリオは、安全ガードレールが存在しない１つのシナリオで指示され、それが２つ目のシナリオに適応されるものだ。
Continue reading “Gen AI とジェイルブレイク：各種の AI ツールに存在するリスクと影響について – CERT/CC”Symantec Demonstrates OpenAI’s Operator Agent in PoC Phishing Attack
2025/03/14 hackread — 最近になって OpenAI がリリースした “Operator” などの AI エージェントが、サイバー攻撃に悪用される可能性があることを、Symantec の脅威ハンターたちが実証した。それらの AI エージェントは、定型的なタスクを自動化して生産性を高めるように設計されているが、Symantec の調査によると、人間の入力を最小限に抑えることで、複雑な攻撃シーケンスの実行も可能にすることが示されている。
Continue reading “OpenAI の Operator に悪意を植え付ける：Symantec が Phishing PoC で実証したものは？”AI Chatbot DeepSeek R1 Can Be Manipulated to Create Malware
2025/03/14 HackRead — オープンソースの AI チャットボットである DeepSeek R1 は、キーロガーやランサムウェアなどの悪意のソフトウェアを、その操作に応じて生成し得ることが、サイバーセキュリティ企業 Tenable Research の新たな分析により明らかになった。Tenable Research の調査は、DeepSeek における有害なコードの生成能力の評価を目的として行われたものであり、２種類の主要なマルウェア・タイプに焦点を当てるものとなっている。具体的には、秘密裏にキー・ストロークを記録するキーロガーと、ファイルを暗号化して身代金を要求するランサムウェアである。
Continue reading “DeepSeek R1 とジェイルブレイク：マルウェア生成の能力を試してみた – Tenable 調査”Researchers Jailbreak 17 Popular LLM Models to Reveal Sensitive Data
2025/03/07 gbhackers — Palo Alto Networks の Threat Research Center が発表した最新調査によると、研究者たちは 17 種類の GenAI 製品のジェイルブレイクに成功し、安全対策における脆弱性の存在が明らかになったという。この調査の目的は、有害／機密コンテンツの生成を防ぐように設計された、LLM のガードレールを回避する、ジェイルブレイク手法の有効性を評価することにあった。
Continue reading “LLM Model 17 種類を調査：すべてのサービスでジェイルブレイクに成功”
IoT OT Security News 