New Reports Uncover Jailbreaks, Unsafe Code, and Data Theft Risks in Leading AI Systems
2025/04/29 TheHackerNews — さまざまな GenAI サービスが抱える、２種類のジェイルブレイク攻撃に対して脆弱な特性により、違法／危険なコンテンツの生成を可能になることが判明した。この２つの手法のうちの１つ目は、”Inception” というコードネームで呼ばれ、AI ツールに架空のシナリオを想像させるように指示するものだ。このシナリオは、安全ガードレールが存在しない１つのシナリオで指示され、それが２つ目のシナリオに適応されるものだ。
Continue reading “Gen AI とジェイルブレイク：各種の AI ツールに存在するリスクと影響について – CERT/CC”Cisco Finds DeepSeek R1 Highly Vulnerable to Harmful Prompts
2025/02/03 HackRead — 中国のスタートアップ DeepSeek は、高度な推論機能とコスト効率の高いトレーニングを備えた、大規模言語モデル (LLM) の導入による注目を集めている。最近にリリースされた DeepSeek R1-Zero／DeepSeek R1 は、OpenAI o1 などの主要モデルに匹敵するパフォーマンスを、わずかなコストで実現している。 そして、数学／コーディング／科学的推論などのタスクにおいて、Claude 3.5 Sonnet や ChatGPT-4o を上回っている。
Continue reading “Cisco による DeepSeek R1 調査：ジェイルブレイクに関する大きな懸念とは？”New Jailbreaks Allow Users to Manipulate GitHub Copilot
2025/01/31 DarkReading — GitHub の AI コーディング・アシスタント Copilot を操作する、２つの新たな手法を研究者たちが発見した。この方式を用いれば、セキュリティ制限やサブスクリプション料金の回避や、悪意のモデルのトレーニングなどが可能になる。
Continue reading “GitHub Copilot で発見されたジェイルブレイクの手法：悪意のモデルのトレーニングなどが可能に？”
