ChatGPT が推奨する OSS パッケージは安全なのか? LLM に悪意を埋め込む PoC が公開

New ChatGPT Attack Technique Spreads Malicious Packages

2023/06/06 InfoSecurity — OpenAI の LLM である ChatGPT を悪用し、開発者たちの環境に悪意のパッケージを拡散させるという、新たなサイバー攻撃手法が登場した。Vulcan Cyber の Voyager18 research team は、先ほど発表したアドバイザリで、この問題について述べている。同社の研究者である Bar Lanyado と、コントリビュータである Ortal Keizman と Yair Divinsky は、「実際には存在しない URL やリファレンスを、さらにはコード・ライブラリや関数を、ChatGPT が生成することが確認されている。このような LLM (Large Language Model) モデルがもたらす幻覚は以前にも報告されていたが、古い学習データの結果として生じている可能性もある」と、技術文書で説明している。

Continue reading “ChatGPT が推奨する OSS パッケージは安全なのか? LLM に悪意を埋め込む PoC が公開”

ChatGPT とセキュリティの関係:ポジティブ? ネガティブ? 判断は時期尚早?

ChatGPT Subs In as Security Analyst, Hallucinates Only Occasionally

2023/02/16 DarkReading — 今週に発表された調査結果によると、人気の Large Language Model (LLM) である ChatGPT は、その AI モデルが特定のアクティビティのために訓練されていなくても、潜在的なセキュリティ・インシデントのトリアージや、コード内のセキュリティ脆弱性を見つける防御者にとって、有益であると示唆される。

Continue reading “ChatGPT とセキュリティの関係:ポジティブ? ネガティブ? 判断は時期尚早?”

ChatGPT がもたらす変化:Social エンジニアリング から Prompt エンジニアリングへ

Malicious Prompt Engineering With ChatGPT

2023/01/25 SecurityWeek — 2022年末に、誰もが OpenAI の ChatGPT を利用できるようになったことで、AI の可能性が良くも悪くも実証された。ChatGPT は、大規模な AI ベースの自然言語生成器であり、LLM (Large Language Model) と呼ばれるものである。そして、プロンプト・エンジニアリングという概念を、一般に知らしめたものでもある。ChatGPT は、2022年11月に OpenAI がリリースしたチャットボットであり、OpenAI の LLM である GPT-3 ファミリーの上に構築されている。

Continue reading “ChatGPT がもたらす変化:Social エンジニアリング から Prompt エンジニアリングへ”

ChatGPT が明らかにした問題点: AI を騙して悪用するのは簡単だ

Learning to Lie: AI Tools Adept at Creating Disinformation

2023/01/24 SecurityWeek — 人工知能は小説を書き、ゴッホにインスパイアされた画像を作り、山火事の消火活動を支援するにまでいたった。そして今、人工知能は、かつて人間に限られていた活動において、つまりプロパガンダや偽情報の作成において競争を始めた。オンライン AI チャットボット ChatGPT に、広く否定されている主張 (たとえば COVID-19 ワクチンは危険だという主張) を支持する、ブログ記事/ニュース記事/エッセイを作成するよう、研究者たちは依頼してみた。すると、このサイトは応じることがあり、オンライン・コンテンツのモデレーターを長年にわたり悩ませてきた、同様の主張と見分けがつかないほどの出来栄えで、それらを作文したという。

Continue reading “ChatGPT が明らかにした問題点: AI を騙して悪用するのは簡単だ”