LLM – IoT OT Security News

増加し続ける悪質なボット：全インターネット・トラフィックの約半数に到達 – Imperva

Bots dominate internet activity, account for nearly half of all traffic

2024/04/18 HelpNetSecurity — 2023 年の全インターネット・トラフィックの、49.6％はボットによるものであり、前年比で２％増加しているという。Thales の子会社である Imperva が 2013年に自動トラフィック監視を開始して以来、この数字は最も高い水準となった。悪質なボットが生み出す Web トラフィックの割合は、５年連続で増加し続けており、2022年の 30.2％から 2023年の 32％へと増加し、人間であるユーザーからのトラフィックは 50.4% に減少した。Web サイト／API／アプリケーションなどへの、自動化されたトラフィックが引き起こす攻撃により、年間で数十億ドル (USD) 相当の損害が、ユーザー組織に発生している。

Google Magika がオープンソース化：AI でファイルの安全性を識別

Google Open Sources Magika: AI-Powered File Identification Tool

2024/02/17 TheHackerNews — Google は、人工知能 (AI) を搭載したファイル識別ツールである Magika をオープンソース化することを発表した。同社は、「Magika は、従来のファイル識別方法を凌駕するものであり、VBA／JavaScript／Powershell などの、従来は識別が困難であったが潜在的に問題のあるコンテンツに対して、全体として 30％の精度向上と、最大で 95％の高精度を提供する」と述べている。

GitHub の AI 拡張：３つの機能のパブリック・プレビューを発表

GitHub Enhances Security Capabilities With AI

2023/11/08 SecurityWeek —

今日、Microsoft 傘下の GitHub が、GitHub Advanced Security の AI を活用しする、３つの機能のパブリック・プレビューを発表した。GitHub Enterprise Cloud および Enterprise Server の顧客向けに提供される Advanced Security により、コードの品質を維持／向上するための一連の機能が提供される。Dependabot などの機能の一部は、公開リポジトリでも利用できる。

UK AI Safety Institute が設立： AI の未来への青写真とは？

UK AI Safety Institute: A Blueprint for the Future of AI?

2023/11/03 InfoSecurity — 英国の Frontier AI Taskforce は、2023年4月にファウンデーション・モデル・タスクフォースとして発足した政府出資のイニシアチブである。しかし同機関は、英国 AI Safety Institute へと進化しつつある。Rishi Sunak 英国首相は、2023年11月2日に英国ブレッチリー・パークで開催された AI Safety Summit の閉会スピーチで、同研究所の設立を発表した。この新組織における英国政府の目的は、新たなタイプのAI の安全性テストを任務とする世界的なハブにすることだと、Sunak 首相は述べている。

AI Safety Summit：OWASP が各国政府に対して AI セキュリティ基準の採用を要求

AI Safety Summit: OWASP Urges Governments to Agree on AI Security Standards

2023/11/02 InfoSecurity — OWASP (Open Worldwide Application Security Project) によると、AI の急速な普及がもたらす危険を軽減するためには、AI を搭載するツールがもたらすセキュリティと倫理的リスクに関する、トップレベルの議論だけでは、もはや不十分だという。2023年11月1日～2日にイギリスのブレッチリー・パークで開催された AI Safety Summit に先立ち、この非営利団体はサミット参加者に対して、実用的な AI セキュリティ標準に合意し採用することを、迅速に推進すべきという行動喚起を促している。

FraudGPT という悪意の生成 AI ツール：月額 $200 で ChatGPT の代替品

New AI Tool ‘FraudGPT’ Emerges, Tailored for Sophisticated Attacks

2023/07/26 TheHackerNews — WormGPT の足跡をたどる脅威アクターたちは、さまざまなダークウェブ・マーケットプレイスや Telegram チャンネルで、FraudGPT と名付けたサイバー犯罪生成 AI ツールを宣伝している。7月25日 (火) に発表されたレポートの中で、Netenrich の Security Researcher である Rakesh Krishnan は、「これは AI ボットであり、スピアフィッシング・メールの作成／クラッキングツールの作成／カーディングなどの攻撃に特化したものだ」と述べている。Netenrich によると、このサービスは遅くとも 2023年7月22日以降において、月額 $200 (半年 $1,000／1年 $1,700) で提供されているという。

AI を悪用する６つの攻撃パターン：Google による分類と解説とは？

Google Categorizes 6 Real-World AI Attacks to Prepare for Now

2023/07/21 DarkReading — Google の研究者たちは、現実の AI システムに対して起こり得る６つの攻撃スタイルを特定し、それらの一般的な攻撃ベクターが独特の複雑性を示すことを発見した。今週に発表した報告書の中で、Google の AI 専門レッドチームは、この急成長するテクノロジーに対する各種の脅威を、すでに発見していることを明らかにした。その内容は、ChatGPT や Google Bard などの、生成 AI 製品を駆動する LLM (large language models) を、攻撃者が悪用する方法が主体となっている。

AI と Open Source の関係：半数以上のプロジェクトで脆弱なパッケージが使用されている

Half of AI Open Source Projects Reference Buggy Packages

2023/07/20 InfoSecurity — AI テクノロジー・スタック全体で、オープンソースが役割を拡大しているが、大半のプロジェクト (52％) ではマニフェスト・ファイルを用いて、既知の脆弱な依存関係が参照されていると、Endor Labs は指摘している。セキュリティ・ベンダーである Endor Labs の最新レポート State of Dependency Management によると、ChatGPT の API はリリースから僅か５ヶ月で、”多様な問題領域”にまたがる 900件の npm／PyPI パッケージで使用されており、これらのパッケージの 70% は真新しいものだという。しかし、あらゆるオープンソース・プロジェクトと同様に、脆弱な依存関係に伴うセキュリティ・リスクは管理される必要があると、Endor Labs は警告している。

ChatGPT のアカウント 10万件がダークウェブで販売されている：侵害されると何が起こる？

Over 100,000 ChatGPT Accounts Found in Dark Web Marketplaces

2023/06/20 InfoSecurity — OpenAI の LLM (Large Language Models) である ChatGPT の、10万件以上の侵害されたアカウントが、ダークウェブ・マーケットプレイスで発見された。それを発見した、シンガポール拠点のサイバー・セキュリティ企業 Group-IB が、6月20日のブログ記事で説明している。Group-IB の Head of Threat Intelligence である Dmitry Shestakov は、「多くの企業が、ChatGPT を業務フローに組み込んでいる。具体的なアクティビティとしては、従業員による機密通信の入力や、ボットを用いたコードを最適化などが挙げられる」とコメントしている。

ChatGPT が推奨する OSS パッケージは安全なのか？ LLM に悪意を埋め込む PoC が公開

New ChatGPT Attack Technique Spreads Malicious Packages

2023/06/06 InfoSecurity — OpenAI の LLM である ChatGPT を悪用し、開発者たちの環境に悪意のパッケージを拡散させるという、新たなサイバー攻撃手法が登場した。Vulcan Cyber の Voyager18 research team は、先ほど発表したアドバイザリで、この問題について述べている。同社の研究者である Bar Lanyado と、コントリビュータである Ortal Keizman と Yair Divinsky は、「実際には存在しない URL やリファレンスを、さらにはコード・ライブラリや関数を、ChatGPT が生成することが確認されている。このような LLM (Large Language Model) モデルがもたらす幻覚は以前にも報告されていたが、古い学習データの結果として生じている可能性もある」と、技術文書で説明している。

フィッシングの 2022年を総括：AI ツールにより高度化／急増しているキャンペーン – Zscaler

AI tools help attackers develop sophisticated phishing campaigns

2023/04/25 HelpNetSecurity — Zscaler のレポートによると、フィッシング詐欺の手法が洗練され、検知やブロックが困難になっていることで、サイバー犯罪の脅威が増大しているとのことだ。このレポートでは、現代のフィッシング攻撃の大半が、盗まれた認証情報に依存していることも明らかにされている。さらに、最近トレンドとして、中間者攻撃 (AitM) や、InterPlanetary File System (IPFS) の利用増加、ブラックマーケットから調達したフィッシング・キット、ChatGPT などの AI ツールへの依存についても概説している。

VirusTotal の新機能 Code Insight：AI を活用してマルウェアを解析する

VirusTotal now has an AI-powered malware analysis feature

2023/04/24 BleepingComputer — 4月24日 (月) に VirusTotal は、Code Insight と命名された AI ベースの新しいコード解析機能の提供について発表した。この新機能は、RSA Conference 2023 で紹介された Google Cloud Security AI Workbench を搭載しており、特にセキュリティのユースケース向けに細かく調整された Sec-PaLM LLM (Large Language Model) を使用している。VirusTotal Code Insight は、潜在的に有害なファイルを解析して、その悪意の挙動を説明し、実際の脅威をもたらすものを特定する能力を向上させるという。

サイバー攻撃に悪用される ChatGPT：防御側も LLM を活用すべき

Bad Actors Will Use Large Language Models — but Defenders Can, Too

2023/04/07 DarkReading — 各種の AI がヘッドラインを席巻しているが、その中でも ChatGPT は最新のトピックであり、その斬新さに誰もが心を奪われている。しかし、 LLM (Large Language Models) が兵器化される方法などについては、誰も触れていない。インターネットは信じられないほど巨大で複雑になり、数多くの機密情報が露呈されるようになった。10年前には１つの Web サイトしか持たなかった企業が、今日では数十の Web サイトを持ち、未知の資産や子会社を抱えている。それらを悪用する攻撃者が、ネットワーク／システムへの侵入や知的財産の流出を活性化している。

ChatGPT に対するユーロポールの評価：近い将来に起こり得る問題の可能性

Europol details ChatGPT’s potential for criminal abuse

2023/03/28 HelpNetSecurity — ChatGPT に対する社会の関心が高まる中、この問題に真剣に取り組んでいる Europol Innovation Lab は、さまざまな部門の専門家が参加する、一連のワークショップを実施した。これらのワークショップは、ChatGPT のような LLM (Large Language Models) が犯罪者に悪用される可能性や、捜査官の日常業務を支援する可能性の、調査を目的としている。

Brave Search が Summarizer を搭載：検索結果を AI で処理／表示するサービスを開始

Brave Search launches AI-powered summarizer in search results

2023/03/03 BleepingComputer — ユーザーが入力した質問に対して、要約された回答を検索結果よりも優先して提供する、新しい AI 搭載のツール Summarizer が、Brave Search に導入された。Brave Search は、ユーザーを追跡することなく匿名で Web 検索ができる、急成長中のプライバシー重視のインターネット検索エンジンである。いま、検索機能に AI 革命が起こっている。すでに Microsoft は、ChatGPT のアップグレード版を Bing 検索エンジンに組み込み、近い将来には Google も、Bard という独自の AI モデルで同様の機能を実装する予定だという。

ChatGPT とセキュリティの関係：ポジティブ？ネガティブ？判断は時期尚早？

ChatGPT Subs In as Security Analyst, Hallucinates Only Occasionally

2023/02/16 DarkReading — 今週に発表された調査結果によると、人気の Large Language Model (LLM) である ChatGPT は、その AI モデルが特定のアクティビティのために訓練されていなくても、潜在的なセキュリティ・インシデントのトリアージや、コード内のセキュリティ脆弱性を見つける防御者にとって、有益であると示唆される。

GitHub CoPilot への評価：AI モデルのトレーニングに開発者を利用して良いのか？

GitHub Copilot update stops AI model from revealing secrets

2023/02/15 BleepingComputer — GitHub の発表は、Visual Studio 上でソースコードや関数のレコメンドをリアルタイムに生成する、プログラミング・アシスタント Copilot の AI モデルを更新し、より安全で強力になったというものだ。今週からユーザーに展開される新しい AI モデルは、より質の高い提案を短時間で提供し、受け入れ率を高めることで、ソフトウェア開発者の効率をさらに向上させるという。

ChatGPT がもたらす変化：Social エンジニアリングから Prompt エンジニアリングへ

Malicious Prompt Engineering With ChatGPT

2023/01/25 SecurityWeek — 2022年末に、誰もが OpenAI の ChatGPT を利用できるようになったことで、AI の可能性が良くも悪くも実証された。ChatGPT は、大規模な AI ベースの自然言語生成器であり、LLM (Large Language Model) と呼ばれるものである。そして、プロンプト・エンジニアリングという概念を、一般に知らしめたものでもある。ChatGPT は、2022年11月に OpenAI がリリースしたチャットボットであり、OpenAI の LLM である GPT-3 ファミリーの上に構築されている。

ChatGPT が明らかにした問題点： AI を騙して悪用するのは簡単だ

Learning to Lie: AI Tools Adept at Creating Disinformation

2023/01/24 SecurityWeek — 人工知能は小説を書き、ゴッホにインスパイアされた画像を作り、山火事の消火活動を支援するにまでいたった。そして今、人工知能は、かつて人間に限られていた活動において、つまりプロパガンダや偽情報の作成において競争を始めた。オンライン AI チャットボット ChatGPT に、広く否定されている主張 (たとえば COVID-19 ワクチンは危険だという主張) を支持する、ブログ記事／ニュース記事／エッセイを作成するよう、研究者たちは依頼してみた。すると、このサイトは応じることがあり、オンライン・コンテンツのモデレーターを長年にわたり悩ませてきた、同様の主張と見分けがつかないほどの出来栄えで、それらを作文したという。