DeepSeek R1 とジェイルブレイク：マルウェア生成の能力を試してみた – Tenable 調査

AI Chatbot DeepSeek R1 Can Be Manipulated to Create Malware

2025/03/14 HackRead — オープンソースの AI チャットボットである DeepSeek R1 は、キーロガーやランサムウェアなどの悪意のソフトウェアを、その操作に応じて生成し得ることが、サイバーセキュリティ企業 Tenable Research の新たな分析により明らかになった。Tenable Research の調査は、DeepSeek における有害なコードの生成能力の評価を目的として行われたものであり、２種類の主要なマルウェア・タイプに焦点を当てるものとなっている。具体的には、秘密裏にキー・ストロークを記録するキーロガーと、ファイルを暗号化して身代金を要求するランサムウェアである。

”そのままの状態” の DeepSeek R1 は、完全なマルウェアの生成は不可能だ。完全なキーロガーを作成するためには、適切な指示に加えて、手動でのコード修正が必要となる。しかし、今回の調査結果が示すのは、サイバー犯罪者たちの参入障壁を、生成 AI が引き下げる能力を持っている点である。

調査が開始された段階では、他の LLM (large language models) と同様に DeepSeek も、ビルトインされた倫理ガイドラインに従い、マルウェア作成のリクエストを拒否していた。しかし、Tenable の研究者は、ジェイルブレイク技術を用いてリクエストを “教育目的” として偽装することで、この制限を回避することに成功した。

研究者たちが利用したのは、DeepSeek の機能の重要な部分である、CoT (chain-of-thought) である。この機能により、AI に推論プロセスを段階的に説明させられる。まるで人間が問題を解く際に、声に出して考えているかのように、振る舞わせる機能である。研究者たちは、DeepSeek の CoT を分析することで、AI がマルウェア開発に取り組む方式を理解した。さらに、検出を回避するためのステルス技術の必要性を、AI が認識していることも確認した。

DeepSeek によるキーロガーの構築

研究者たちが、 DeepSeek にキーロガーの作成を指示したところ、始めに計画が立てられ、その後に C++ コードを生成したという。その初期コードには欠陥があり、AI 自身では修正できない、いくつかのエラーが含まれていた。しかし、研究者が手動でコード修正を加えたところ、キーロガーは正常に動作するようになり、キー・ストロークをファイルに記録できるようになった。

さらに、研究者たちは DeepSeek に対して、ログファイルを隠して内容を暗号化することで、マルウェアを強化するよう促した。すると、DeepSeek は対応するコードを提供したが、やはり若干の手動での修正が必要だったという。

DeepSeek によるランサムウェアの構築

ランサムウェア作成の実験も、同様のパターンで進められた。DeepSeek はファイルを暗号化するマルウェアの作成戦略を立案し、その機能を実行するための複数のコードサンプルを生成した。しかし、これらの初期バージョンは、いずれも手動での編集なしではコンパイルできなかった。

しかし、Tenable チームが修正を加えたところ、一部のランサムウェアのサンプルは動作するようになった。これらのサンプルには、ファイルの検索と暗号化や、システム起動時にマルウェアを自動実行させる仕組みに加えて、被害者に暗号化を通知するポップアップ・メッセージの表示機能まで含まれていた。

複雑化する悪意のタスクに苦戦した DeepSeek

Tenable の実験により、DeepSeek はマルウェアの基本的な構成要素を生成する能力があることが実証されたが、それと同時に、“悪意のツールをワンクリックで作成できる” ような、サイバー犯罪者にとっての万能ツールではないことも示された。効果的なマルウェアを作成するにためには、AI を適切に誘導し、生成されたコードをデバッグするための、技術的な知識が依然として必要なことも分かった。たとえば、今回の調査において DeepSeek は、マルウェアのプロセスをシステムのタスク・マネージャーから不可視にするような、より高度なタスクには苦戦した。

しかし、そういった制限があるにしても、DeepSeek のようなツールへのアクセスが、マルウェア開発の加速につながる可能性があると、Tenable の研究者たちは考えている。DeepSeek は、コードのサンプルを提供し、必要な手順を示すため、大きなアドバンテージをもたらす。特に、プログラミングの経験が浅い攻撃者が、サイバー犯罪に関与しようとする際に役立つと思われる。

Tenable が Hackread.com に事前に共有した技術レポートには、「DeepSeek は、マルウェアの基本的な構造を作成できる。しかし、より高度な機能を実装するには、追加のプロンプト・エンジニアリングや、手動でのコード編集が必要となる」と記されている。また、DeepSeek は、マルウェアの存在をシステム監視ツールから完全に隠すといった、より複雑なタスクには苦戦した。

最近の動向について、サイバーセキュリティ企業 Bugcrowd の CISO である Trey Ford は、以下のようにコメントしている：

Trey Ford — AI は、善良なユーザーと攻撃者の双方にとって有用なものだ。しかし、セキュリティ対策として重点を置くべき方向性は、EDR (Endpoint Detection and Response) ソリューションに全ての防御を期待するのではなく、エンドポイントを強化することで、サイバー攻撃のコストを引き上げることにある。

サイバー攻撃者は犯罪者であり、利用が可能なものであれば、いかなるツールや技術であっても悪用するだろう。GenAI を活用するツールやテクノロジーの開発が、新しい世代の開発者を生み出していく。それは、善意の目的にも、悪意の目的にも、同様に適用されるものである。

念のため言っておくと、EDR の目的は Detection (エンドポイントの検出) と Response (対応) であり、すべての攻撃を阻止するものではない。我々ができることは、エンドポイントの防御を強化し、攻撃キャンペーンのコストを引き上げることだ。具体的に言うと、CIS ベンチマークの Level-1 または Level-2 に準拠するよう、エンドポイントを強化していく必要がある — Trey Ford

AI も人間と同じで、要件が多くなると混乱するという、なかなか興味深い調査の結果ですね。DeepSeek は C++ コードを生成するようですが、そのようなハードルを自分で設定するのでしょうか。Rust でと指示したら、もっと精度の高いコードが出てきそうな感じがします。それに加えてステルス性ですが、LOLBin でヨロシクとか頼んだら、どのようなものを出力するのでしょうか？なんというか、面白がっている場合ではありませんね。よろしければ、DeepSeek で検索も、ご利用ください。