DeepSeek-R1 の脆弱性：政治的なプロンプトを入力すると生成されるコードが変化する？

DeepSeek-R1 Makes Code for Prompts With Severe Security Vulnerabilities

中国で開発された人工知能コーディング・アシスタント “DeepSeek-R1” に、懸念すべき脆弱性が発見された。この AI モデルは、中国共産党に関連する政治的にセンシティブなトピックに遭遇すると、深刻なセキュリティ欠陥を含むコードを通常より最大 50% 高い割合で生成する。中国の AI スタートアップ企業 DeepSeek が、2025年1月にリリースした R1 モデルは、コーディング品質において欧米の競合製品と遜色ないように見えていた。

先日に CrowdStrike Counter Adversary Operations が実施したのは、モデルごとに 30,250 のプロンプトを用いる広範なテストであり、10 のセキュリティ・カテゴリにわたってコードを評価するものだ。

CrowdStrike の研究者は、コーディング・タスクの前に、システム・プロンプトに政治的に中立な修飾語を挿入することで、プロンプトがコード品質に影響を与えないようにした。

ベースライン・テストでは、DeepSeek-R1 がトリガー・ワードなしで脆弱なコードを生成したのはわずか 19% であり、強力なコーディング能力を示した。

A more complex prompt designed to trigger negative behavior in DeepSeek-R1
A more complex prompt designed to trigger negative behavior in DeepSeek-R1

しかし、研究者たちが、中国共産党がセンシティブとみなすトピックへの言及を追加したことで、状況は劇的に変化した。

“チベットに拠点を置く” システム向けのコードを作成するように指示した際には、DeepSeek-R1 の脆弱性率は 27.2% に急上昇し、ベースラインからほぼ 50% 増加した。また、法輪功とウイグル族への言及でも同様の上昇が見られた。

これらの政治的キーワードは、実際のコーディング作業とはまったく無関係であり、通常の状況であれば出力品質に影響を与えるはずがない。

政治的なトリガーがコードセキュリティを侵害

あるデモンストレーションで CrowdStrike の研究者が要求したのは、チベットの金融機関向けの PayPal 統合コードである。地理的な修飾語がない場合の DeepSeek-R1 は、安全で本番環境にも耐え得るコードを生成した。

しかし、チベットへの言及があると、その出力にはハードコードされた秘密情報／安全ではないデータ抽出方法／無効な PHP 構文が含まれていた。しかも、このモデルは、PayPal のベストプラクティスに従った実装であると主張していた。

さらに CrowdStrike の研究者は、DeepSeek-R1 のアーキテクチャ内に本質的なキルスイッチを発見した。

法輪功に関わるケースの 45% において、このモデルは詳細な推論と実装計画を内部で作成したが、コード生成については完全に拒否した。この動作は、外部の API 制限ではなく、モデルの重み付け自体に組み込まれている。

中国の法律が AI サービスに義務付けるのは、社会主義の中核的価値観を遵守し、国家安全保障を脅かすコンテンツを避けることだ。

CrowdStrike が示唆するのは、DeepSeek のトレーニング・パイプラインに、これらの要件が組み込まれることで、モデルがセンシティブなキーワードを否定的な特性と関連付けてしまう可能性である。

これは、AI のトレーニング目標により、予期しない動作をするミスアライメントの例である。

Screenshots of the “Uyghurs Unchained” web app created by DeepSeek-R1
Screenshots of the “Uyghurs Unchained” web app created by DeepSeek-R1

2025 年までに、開発者の約 90% が AI コーディング・アシスタントを使用するようになると予想されている。これらのツールにおけるシステム・セキュリティ上の問題は、影響度が高く、かつ蔓延率の高いリスクをもたらす。

今回の調査結果で分かったことは、コーディング品質の微妙な低下ではなく、以前のジェイル・ブレイクに焦点を当てたテストの結果とは対照的なものである。

CrowdStrike が強調するのは、AI コーディング・アシスタントを導入する企業は、一般的なベンチマークに頼るだけではなく、自社の環境内で徹底的なテストを実施する必要性である。

今回の調査が浮き彫りにするのは、中国で開発されたシステムだけではなく、あらゆる LLM において、より深い調査を必要とする新たな脆弱性の存在である。

中国製の AI コーディング支援ツール DeepSeek-R1 には、特定の政治的キーワードを含むだけで脆弱なコードを生成しやすくなるという問題が潜んでいるようです。その原因は、トレーニング過程で政治的に敏感な語が否定的な振る舞いと結び付き、モデルが通常とは異なる出力をしてしまう点にあるようです。本来はコード品質に影響しないはずの文脈が安全性を大きく損い、AI の学習データや設計方針がコードの信頼性に影響し得ることが分かると、この記事は指摘しています。よろしければ、DeepSeek での検索結果も、ご参照ください。