ライトウェイトLLM によるインシデント処理：ログ・データが複雑であっても迅速な対応が可能に！

Using lightweight LLMs to cut incident response times and reduce hallucinations

2025/08/21 HelpNetSecurity — メルボルン大学とインペリアル・カレッジ・ロンドンの研究者たちは、LLM を用いるインシデント対応計画の改善手法を、幻覚リスクの低減に焦点を当てながら開発した。この手法は、小規模で微調整された LLM を基盤とし、RAG (retrieval-augmented generation) と意思決定理論に基づく計画手法を、組み合わせるものである。

インシデント対応においては、従来から大部分が手作業に依存しており、対応には時間を要し、また、専門家が策定したプレイブックに強く依存する傾向がある。多くのユーザー組織では、完全な復旧までに数週間から数か月を要している。先進的な LLM を試用した事例もあるが、それらは高コストであり、外部 API への依存や誤った指示を生成する傾向が課題となっている。

論文の著者の一人である Kim Hammar によると、このシステムでは、既存システムの改造や追加のソフトウェアは必要とされず、現行ワークフローに容易に統合できるよう設計されている。ログ・データや脅威情報は、生テキストの状態で入力可能であり、特定の形式や構文への準拠は不要である。

三段階のアプローチ

この手法は、以下の三段階で機能する。

1. 指示の微調整
   研究チームは 68,000 件の過去インシデント (対応計画および推論ステップ付属) を用いて、140 億パラメータの LLM を微調整した。この過程において、特定シナリオにモデルは限定されず、一般的なインシデント対応のフェーズおよび目標に適合する。
2. 情報取得
   計画生成の前に、システムはログに含まれる指標を基に、関連脅威インテリジェンスおよび脆弱性データを収集する。それにより、トレーニング完了後に発見された新規の脆弱性にも対応が可能となり、最新の情報に基づく出力を実現する。
3. 幻覚フィルタリングを用いた計画
   このシステムは単一のアクションを採用せず、複数の候補を生成し、LLM によるシミュレーションを通じて潜在的な結果を評価する。その上で最短の復旧につながるアクションを選定し、進展のない対応を排除する。

Kim Hammar は、この手法を適応的なプレイブックだと位置付けている。セキュリティ・オペレーターたちは、提案されたアクションを絶対的な真実ではなく、検証すべきガイダンスとして扱うべきだと、彼は強調する。

理論的／実践的な成果

この論文は、計画ステップに十分な時間と候補を確保することで、幻覚の確率を任意に低減する確率分析を提供している。この点が、プロンプト・ベースの先進 LLM と比較して、信頼性が高いとする根拠である。

実践面においては、軽量化されており、汎用ハードウェア上での実行が可能であり、高価な API や専用インフラは不要であるという。公開されているインシデント・データセットを用いた評価では、複数の先進 LLM や強化学習ベースラインと比較して平均復旧時間を短縮し、最良モデル比では最大で 22% 高速化した。また、無効なアクションや復旧失敗を削減した。

さらにローカルでの実行が可能であるため、外部 LLM プロバイダーへの依存を避けながら、コスト削減および機密ログ・データの保護にも寄与する。構成要素を削減するアブレーション研究の結果として、三段階のすべてが性能向上に寄与していることが分かったが、とりわけ微調整と計画からの寄与が顕著であった。

トレードオフと考慮事項

このアプローチは、インシデント固有の再トレーニングを回避し、信頼性を向上させるものであるが、オーバーヘッドは不可避である。また、計画のステップにおいては、複数アクションの生成と評価を行う必要があるため、推論時間が長くなる。研究者たちは、並列処理を用いることで、この問題を軽減できると指摘する。

この手法は、迅速な対応が不可欠であり、かつ、ログ・データが複雑な状況において、特に有効である。Kim Hammar は、「午前二時に SIEM が潜在的なインシデントを検知した。オンコールのセキュリティ・オペレーターが呼び出され、問題を特定し、原因を追究し、可能な限り迅速に解決する必要性が生じている。従来はダッシュボードを行き来し、複数のアプリケーションやインフラ層にわたって手動でインシデントを追跡する必要があった。しかし、この LLM ベースの手法であれば、ログの解釈が支援されるため、的確な対応アクションを提案できる」と、具体例を示している。

その一方で、すべてのケースにおいて、大きなメリットが得られるわけではない。Kim Hammar は、「即応性が求められないインシデントでは、この手法による利点は限定的である。また、専門家による詳細分析を必要とする、革新的かつ高度な攻撃に対しては、対応の初期段階でのみ有効となる可能性がある」と認めている。

さらに重要な点は、このシステムの目的が、人間の判断の代替ではないことだ。Kim Hammar は、「今後数年以内に、完全に自律的なインシデント対応が実現することは、非現実的な期待である。なぜなら、ネットワーク／攻撃手法／セキュリティ環境／レギュレーションのすべてが、大きく変化するからだ。その一方で、意思決定支援ツールは、従来から手動で行われていた作業を徐々に引き継いでいる。オペレーターの役割は、大量のログやアラートをゼロから精査することではなく、システムの誘導と検証へと移行しつつある」と指摘する。

この研究チームが、オープンソースとして公開したものには、微調整済みモデル／トレーニングデータ／コード／デモビデオなどがある。それにより、さらなる実験や運用試験が可能となる。今後においては、実際の SOC ワークフローでの試験を通じて、理論的な幻覚境界を精緻化し、より高度な検索技術を、計画プロセスに組み込む予定であるという。

もし運用環境での効果が実証されるなら、このアプローチは、高価な先進 LLM や硬直的なプレイブックに依存することなく、セキュリティ・チームがインシデントを迅速にトリアージし、封じ込めることを可能にするであろう。

軽量な LLM を活用して、これまでの手作業による遅れがちだったインシデント対応を、効率化しようという試みが紹介されています。従来からの課題としては、① 新しい脆弱性が検出されても既存プレイブックには反映されにくい、②大規模 LLM は誤情報 (幻覚) を生成しやすい、③外部 API 依存や高コストが障害となる、という点がありました。この研究では、RAG を用いて最新の脅威インテリジェンスやログを取得し、既存／新規を問うことなく、脆弱性に即応できる設計になっているとのことです。とても、興味深いですね。よろしければ、カテゴリ SecTools／AI/ML を、ご参照ください。