CyberFactory、実在の脆弱性を検証可能なAIエージェント訓練課題へ

導入

サイバーセキュリティ向けの大規模モデルには、脆弱性の説明文や最終回答だけでは不十分です。ソースコードを調べ、ツールを操作し、対象環境で実行し、失敗した結果を解釈して方針を修正する必要があります。CyberFactoryは、この一連の作業を訓練データに取り込むためのオープンソース手法を示しました。公開された脆弱性情報から実行可能な課題を作り、検証に合格したエージェント軌跡を使ってOpenAegisを訓練します。

公開情報を実行可能な課題へ

対象となるのは、PoC生成、脆弱性パッチ生成、サイバーセキュリティ質問応答の三分野です。データ源にはARVO、OSS-Fuzz、実世界のCVEが含まれます。各事例について脆弱な状態と修正後の状態を再構成し、軌跡生成前に答えを直接示す検証情報を取り除きます。

PoCの成否は、文章がもっともらしいかではなく、プログラムの挙動で判断されます。候補は修正前のビルドで脆弱性を発生させ、修正後のビルドでは発生させてはなりません。この差分オラクルにより、「提案、実行、証拠確認、修正」というループを機械的に評価できます。パッチ生成は実際の修正記録に基づき、CyberQAは実行結果、コード構造、権威ある報告書などに根拠を置きます。

スキルを教師に与え、モデルへ移す

軌跡の合成時、教師モデルには再利用可能な脆弱性分析スキルを与えます。そこには、対象とビルド条件の確認、領域知識を用いた探索、証拠の検証、失敗時の方針変更が含まれます。ただし、個別事例の答えを直接与えるものではなく、教師は環境と対話して解決する必要があります。

重要なのは、OpenAegisが推論時にこのスキルプロンプトを必要としない点です。教師の軌跡を教師あり微調整に使い、探索、検証、修正という手順をモデルのパラメータへ内在化させます。報告された分析では、領域知識に基づく探索を採用した軌跡はOpenAegisで85.2%、Qwen3.5で0.6%でした。

結果と注意点

同じスキャフォールドと1時間のCyberGym予算で、OpenAegisは58.1%のPass@1を記録しました。Qwen3.5は29.6%、GLM 5.2は43.3%、Kimi K2.7は51.7%です。

ただし、明示的なスキル提示の比較は計算量が揃っていません。GLM 5.2はスキルありでは1回15分を5回、スキルなしでは60分を1回実行しています。そのため、この比較は軌跡生成の効率や行動変化を示すもので、同一計算量での性能優位を直接証明するものではありません。

意義

CyberFactoryの意義は、公開脆弱性情報を実行可能なインスタンスへ変換し、実行ベースの検証で教師データを絞り込み、その手順をモデルへ移す一貫した設計にあります。一方で、環境の再構成、検証器の品質、テスト網羅性に強く依存します。CyberGymの結果も特定条件下の評価です。それでも、再現可能なサイバーセキュリティ・エージェント研究の具体的な土台を示した点は大きいでしょう。

出典：Hugging Face Daily Papers