RiskChainBench、難読化メッセージからウェブ証拠までを一体評価

導入：オンラインプラットフォームの悪用キャンペーンでは、誘導先をそのまま書かず、絵文字、同音語、文字の分解、冗長な記号などで指示を隠すことがある。その先には、ポルノ、詐欺、ギャンブル、違法取引に関係するサービスが置かれる場合もある。モデルに必要なのは単なる文字列の復元ではない。メッセージを解読し、意図と入口を特定し、正しいサイトを調べ、観測した証拠に基づいて報告する一連の能力である。

RiskChainBenchは、この連鎖を分断せずに診断するためのベンチマークだ。600の元セッションから3600件の合成復元入力を作り、それぞれに対応する600件の人手ラベル付きローカルウェブ環境を用意した。モデルはまずメッセージ、操作上の意図、目的地を復元する。次に同じモデルが視覚言語ウェブエージェントとして、対応するサイトを調査し、証拠を引用したリスク報告を作成する。調査時にはメッセージ側の意味情報やドメイン評判の手掛かりを与えず、サイト内で確認できる内容を重視する設計になっている。

主なポイント：

• 復元とウェブ調査を別々に採点し、誤った入口へのルーティングと、リスク判断そのものの誤りを区別する。
• エンドツーエンド分析では、凍結した主入口予測をゲートとして同じウェブ調査結果に適用し、上流の誤りが下流へどう伝わるかを見る。
• 10モデルで、Entry Top-1は35.2〜95.2%、ウェブ判断の正解率は26.3〜62.8%だった。入口復元、完全再構成、サイト判断、細分類で最強のモデルは一致しない。
• 人手による課題正解に加え、固定されたマルチモーダル評価器が、報告の忠実性、十分性、完全性、一貫性を判定する。
• ウェブ実行の31.9%が実行失敗となり、分類能力だけでなく、安定した探索とツール操作も主要なボトルネックだと分かる。

意義と限界：この研究の意義は、「メッセージを読めたか」から「読解結果を後続の調査に正しく使えたか」へ評価の焦点を広げた点にある。入口を誤れば、後続のエージェントは最初から別のページを調べることになる。正しいサイトに到達しても、関連する手掛かりを拾い、根拠として整理し、細かなリスク種別を判断できるとは限らない。各段階と連鎖全体を併せて見ることで、従来の単一スコアでは隠れやすい失敗が見える。

一方、入力は合成データ、サイトは管理されたローカル環境であり、実際のプラットフォーム上の性能を直接示すものではない。公開されたタスク用リポジトリとプロトコルのスナップショットも、現時点では完全な再現パッケージではなく、再生データや評価専用資産は公開されていない。今後は環境の多様性、実行の安定性、証拠が判断を本当に支えているかをさらに検証する必要がある。

出典：Hugging Face Daily Papers