Drex、1回のフォワードパスで構造化された意思決定を実行

概要

大規模言語モデルは、審査、ルーティング、ランキング、エージェント制御など幅広い用途で使われている。しかし、こうした処理の多くで必要なのは長い文章ではなく、決められた候補のどれを選ぶかという判断と、その確信度である。自動回帰生成では、トークンを順番に出力した後、回答を解析しなければならない。その結果、遅延や形式エラー、同じ入力に対する不安定さが生じる。

Nace.AIのDrexは、この問題を専用の意思決定モデルとして扱う。モデルは文章を生成する代わりに、1回のフォワードパスで候補ごとの確率分布を返す。

入力と出力の設計

Drexのリクエストは、状態と、その状態についての質問から構成される。状態には文書、記録、エージェントのコンテキストなどを指定でき、画像を含めることも可能だ。質問は、ユーザーが用意した候補からの選択、はい・いいえの判定、あるいは順序づけられた尺度へのスコア付けに対応する。

この構造化された出力は、実運用で扱いやすい。アプリケーションは確率を直接利用して、信頼度の閾値、人的確認、別モデルへの切り替えを設定できる。自然言語の回答を正規表現などで抽出する必要もない。

4つのモデルと学習方法

Drexには、8BのDLM、9Bのv1.5、総パラメータ35Bで約3Bをアクティブにするv2.0、27BのMaxという4モデルがある。学習では教師あり微調整に加え、「調整済みフィードバックからの強化学習」を意味するRLAFを用いる。検証済みの結果と推論ジャッジによる信号を組み合わせ、KL制約によって元の能力からの過度な逸脱を抑える方式だ。Maxには画像入力に対応するためのビジョンチューニングも施されている。

アブレーションでは、RLAFが精度を高め、一貫性損失が選択肢の並び順への依存を減らすことが示された。報告された実験では、選択肢を入れ替えた際の回答反転率が6.3%から4.2%に低下している。同じ質問で候補の順番だけを変えても判断が変わりにくいことは、決定APIにとって重要な性質である。

ベンチマークと速度

Decision Index 0.4.1の公開スイートで、Drex Maxは67.52を獲得し、比較対象のJev 1.14.0の60.70を上回った。管理側の非公開テストでも66.60を維持している。Decision Bench v4ではd3-turboおよびGPT-6 Solと統計的に同程度で、Claude Opus 5.5との差は約1.6ポイントだった。DecideBenchでは、意思決定モデルの中で最高精度と報告されている。

速度面では、Maxの典型的なリクエストは約183ミリ秒で処理される。比較対象のGPT-6 Solは約2.0秒、Claude Opus 5.5は約3.5秒とされる。ただし実際の遅延は、ハードウェア、バッチ処理、入力長、推論基盤によって変わる。

意義と注意点

Drexは、すべてのAIワークフローを汎用チャットモデルで構築する必要はないことを示している。状態、候補、目的が明確な場合、確率を直接返す専門モデルは、統合のしやすさ、速度、一貫性の面で有利になり得る。文書審査、リスク振り分け、検索結果の順位付け、エージェントのツール選択、画像を含む記録の判定などが想定される用途だ。

一方で、自由形式の推論を置き換えるものではない。候補の設計や状態の表現に結果が左右され、出力確率が現実世界のリスク確率として校正されているとも限らない。公開ベンチマークだけでなく、実データでの校正、誤りのコスト、分布変化への頑健性を検証する必要がある。重みと推論コードが公開されたことで、こうした検証を開発者自身が行える点もDrexの特徴である。

出典：Hugging Face Daily Papers