SO-Arenaが検証する、正解率だけでは見えないSystem Oneモデルの信頼性
導入
System Oneモデルは、長いトークン列を生成しなくても、短時間で汎用的な判断を下すことを目指している。低遅延が重要な対話システムやエージェントにとって魅力的な性質だが、実運用では別の問いが生じる。一度正解したモデルは、選択肢が少し変わっても同じように正しく判断できるのか。そもそも正解が選択肢に存在しないとき、それを認識できるのか。
SO-Arenaは、こうした問いに答えるための評価基盤である。単一の総合スコアにモデルの品質を押し込めず、何ができるかという能力スペクトラムと、どれだけ判断を信頼できるかを分けて調べる。
主な特徴
- 広い能力スペクトラム。 11領域を5つの能力ファミリーに整理し、平均正解率では隠れやすい得意分野と弱点を可視化する。
- 根拠に基づく評価。 信頼できる情報源を使い、モデルが実際に見られる入力だけで参照ラベルを正当化できるかを人手で確認する。評価用ラベルの誤りや情報の混入を抑える設計だ。
- 領域別の細かな難易度。 各分野に固有の難易度基準を設け、単なる正誤ではなく、どの水準まで能力を発揮できるかを評価する。
- サンドボックスでの反復実行。 一度の選択で終わらず、環境内で行動し、結果を受けて次の行動を取る課題を含む。実際のタスク遂行に近い挙動を観察できる。
- 信頼性を二つの角度から測定。 選択肢集合を統制して変えたときに判断が安定するか、そして有効な選択肢がないときにその事実を認識できるかを調べる。
- System Twoとの比較にも対応。 推論負荷の高い課題では、素早いSystem Oneと、より長い推論を用いる方式を比較できる。
意義と影響
21モデルの評価からは、モデルの規模拡大や追加推論が、すべての領域で同じ利益をもたらすわけではないことが示された。ある領域では改善しても、別の領域では効果が限定的な可能性がある。したがって、大型化や長い推論をそのまま汎用的な意思決定能力とみなすのは危険だ。
さらに重要なのは、性能と信頼性が一致しない点である。総合成績が最も高いSystem Oneモデルでも、信頼性順位は7位だった。頻繁に正解するモデルであっても、選択肢の小さな変化で判断を変えたり、すべての選択肢が誤りなのに無理に選んだりする可能性がある。自動化された処理では、この種の不安定さは単発の誤答より発見しにくい。
SO-Arenaは、評価の焦点を正解率から実用上の依存可能性へ広げる。今後は、領域別の能力分布、対話的な実行性能、選択肢変動への安定性、そして無解を認識して回答を控える能力まで報告する必要がある。速さを活かすには、速さが隠している脆弱性も同時に把握しなければならない。
コメント
ログイン状態を確認中…
コメントを読み込み中…