CognitionのSWE-2、コーディングエージェントのコスト性能を改善

概要

Cognitionは、コーディングエージェント向けの新モデルSWE-2を発表した。今回の焦点は、単にベンチマークの最高点を狙うことではない。タスクを解決する能力と、そのために必要な推論コストの両方を改善し、実用上のコスト性能曲線を押し上げることにある。Cognitionによれば、FrontierCode 1.1 Mainでは50.0%を達成し、Fable 5.1に約1ポイント差まで迫りながら、コストは64%低いという。SWE-2はDevin DesktopとCLIで提供され、Devin WebとFusionにも展開される予定だ。

主なポイント

• 大規模モデルを追加学習。 SWE-2は、エージェント型コーディング向けの強化学習をすでに受けた、2.8兆パラメータのKimi K3をベースにしている。Cognitionは、追加学習によって多くのベンチマークで約5〜6ポイントの改善が得られたとしている。
• 複数の推論強度を一度に訓練。 成功したかどうかだけでなく、推論コストと実行時間に応じたペナルティを報酬に組み込む。ペナルティは、ベースモデルのコスト性能曲線に合わせて推論強度ごとに調整される。
• 探索を短縮。 FrontierCode 1.1 Mainでは、SWE-2 mediumの平均ステップ数は53で、SWE-1.7の127から減少した。最初に実質的なコード編集を行うまでの中央値も48ステップから18ステップになったという。
• 評価結果は一様ではない。 FrontierCode 1.1 Mainは50.0%、DeepSWE 1.1は73.0%、Terminal-Bench 2.1は92.8%だった。一方、Terminal-Bench 4は27.3%であり、ベンチマークのタスク構成によって順位が大きく変わる。

意味と影響

SWE-2で注目されるのは、知能と効率を別々の目標として扱っていない点だ。リポジトリのどこを調べるべきかを早く判断できれば、単純な作業ではツール呼び出しを減らせる。複雑な作業では、高い推論強度を選び、計画や検証により多くの時間を使うこともできる。

Cognitionは、強化学習環境の拡充、指示追従用のオーバーレイ、過去のチェックポイントを使って検証器を改善する仕組みも説明している。推論時には量子化やスケジューリングの改善により、メモリ使用量と学習・推論間の差を抑えたとしている。

また、より広いテストカバレッジ、代替手段を探す能力、疑問を投げかけられた際に結論を再検証する姿勢を、行動面の変化として挙げている。ただし、これらは主に社内評価に基づく説明であり、独立した検証とは区別すべきだ。複数ベンチマークで結果に差があることも、単一のランキングだけでモデルを選ぶ危険性を示している。

コーディングエージェントの評価は、最高成功率だけでなく、1ドルあたりの完了タスク数、ステップ数、遅延を含む方向へ進んでいる。SWE-2はそのトレードオフ自体を学習目標に組み込む試みであり、実際の価値は独立したワークロードでも再現できるかによって決まる。

出典：Hacker News