Longtail-SWE、13の少数派言語をコードエージェント評価に追加

導入

コードエージェントの評価は、これまで主要なプログラミング言語と大規模なオープンソース生態系に集中してきた。評価セットを作りやすい一方で、学習データや既存ベンチマークでの扱いが少ない言語でも、エージェントが要求を理解し、リポジトリを調査し、実際の修正を完了できるのかは十分に分かっていない。Longtail-SWEは、この空白を埋めるためのベンチマークである。

主なポイント

• 13の少数派言語を収録。 Clojure、Dart、Elixir、Erlang、F#、Haskell、Julia、Kotlin、Lua、OCaml、R、Scala、Swiftを対象とする。関数型言語、科学計算、モバイル開発など、異なる慣習を持つ生態系が含まれる。
• 実際のリポジトリ作業を評価。 202件のissue解決タスクは、GitHubのissueと対応するpull requestに結び付けられている。各タスクには実行可能な環境とテストがあり、単独のアルゴリズム問題ではなく、既存コードを理解して変更する必要がある。
• テストの品質を構築段階で確認。 まずソルバーに候補タスクを解かせ、判定者がタスク説明、ソルバーの作業軌跡、テスト結果を確認する。その後、説明やテストを修正する。目的は、要件を満たす別の実装を誤って拒否することや、誤った実装を受け入れることを減らすことだ。
• 成功率以外も分析。 9種類のモデル構成を評価し、解決性能に加えて、複数回試行した際の一貫性とリソース使用量を調べる。小規模モデル向けに、より易しいタスク群も公開される。
• 再利用可能な成果物を公開。 ベンチマーク本体、実行環境、構築・評価ツール、エージェントの軌跡が提供されるため、実験の再現やタスク品質の検証が行いやすい。

意義と影響

Longtail-SWEの意義は、言語の多様性を増やしたことだけではない。小規模なエコシステムでは候補タスクが少なく、曖昧な説明や壊れたテストによって価値のある問題が除外されやすい。また、参照パッチに強く依存したテストは、特定の実装方法を唯一の正解と誤認する可能性がある。本プロジェクトは、ソルバーの挙動と実行結果を確認材料にして、こうした問題を見つけて修正する方法を示している。

モデル開発者にとっては、言語の慣習、ライブラリ、ツールチェーンが主流の評価と異なる場合の汎化能力を調べる材料になる。評価設計者にとっては、反復試行の一貫性やリソース使用量を加えることで、単一の成功率だけに依存しない分析が可能になる。一方、提供素材には9構成の詳細な順位や総合スコアは示されていない。そのため、Longtail-SWEは勝敗を確定するランキングというより、信頼できる多言語評価基盤と理解するのが適切である。

出典：Hugging Face Daily Papers