ReproBridge、機械学習実験の再現を「推測」から解放

概要

機械学習論文でコードが公開されていても、実験をそのまま再現できるとは限りません。依存ライブラリのバージョン、データ処理、パラメータ、実行順序、失敗後の修正方法などが、論文・リポジトリ・補助ファイルに分散しているためです。コーディングエージェントにとって、再現とは単にスクリプトを起動することではなく、明示されていない手順を補う作業でもあります。

ReproBridgeは、その過程でエージェントが回収した知識を次のエージェントに引き継げば、再現性を高められるかを検証します。

仕組み

中心となるのは、Refined Reproducible Artifact（RRA）です。RRAには次の要素が含まれます。

• 整理・修正されたコードベース
• 環境構築と設定の手順
• 実験を起動するランチャー
• 設定理由や修正内容を説明する再現ガイド

ワークフローは「Specify → Execute → Preserve」です。まず論文と公式リポジトリから課題を明確化し、次に実行とデバッグを行い、最後に有効だった手順や判断を保存します。独立したReviewerは、報告された数値だけでなく、実行の証拠も確認します。

ReproBridge-Benchは、36本の論文に含まれる387実験、1029タスクで構成されます。各タスクには5回の人手による検証結果があり、単一の実行結果だけで成功を判定しない設計です。エージェントは新しいセッションで、元のコードまたはRRAを使って同じ課題に取り組みます。

結果と意味

4種類のコーディングエージェントでは、RRAの利用により平均成功率が76.4%から92.6%に上がり、後続のAPI利用額は平均19.7%減少しました。モデル間の成功率の差も21.6ポイントから3.9ポイントへ縮小し、4モデルすべてが平均90%を超えました。アブレーションでは、どの構成要素を外しても性能が下がり、特にコードと環境情報の除去による影響が大きくなっています。

重要なのは、再現性が公開ファイルの量だけでなく、実行に関する知識の保存にも左右される点です。リポジトリが実装を渡すものだとすれば、RRAは検証済みの実行経路を渡そうとする仕組みです。

一方で限界もあります。Auditorは出力ファイル、実行記録、スクリプトを追跡し、818件の結果で人手レビューと比較した精度は88.6%、再現率は79.5%でした。また、コードとデータはまだ内部審査中です。したがって、現時点では有望なワークフローと評価設計として捉えるのが適切でしょう。

Hugging Face Daily Papers