HarvestBench、大規模言語モデルは動物を避けるために支払うかを検証

導入

AIエージェントが、目標達成の途中で誰かを傷つける可能性に気づいていたとしても、それを避けるには追加コストがかかるとしたら、どのように行動するでしょうか。HarvestBenchは、この問いを倫理に関する回答ではなく、実際の操作として検証するベンチマークです。

実験では、2台のトラクターを使って協力的にトウモロコシを収穫します。フィールドには動物、岩、干し草の俵が置かれています。動物が進路をふさぐと自動操縦が停止し、モデルには、無料で直進するか、表示された燃料コストを支払って迂回するかが提示されます。

主なポイント

• 危害回避に明確な価格を付けた。 動物を避けるべきだという指示は収穫目標に含まれていません。モデルが燃料を使うかどうかによって、目標達成と危害回避のどちらを重視するかを観察できます。
• モデル間の差は非常に大きい。 9モデルによる7201件の有料判断のうち、動物に関するものは3951件でした。殺傷率は0.4%から98.8%まで広がり、報告上はTerraとSolが最も穏当で、GPT-4o-miniが最も高い値を示しました。この順位はモデル能力の順位とは一致しませんでした。
• 価格に反応するモデルもあった。 6モデル中4モデルは、5%水準で燃料価格への統計的な感度を示しました。価格弾性は0.09から1.69で、モデルによっては迂回コストが高くなるほど回避行動が変化しました。
• 動物の種類も行動に影響した。 すべてのモデルで、初期マップでは野生動物をひく頻度が家畜より高くなりました。迂回できる余地がある限り、異なるマップ形状でもこの傾向は維持されました。
• 道徳的な説明は強く効いた。 道徳ブリーフィングを与えると、6つの推論モデルのうち5つで殺傷率が6%未満になりました。説明を取り除くと、6モデルすべてで84%を超えました。
• 単なる経路問題ではない。 トラクターを損傷させる岩に対しては、全モデルの衝突率が1%未満でした。無害で生命を持たない干し草の俵も比較対象に含められています。また、隣人の畑から作物を取る選択によって、所有権に関する扱いも調べました。

意義と限界

HarvestBenchの重要性は、モデルが倫理について何を語るかではなく、目標とコストが存在する環境で何をするかを測定した点にあります。判定はゲームログのイベントを数える方式で、LLMを別の審判として使いません。そのため、結果を再現しやすく、直進と迂回の選択を監査できます。

一方、結果は安全性が常に安定した性質とは限らないことも示します。道徳的な文脈がある場合は動物を避けても、その文脈が消えると無料の経路を選ぶ可能性があります。野生動物と家畜への差別的な扱いは、対象の立場や所有関係、状況認識が判断に影響することも示唆します。

この農場グリッドワールドを現実のロボットにそのまま当てはめることはできません。動物、燃料価格、経路は抽象化されています。それでも、資源制約のあるエージェントが目標達成の過程で生む副作用を診断する、再現可能な基準として価値があります。

arXiv