Quant-Arena、LLMの定量取引リサーチを一気通貫で検証

概要

もっともらしい株式選別コードを書けることと、定量リサーチを実行できることは同じではない。実際の研究では、市場に関する仮説を立て、特徴量を設計し、実行可能なシグナルに変換し、過去データで検証したうえで、改善するか捨てるかを判断する。Quant-Arenaは、この反復的な流れ全体をLLMの評価対象にしようとしている。

主なポイント

• 評価範囲は一連の研究工程。 参加モデルは特徴量と株式スコアリング用コードを構築する。単一の数式やコード断片を生成するだけではない。
• 研究期間と最終評価を分離。 モデルが利用できるフィードバックは2022～2023年に限定され、戦略を凍結した後、封印された2024年で評価される。
• 取引摩擦を考慮。 現金口座を前提に取引制約とコストを適用し、シミュレーションした注文板から市場インパクトも推定する。
• 収益以外も採点。 実現した超過収益を中心に、シグナルの品質と特徴量の多様性も評価する。
• 首位でも基準を超えない。 9つの先端モデルではGPT-6 Astraが最高得点だったが、2024年に等ウェイト市場を上回ったモデルはなかった。

意義と限界

Quant-Arenaの意義は、「コードを生成できる」ことと「研究として成立する戦略を作れる」ことを切り分けた点にある。過去データに合うアイデアを見つけることは、モデルにとって比較的容易かもしれない。しかし、新しい市場環境で有効性を維持し、過学習を避けることは別の課題だ。最終年を非公開にする設計は、評価データに合わせた調整を抑え、サンプル外性能を見やすくする。

取引コストや市場インパクトを含めることも重要だ。売買回転が高く、理想的な価格で約定できるという前提に依存した戦略は、バックテストで好成績でも実運用には向かない可能性がある。統一された現実寄りの環境は、モデルが統計的に魅力的なだけでなく、運用面でも成立する案を作れるかを比較しやすくする。

一方、封印された1年だけで長期的な投資能力を証明することはできない。ランキングの得点も、そのまま実際に運用できる商品を意味しない。今後はより多くの相場局面、資産、研究条件での検証が必要になるだろう。現時点で示されたのは、戦略を生成する能力と、未知の期間に一般化する能力との間に、なお大きな隔たりがあるということだ。Quant-Arenaはモデルやエージェント基盤を問わず投稿を受け付けており、今後の比較に向けた公開の場を提供している。

出典：Hugging Face Daily Papers