Quant-Arena, LLM의 엔드투엔드 정량 트레이딩 연구를 검증하다

들어가며

그럴듯한 종목 선정 코드를 작성하는 능력과 실제 정량 연구를 수행하는 능력은 다르다. 현실의 연구자는 시장 가설을 세우고, 이를 특성과 실행 가능한 신호로 구현한 뒤, 과거 데이터로 검증하고 결과에 따라 개선하거나 폐기한다. Quant-Arena는 이 반복적인 과정을 하나의 평가 과제로 묶어 LLM이 연구의 전체 루프를 완수할 수 있는지 살펴본다.

핵심 내용

• 부분 과제가 아닌 전체 연구를 평가한다. 참가 모델은 특성과 주식 점수화 코드를 직접 구성해야 하며, 단순히 공식이나 코드 일부를 생성하는 것으로는 충분하지 않다.
• 연구 기간과 최종 평가를 분리한다. 모델이 받을 수 있는 피드백은 2022~2023년에 한정된다. 전략을 고정한 뒤 비공개 2024년 데이터로 평가한다.
• 거래 현실성을 반영한다. 현금 계좌 평가기에 거래 제약과 비용을 적용하고, 시뮬레이션한 주문장으로 시장 충격을 추정한다.
• 수익률만으로 순위를 정하지 않는다. 실현 초과수익이 중심이지만 신호 품질과 특성의 다양성도 함께 고려한다.
• 최고 순위가 곧 시장 초과를 뜻하지 않는다. 9개 프런티어 모델 가운데 GPT-6 Astra가 가장 높은 점수를 받았지만, 2024년 동일가중 시장을 능가한 모델은 없었다.

의미와 한계

Quant-Arena의 가장 중요한 의미는 ‘코드를 쓸 수 있음’과 ‘연구를 완성할 수 있음’을 구분했다는 데 있다. 과거 데이터에 잘 맞는 패턴을 찾는 일은 가능하더라도, 새로운 시장 국면에서 성과를 유지하고 과적합을 피하는 일은 훨씬 어렵다. 최종 평가 연도를 비공개로 두면 결과에 맞춰 전략을 조정할 여지가 줄어들고, 연구 기간 이후의 일반화 성능을 더 분명하게 볼 수 있다.

거래 비용과 시장 충격을 포함한 점도 실용적이다. 높은 매매 회전율이나 이상적인 체결 가격에 의존하는 전략은 백테스트에서 높은 수익을 보여도 실제 운용에서는 취약할 수 있다. 거래 제약을 포함한 공통 환경은 모델이 통계적으로 매력적인 아이디어뿐 아니라 운영 가능한 전략을 설계하는지 비교하게 해준다.

다만 비공개 1년의 결과만으로 장기 투자 역량을 입증할 수는 없다. 리더보드 점수 역시 즉시 운용 가능한 금융상품을 의미하지 않는다. 향후에는 더 많은 시장 국면과 자산군, 연구 조건을 포함한 검증이 필요하다. 현재 결과가 보여주는 것은 전략을 생성하는 능력과 새로운 기간에도 통하는 전략을 만드는 능력 사이에 여전히 간극이 있다는 점이다. Quant-Arena는 모델과 에이전트 프레임워크의 종류를 제한하지 않고 제출을 받으며, 이 간극을 지속적으로 비교할 수 있는 공개 장을 제공한다.

출처: Hugging Face Daily Papers