생산 환경 데이터로 본 LLM 트레이딩 에이전트의 실제 성능

들어가며

대규모 언어 모델을 실시간 시장에 연결할 때 결과를 결정하는 요소는 프롬프트만이 아니다. 위험을 어떻게 조절하게 하는지, 순위를 어떻게 보여주는지, 어떤 도구를 호출할 수 있는지가 모델의 출력을 실제 주문으로 바꾼다. DXRG AI의 이번 연구는 같은 설계 계보에 속한 두 트레이딩 에이전트 집단을 약 6개월 동안 추적해, 배포 이후 에이전트가 실제로 어떻게 행동했는지 살폈다.

무엇을 측정했나

첫 번째 시스템은 DX Terminal Pro다. 21일 동안 3,505개의 사용자 자금 기반 볼트가 Base의 실제 ETH 및 밈코인 시장을 거래했다. 두 번째는 DXAP 라이브 알파 플릿으로, 전체 이력 기준 500599개의 사용자 생성 에이전트가 있었고 동시 활성 에이전트는 91117개였다. 이 집단은 Hyperliquid 무기한 선물을 거래했다. 전체 기록에는 약 750만 건의 단일 모델 호출, 약 30만 건의 온체인 작업, 231,638회의 멀티툴 턴, 14,596건의 체결이 포함됐다.

핵심 결과는 네 가지다.

• 운영 계층이 행동을 크게 바꿨다. 위험 슬라이더가 한 단계 올라갈 때 레버리지는 약 0.425 증가했다. 에이전트 고정효과는 관측된 변동의 약 60%를 설명했다. 리더보드의 상위 3개 표시 경계에서는 선택 확률이 약 1.75배 달라졌다.
• 포지션 규모는 변동성에 둔감했다. 변동성을 6개 구간으로 나눠도 레버리지 중간값은 모두 5.0배였다. 전체 거래량의 11%에 해당하는 한 자세 슬라이더 셀이 청산의 62%를 차지해, 위험이 특정 설정에 집중됐다.
• 확보할 수 있었던 수익을 놓쳤다. 포지션의 43.2%는 24시간 안에 300bp 이상의 유리한 가격 움직임을 경험했다. 그러나 그중 49.3%는 최종적으로 마이너스 수익으로 종료됐다. 기계적 브래킷 규칙과 비교하면 포지션당 39.0bp를 회수할 수 있었다.
• 방향성 우위는 확인되지 않았다. DXAP 플릿은 수익을 내지 못했고 왕복 거래 승률은 41%로, 대응되는 Hyperliquid 개인 투자자 기준치 50%보다 낮았다. 416개의 실제 운용 시나리오를 재생한 비교에서는 프런티어 모델 계열의 판단 품질이 통계적으로 다르지 않았지만, 선택의 안정성에는 큰 차이가 있었다.

의미와 한계

이 연구는 트레이딩 에이전트를 평가할 때 모델 자체보다 전체 시스템을 봐야 한다는 점을 강조한다. 위험 슬라이더는 단순한 사용자 선호가 아니라 레버리지를 체계적으로 바꾸는 장치다. 리더보드 역시 중립적인 정보 표시가 아니라 사용자의 선택을 특정 방향으로 유도할 수 있다. 따라서 개발자는 더 강한 모델을 찾는 동시에 변동성 기반 포지션 조절, 손절·익절 규칙, 극단적 위험 설정 제한을 설계해야 한다.

다만 이 결과를 모든 LLM 거래 시스템에 그대로 일반화할 수는 없다. 분석 대상은 같은 설계 계보의 두 시스템이며 시장과 관측 기간도 서로 달랐다. 기계적 브래킷의 결과 역시 실제 운용 수익을 보장하는 수치가 아니다. 가장 신중한 결론은 현재 조건에서 약점이 모델의 추론 능력 하나에만 있지 않고, 위험 관리와 실행 구조에도 뚜렷하게 존재한다는 것이다.

출처: Hugging Face Daily Papers