FINCOSMOS, 금융 AI 에이전트의 신뢰성을 공개 환경에서 검증하다

들어가며

금융 분야의 AI 에이전트는 웹 검색, 데이터 API 호출, 코드 작성, 투자 보고서 생성까지 수행할 수 있습니다. 하지만 금융 업무에서 가장 위험한 오류는 항상 눈에 띄는 형태로 나타나지 않습니다. 에이전트가 사용자가 요청하지 않은 전략을 구현하거나, 출처를 확인할 수 없는 데이터를 사용하거나, 거래 당시에는 알 수 없었던 정보를 백테스트에 포함해도 결과물은 전문적인 보고서처럼 보일 수 있습니다.

FINCOSMOS는 이러한 ‘조용한 실패’를 드러내기 위한 금융 에이전트 평가 패러다임입니다. 정답과 얼마나 비슷한지를 비교하는 대신, 에이전트가 제출한 작업을 독립적으로 검증할 수 있는지를 검사합니다.

평가 방식

• 전략을 숨긴다. 모의 투자자는 조합 문법으로 생성된 약 380만 가지 가능성 중 하나의 전략을 보유합니다. 세부 조건은 에이전트가 질문할 때만 공개되므로, 부족한 정보를 임의로 채우지 않고 요구사항을 확인하는 능력이 평가됩니다.
• 데이터를 제공하지 않는다. 에이전트는 공개 웹에서 직접 데이터를 찾고 출처를 남겨야 합니다. 또한 지정된 데이터 컷오프 시점 이후의 정보를 사용하지 않고 자체 백테스트를 구축해야 합니다.
• 결과물을 프로그램으로 재검증한다. 시스템은 데이터 출처와 시점상 유효성을 확인하고, 보고서에 제시된 모든 지표를 다시 계산합니다. 제출된 전략이 숨겨진 요구사항과 일치하는지도 비교합니다. 평가는 45개 차원과 15개 거부 조건으로 구성되며, 별도의 기준 답안이 필요하지 않습니다.

결과가 보여준 문제

실험은 네 개의 코딩 에이전트와 도구를 사용하지 않는 모델을 대상으로 150개 세션에서 진행됐습니다. 완전히 승인된 세션은 단 한 건도 없었습니다. 거부 조건을 적용하기 전 품질 점수도 20.2~37.2점에 그쳤습니다. 모의 사용자가 승인한 세션은 35개였지만, 이 세션들도 모두 프로그램 검사에서 하나 이상의 문제를 드러냈습니다. LLM 심판만 사용했다면 17개 세션을 합격으로 판단했을 수 있다는 결과는, 만족도와 기술적 정확성이 얼마나 다를 수 있는지 보여줍니다.

실패는 작업의 시작과 끝 모두에서 발생했습니다. 120개 세션 중 투자자가 실제로 요구한 전략을 전달한 경우는 25개에 불과했고, 보고서에 제시한 수익률을 재현하는 거래를 전달한 세션은 하나도 없었습니다. 사용자가 직접 말하지 않은 세부사항에 대해서도 에이전트가 질문한 비율은 54~64%에 그쳤습니다. 필요한 질문을 놓친 뒤 구현 과정에서 임의의 가정을 추가하는 문제가 반복된 것입니다.

인간 전문가들은 실패의 88.33%를 벤치마크가 아니라 에이전트의 문제로 평가했습니다. 또 FINCOSMOS의 피드백과 영속 메모리를 활용한 에이전트가 10개 과제를 모두 학습했다는 보고도 있습니다. 그러나 이는 개선 가능성을 보여주는 결과이지, 현재 금융 에이전트가 충분히 신뢰할 수 있다는 증거는 아닙니다.

의미와 영향

FINCOSMOS의 핵심 메시지는 사용자가 만족했다고 해서 결과가 옳은 것은 아니라는 점입니다. 명확하고 설득력 있는 보고서에도 미래 정보 누출, 전략 불일치, 재현할 수 없는 지표가 숨어 있을 수 있습니다. 따라서 금융용 평가에는 요구사항 확인, 데이터 출처, 시점 정확성, 코드 구현, 수치 재계산을 모두 포함해야 합니다.

앞으로 에이전트를 개발하고 비교할 때는 유창한 분석보다 검증 가능한 증거 사슬을 남기는 능력이 중요해질 것입니다. 특히 고위험 금융 업무에서는 한 번 그럴듯한 백테스트를 만드는 것보다, 여러 번 반복 검사를 받아도 동일한 근거와 결과를 유지하는 것이 더 중요한 기준입니다.

출처: Hugging Face Daily Papers