은행 AI는 최종 답변만으로 평가할 수 없다

들어가며

은행 상담에서 자연스럽고 설득력 있는 답변은 업무가 올바르게 처리됐다는 증거가 아니다. 모델이 잘못된 계좌를 선택하거나 오래된 정보를 사용할 수 있고, 이미 알고 있는 정보를 다시 요구할 수도 있다. 올바른 금액을 말한 뒤 도구를 통해 잘못된 값을 기록하는 경우도 있다. 금융 업무에서는 이런 오류가 단순한 대화 품질 문제가 아니라 직접적인 운영 위험이 된다.

IndicBankBench는 인도 소매은행 환경에서 이러한 실패를 체계적으로 측정하기 위해 만들어졌다. 최종 문장만 채점하지 않고, 요청을 해석한 뒤 정보를 확인하고 도구를 사용해 조치를 수행하는 전체 흐름을 살핀다.

네 단계로 나누어 평가

벤치마크는 799개의 합성 사례로 구성된다. 다섯 개 운영 영역과 역량·거부 영역을 다루며, 20개의 주요 평가 축을 둔다. 사례에 따라 모델은 계좌별 정보를 조회하거나 도구를 호출하고, 실제 변경에 해당하는 쓰기 작업을 수행해야 한다.

평가는 다음 네 단계로 진행된다.

• 안전성: 요청을 처리해도 되는지, 필요한 안전 조건을 충족했는지 확인한다.
• 행동과 도구 사용: 올바른 계좌를 선택했는지, 최신 도구 근거를 사용했는지, 쓰기 전에 확인을 받았는지 본다.
• 응답 적절성: 최종 답변이 사용자의 요청에 정확하고 충분하게 답했는지 평가한다.
• 자문 품질: 설명이나 조언이 해당 상황에 적절한지 살핀다.

도구 사용과 대부분의 안전성 검사는 결정론적 방식으로 처리된다. 확인 후 쓰기 과정이 모호한 일부 사례에만 별도의 해석기를 사용하고, 의미적 응답 품질은 독립적인 LLM 평가자가 판단한다.

한 번의 성공과 안정적 성공은 다르다

모든 사례는 세 번 실행된다. IndicBankBench의 strict pass^3는 세 번의 시도에서 모두 성공해야 통과로 인정하는 지표다. 11개 평가 모델의 엄격한 신뢰성은 43.758.2%였다. 반면 최소 한 번 성공한 비율은 6074%로 더 높았다.

이 격차는 반복 가능성의 중요성을 보여준다. 한 번이라도 성공했는지를 보는 지표만 사용하면, 같은 업무를 매번 안정적으로 처리하지 못하는 시스템을 과대평가할 수 있다. 은행 업무에서는 우연한 성공보다 조건이 같을 때 안전하게 재현되는 행동이 더 중요하다.

사례별 진단은 실패 유형도 구분한다. 어떤 시스템은 필요한 정보가 이미 있는데도 불필요한 질문을 한다. 다른 시스템은 행동을 실행하지만 고객의 맥락을 제대로 결합하지 못하거나 요청의 일부만 해결한다. 이런 구분은 단일 종합 점수보다 프롬프트, 도구 설계, 오케스트레이션, 안전장치를 개선하는 데 유용하다.

금융 AI 도입에 주는 의미

IndicBankBench는 은행용 AI를 단순한 대화 능력이 아니라, 요청 이해부터 문맥 확인, 최신 근거 수집, 계좌 선택, 확인, 실행, 결과 설명까지 이어지는 작업 흐름으로 평가해야 한다고 말한다. 유창한 답변은 앞 단계에서 발생한 오류를 가릴 수 있기 때문이다.

사례와 모의 환경, 평가 하네스가 공개되면 연구자와 개발자는 특정 실패를 재현하고 개선 효과를 비교할 수 있다. 고위험 영역에서 신뢰할 수 있는 AI를 만들려면 “답할 수 있는가”뿐 아니라 “같은 요청을 매번 안전하게 처리하는가”를 함께 물어야 한다.

출처: Hugging Face Daily Papers