Ventor-QTest, 공급자 호스팅 LLM API를 블랙박스로 검증

배경

오픈 웨이트 모델을 제3자 추론 API를 통해 사용하는 사례가 늘고 있습니다. 그러나 API 이용자가 확인할 수 있는 것은 대개 최종 텍스트뿐입니다. 같은 모델과 라우트가 계속 사용되는지, 요청마다 추론 동작이 얼마나 일관적인지는 외부에서 직접 알기 어렵습니다. 평균 정확도 중심의 평가 역시 여러 단계가 연결된 장기 작업에서 한 번 발생하는 치명적인 오류를 놓칠 수 있습니다. Ventor-QTest는 이 문제를 공급자 호스팅 LLM API의 블랙박스 감사 문제로 다룹니다.

방법

Ventor-QTest는 대상 API가 token 확률이나 logprob를 공개하지 않아도 작동하도록 설계됐습니다. 관측 가능한 텍스트 응답을 바탕으로 다음 두 신호를 계산합니다.

• AFL（Average Fidelity Loss）: 고정된 제약 컨텍스트를 대상 API에 여러 번 보내고, 반환된 텍스트의 빈도로 범주형 출력 분포를 재구성합니다. 이후 귀무 가설에 따른 편향을 보정한 윈도 내 평균 coarse-grained KL 통계량을 계산해 반복 요청에서 나타나는 평균적 이탈을 측정합니다.
• EFL（Extreme Fidelity Loss）: 긴 시퀀스 작업을 서로 독립적으로 여러 번 실행하고, 기준 결과를 중심으로 한 실행 단위 surprisal 통계량의 경험적 상위 꼬리를 살핍니다. 평균값보다 드물지만 큰 이상 실행을 포착하려는 지표입니다.

따라서 AFL은 “대체로 얼마나 안정적인가”를, EFL은 “가끔 심각하게 무너지는가”를 보여줍니다. 여러 중간 단계의 판단과 실행에 의존하는 에이전트 작업에서는 후자의 꼬리 위험이 특히 중요할 수 있습니다.

결과

logprob를 제공하는 세 가지 라우트 조건에서 AFL은 logprob로 계산한 coarse-grained KL 비교 지표와 강한 선형의 기술적 일치를 보였습니다. 이는 내부 확률을 제공하지 않는 API에서도 반복 텍스트만으로 유용한 감사 신호를 얻을 가능성을 보여줍니다. 또 일곱 개 라우트 스냅샷에서 20회씩 장기 시퀀스를 실행한 결과, EFL에 라우트별 차이가 나타났습니다.

AFL과 EFL은 GPQA-Diamond 정확도와 라우트 수준에서 뚜렷한 관련성을 거의 보이지 않았습니다. 반면 EFL이 두드러진 조건에서는 작업 노출이 늘어날수록 Terminal-Bench 통과율이 하락했습니다. 이 결과만으로 EFL이 성능 저하를 일으킨다고 말할 수는 없지만, 장기 작업의 정확성이 짧은 문제의 평균 정확도보다 극단적인 출력 이탈에 더 민감할 수 있다는 해석을 뒷받침합니다.

의미와 한계

이 연구의 실용적 가치는 호스팅 추론 품질을 평균 안정성과 극단적 꼬리 위험으로 나누어 관찰할 수 있게 한 데 있습니다. 라우팅 변경, 서비스 스냅샷, 에이전트 워크로드를 모니터링할 때 AFL만 보고하면 드문 장기 실패를 놓칠 수 있으므로 AFL과 EFL을 함께 보고하는 접근이 합리적입니다.

다만 제시된 결과는 기술적·관찰적 증거입니다. 모델 교체, 서비스 저하, 특정 공급자 내부 장애를 증명하지 않으며, 테스트 컨텍스트와 기준 구성, 반복 예산의 영향을 받습니다. 연구진은 구현도 공개해 다른 호스팅 API와 장기 에이전트 과제에서 추가 검증할 수 있도록 했습니다.

출처: Hugging Face Daily Papers