기업 에이전트에 필요한 것은 검색력이 아니라 기록을 믿을지 판단하는 능력

들어가며

기업의 지식 저장소는 하나의 정답으로 정리된 고정된 데이터베이스가 아니다. 프로젝트 결정이 먼저 메신저에 공유된 뒤 문서로 옮겨지고, 이후 회의 자료나 도표의 수정본에서 다시 바뀌는 일은 흔하다. 여러 기록이 서로 다를 때 기업 에이전트는 단순히 관련 문장을 찾는 것만으로 답할 수 없다. 어떤 증거가 연결되는지, 어느 기록이 어떤 맥락에서 작성됐는지, 결론을 뒷받침할 자료가 충분한지를 판단해야 한다.

MMEnterprise-Bench는 이런 현실적인 조건을 평가하기 위해 만들어졌다. 30개 가상 협업 프로젝트에서 수집한 7,140개의 텍스트·시각 기록을 바탕으로 1,613개의 질문을 구성했다. 정보가 공유되고 수정되는 업무 공간에서 멀티모달 에이전트가 얼마나 안정적으로 추론할 수 있는지를 확인하는 것이 목적이다.

핵심 내용

• 단순 검색보다 넓은 능력을 평가한다. 문제는 증거 추론, 충돌 해결, 답변 불가능성 인식의 세 범주로 나뉜다. 문서, 대화, 도표 등 여러 형식의 자료를 결합해야 하며 특정 키워드가 있는 한 문장만 찾아서는 충분하지 않다.
• 충돌은 출처와 시간 양쪽에서 발생한다. 서로 다른 문서가 동일한 사실을 다르게 기록할 수 있고, 나중에 작성된 기록이 이전 내용을 수정할 수도 있다. 따라서 가장 최근의 내용을 기계적으로 정답으로 선택하는 방식은 위험하다.
• 여러 이미지를 함께 추론하는 일은 어렵다. 답에 필요한 단서가 여러 시각 자료에 나뉘어 있으면 모델은 먼저 각 정보를 통합한 뒤 결론을 내야 한다. 단일 이미지에 답하는 것보다 오류 가능성이 커진다.
• 답하지 않는 판단도 신뢰성의 일부다. 현재 기록만으로 결론을 확정할 수 없다면, 신뢰할 수 있는 시스템은 그 한계를 밝혀야 한다. 그럴듯한 내용을 임의로 채우는 것은 기업 환경에서 특히 위험하다.
• 더 많이 검색한다고 더 정확해지지는 않는다. 검색 예산을 늘리거나 더 큰 검색기를 사용하면 증거 재현율은 높아질 수 있지만, 답변 정확도가 일관되게 상승하지는 않았다. 병목은 증거를 찾는 단계보다 해석하는 단계에 있을 수 있다.

평가 결과가 보여주는 것

연구진은 10개의 상용 및 오픈소스 멀티모달 대규모 언어 모델을 평가했다. 가장 강한 모델도 출처 간 충돌과 시간적 변화, 여러 이미지에 걸친 추론 문제에서 어려움을 보였다. 이는 기업 에이전트의 성능을 검색 재현율이나 일반적인 질의응답 정확도만으로 측정해서는 안 된다는 뜻이다. 모델은 증거 사이의 관계를 설명하고, 서로 경쟁하는 기록을 구분하며, 자료가 부족할 때 과도한 확신을 피해야 한다.

의미와 영향

기업 시스템을 구축할 때는 기록의 출처, 버전, 작성 시점을 보존해야 한다. 검색 결과도 고립된 문장만 전달하기보다 해당 기록의 상태와 주변 맥락을 함께 제공해야 한다. 모델 연구 측면에서는 컨텍스트를 키우는 것뿐 아니라 충돌 탐지, 증거 순위화, 멀티모달 정보 통합, 불확실성 표현이 중요한 과제가 된다.

대답할 수 있는 에이전트가 곧 신뢰할 수 있는 에이전트는 아니다. 실제 업무에서 유용한 시스템은 증거로 뒷받침되는 결론, 여러 버전이 충돌하는 사실, 현재 자료만으로는 해결할 수 없는 질문을 구분할 수 있어야 한다.

출처: Hugging Face Daily Papers