모델 평가

이미지 생성 모델은 읽을 수 있는 중국어를 만들면서도 획이 빠지거나 추가되고 구성 요소가 일그러진 글자를 남길 수 있습니다. TextVerifier는 글자를 읽을 수 있는지보다 목표 한자가 올바른 형태로 그려졌는지를 판별합니다.

Doc2Harness는 고정된 에이전트 환경에서의 작업 성공률을 넘어, LLM이 코딩 에이전트의 실행 기반인 Harness 자체를 만들 수 있는지 평가한다. 최고 모델도 328개 테스트에서 절반을 조금 넘는 수준만 통과했다.

대규모 언어 모델 에이전트는 도구를 잘못 사용해서만 실패하는 것이 아니다. 사용자와 비효율적으로 상호작용하는 문제까지 측정하는 τ-Emotion-Bench가 제시됐다.

NVIDIA 연구진이 동영상만 입력해 생성 동영상의 물리적 일관성 위반 정도를 측정하는 PhyProbe를 공개했습니다. 쌍별 순위 학습과 회귀, 앵커 기반 보정을 결합해 비교 순서와 점수의 안정성을 함께 확보하려는 접근입니다.

LifeSearch는 학술 연구나 합성 과제가 아니라 실제 생활과 생산성 작업으로 딥리서치 에이전트를 평가하는 벤치마크입니다. 가장 높은 성능을 보인 에이전트도 63.4%에 그쳤습니다.

이미지가 AI로 생성되지 않았다고 해서 그 안의 상황이 사실이라는 뜻은 아닙니다. EviScene은 이미지를 직접 분석하고 외부 증거를 검색해 묘사된 상황을 뒷받침하거나 반박하는 멀티모달 에이전트를 제안합니다.

Last Secure Code Benchmark는 기능 테스트를 통과한 코드도 안전하다고 볼 수 없음을 보여준다. 6개 최첨단 코딩 에이전트에서 기능과 보안 검사를 모두 통과한 비율은 16.4~25.1%에 그쳤다.

대규모 언어 모델은 답만 출력하라는 명확한 지시를 받아도 눈에 보이는 추론을 계속할 수 있다. 새로운 연구는 이 현상을 ‘사고 관성’이라고 부르고, 무사고 동작을 평가하는 방법을 제안했다.

AgentSWE는 코딩 에이전트가 눈에 보이는 데모를 넘어 실제 요구사항을 충실히 반영한 에이전트를 납품할 수 있는지 평가한다. 결과는 시연 성능과 신뢰할 수 있는 구현 사이에 지속적인 간극이 있음을 보여준다.

의료진 6,342명이 보낸 12만7,833건의 질의를 분석한 연구에서 임상 AI의 주된 용도는 진단이 아니라 문서 작성, 행정, 지식 검색으로 나타났다. 공개 벤치마크는 실제 업무를 충분히 반영하지 못했다.

JetBrains IDE의 실제 사용 세션을 분석한 연구는 하나의 이슈를 해결하는 방식만으로는 개발자가 코딩 에이전트를 사용하는 현실을 충분히 평가하기 어렵다고 지적합니다. 실제 세션에서는 질문, 계획, 리뷰, 리팩터링, 실행이 이어지고 서로 전환됩니다.

인간은 짧은 장면만 보고도 원인과 다음 움직임, 공간적 가능성, 사회적 권력관계, 암묵적 규칙을 추론합니다. HSS는 이러한 시각적 직관을 멀티모달 모델의 평가 대상으로 제시합니다.

고정형 코딩 벤치마크는 학습 데이터 유출과 성능 포화로 변별력을 잃을 수 있다. SWE-Duel은 평가 중 에이전트들이 서로 과제를 만들고 숨은 버그를 수정하게 해, 참가자의 능력에 따라 난도가 올라가는 방식을 제안한다.

SpireBench는 상용 게임 ‘Slay the Spire’ 전체를 활용해 언어 모델 에이전트의 장기 전략 능력을 평가한다. 최신 모델은 평균적인 인간 플레이어에 근접했지만, 게임이 길어질수록 전문가와의 격차가 커졌다.

새 연구는 대규모 언어 모델이 환자 진료와 무관한 잡담이나 배경 음성을 임상 기록에 포함할 수 있음을 보여준다. 의료 AI 평가에는 답변 품질뿐 아니라 우발적 정보에 대한 저항성도 포함돼야 한다.

U-Space는 기계적 해석 가능성을 활용해 생성 과정에서 불확실성이 언제 나타나고 무엇에서 비롯되는지 추적합니다. U-Lens는 내부 표현과 예측 엔트로피를 결합해 한 번의 생성만으로 답변의 신뢰도를 추정합니다.

존스홉킨스대학교 연구진은 지식 충돌 상황에서 LLM 에이전트가 불확실성을 어떻게 다루는지 실행 궤적 단위로 평가했다. 높은 과제 정확도가 인식론적 겸손을 보장하지는 않는다는 결과가 핵심이다.

TestPrism은 하나의 참조 구현만으로 코딩 에이전트가 만든 테스트를 평가하면 품질이 과대평가될 수 있다고 지적합니다. 여러 유효·무효 구현을 활용한 평가와 TestHelix 개선 방식을 함께 제시했습니다.

Learn2Play Bench는 규칙을 미리 알려주지 않는 새로운 텍스트 게임으로 LLM 에이전트가 상호작용 경험에서 학습하는 능력을 평가한다. 연구 결과는 완전한 경험 기록과 에이전트 하네스 설계가 성능에 큰 영향을 줄 수 있음을 보여준다.

HotpotQA와 MuSiQue를 활용한 연구가 질문 수, 검색 궤적, 반복 답변에 평가 예산을 배분하는 방식을 비교했습니다. 비슷한 토큰 예산에서는 적은 질문을 반복 실행하기보다 더 많은 질문을 다루는 편이 추정치를 안정화하는 데 유리했습니다.

AI 에이전트의 평가는 현재 능력뿐 아니라 경험을 얼마나 효율적으로 미래의 성능 향상으로 바꾸는지도 다뤄야 한다. 연구는 이 특성을 ‘에이전트 가소성’으로 정의하고 학습 효율과 일반화의 차이를 분석했다.