모델 평가

Hugging Face Blog 글은 최신 OCR 모델이 항상 특정 업무에서 더 낫지는 않다는 점을 보여준다. 브라질 포르투갈어에 특화된 DharmaOCR는 전용 벤치마크에서 Mistral OCR4와 Unlimited-OCR보다 높은 점수를 기록했다.

Hindcast는 이미 종료된 Polymarket 시장을 과거 시점에서 다시 실행해, LLM이 결과를 모르는 상태에서 얼마나 잘 예측하는지 평가하는 방법이다. 핵심은 검색과 학습 데이터에서 발생하는 정답 누수를 막는 데 있다.

arXiv 논문은 측면 기반 감성 분석을 위해 반사실 예시를 생성하고 검증하는 CAVE-ABSA 프레임워크를 제안한다. 핵심은 문장 전체의 감정을 바꾸는 것이 아니라 목표 측면의 감정만 바꾸는 것이다.

새 arXiv 논문은 LLM 시스템의 직렬 검증 게이트가 부분적으로 상관될 때 신뢰성 향상이 크게 약해질 수 있음을 보인다. 독립성을 가정한 지수적 개선 대신 다항식적 감소나 블라인드스폿 상한이 나타날 수 있다.

제2회 International StepUP Competition은 압력 기반 발걸음 생체인식을 미등록 사용자, 신발·보행 속도 변화, 좌우 발걸음 융합 조건에서 평가했다. 최고 성능은 8.00% 등오류율이었지만, 보지 못한 개인 신발 환경은 여전히 큰 난제로 남았다.

AIMO Interpretability Challenge는 수학 문제의 최종 정답률을 넘어, 모델 내부 메커니즘이 견고한 추론을 수행하는지 평가하려는 대회다. 전선급 수학 언어모델이 안정적인 reasoning을 하는지, 취약한 지름길에 의존하는지 구분하는 것이 목표다.

새 arXiv 논문은 인과추론에서 ‘식이 존재하는가’뿐 아니라 ‘주어진 식이 정말 목표 개입 분포를 식별하는가’를 검증해야 한다고 제안한다.

새 arXiv 논문은 흉부 X선 분류에서 사용되는 입력이 진료 과정의 어느 시점에 생성되는지에 주목했다. Clinical Indication은 유의미한 예측 신호였지만, Findings와 Impression 같은 사후 보고서 텍스트는 심각한 라벨 누출을 만들 수 있었다.

EgoProceVQA는 1인칭 시점 영상에서 일상 작업의 핵심 단계를 이해하고 추론하는 능력을 VQA 형식으로 평가하는 새 벤치마크다. 논문은 데이터 생성 플랫폼 EgoProceGen과 자기 스킬 탐색 에이전트 EgoProceAgent도 함께 제안한다.

새 arXiv 논문은 사고 연쇄 생성 전, 생성 중, 생성 후의 세 단계에서 대형 언어 모델의 신뢰도 변화를 분석한다. 핵심은 신뢰도는 항상 쓸 수 있는 단일 점수가 아니라, 단계와 위치에 따라 골라 써야 하는 신호라는 점이다.

이 arXiv 논문은 신경망이 표현할 수 있는 함수 집합이 유한 차원의 대수적 구조로 제한될 때, grokking이 어떤 형태로 사라지는지 분석한다.

새 arXiv 논문은 심초음파 영상에서 좌심실 박출률을 추정하는 비디오 모델의 귀인 설명을 점검했다. 모델은 공간적으로 좌심실을 잘 가리켰지만, 임상적으로 중요한 수축말기와 이완말기 프레임은 제대로 강조하지 못했다.

Hume AI가 Hugging Face Blog에서 Real World VoiceEQ를 공개했다. 이 벤치마크는 음성 AI를 단순한 전사 정확도와 지연시간이 아니라 실제 대화에서의 인간적인 품질로 평가하려는 시도다.

AgentCompass는 LLM/VLM 에이전트 평가에서 흔한 파이프라인 파편화와 낮은 재현성 문제를 겨냥한 오픈소스 프레임워크입니다. Benchmark, Harness, Environment를 분리해 평가 구성을 더 유연하게 만듭니다.