Microsoft Research가 완전히 작동하는 참조 애플리케이션을 직접 탐색하고, 그 동작을 불완전한 코드베이스에서 재현할 수 있는지 평가하는 ProgramDistill을 공개했습니다. 재생 가능하고 검증 가능한 동작을 기반으로 기존 이슈 중심 평가의 빈틈을 다룹니다.
더 보기ImpossibleRubrics는 언어 모델이 생성한 평가 기준이 정직한 불확실성보다 근거 없는 단정을 보상하는지 পরীক্ষা한다. 불가능한 과제를 이용한 실험은 많은 rubric이 최적화된 답변에 악용될 수 있음을 보여준다.
더 보기새 연구는 추론 모델이 학습한 규칙을 구조적으로 동등한 과제로 옮겨 적용할 수 있는지 পরীক্ষা했다. 모델은 원래 과제를 해결하고도 요소를 재조합하거나 기호를 바꾼 변형 과제에서 자주 실패했다.
더 보기ModaLens는 질문과 방사선 보고서를 고정한 채 영상만 바꿔 의료 비전언어 모델이 영상 정보를 사용하는지 감사하는 방법입니다. MedGemma-27B에서는 보고서가 제공될 때 영상 교체에 대한 민감도가 크게 낮아졌습니다.
더 보기LLM 에이전트는 추론 중 답을 수정하고 도구를 사용하며 여러 대안을 탐색할 수 있지만, 토큰을 늘린다고 성능이 계속 같은 비율로 향상되지는 않는다. 새로운 연구는 성능 향상이 둔화되는 지점을 ‘Elo-per-token’으로 분석했다.
더 보기한 연구가 임상 계산에서 모델이 직접 산술을 수행하는 대신 사례별 Python 코드를 작성하고 제한된 실행기가 계산하도록 하는 방식을 평가했다. 큰 모델에서는 개선이 나타났지만, 수식과 변수 검증을 대신할 수는 없었다.
더 보기Benchmark Radar는 AI 벤치마크를 지속적으로 수집하는 데이터베이스이자 검색 엔진입니다. 논문, 코드, 데이터셋, 모델 카드와 기술 보고서를 연결해 보고된 점수의 출처와 평가 조건을 확인하도록 돕습니다.
더 보기네 가지 벤치마크와 여섯 개 모델을 분석한 연구에서 LLM의 과제 수행 능력은 평가 정확도와 강하게 연결됐지만, 더 뛰어난 피평가 모델에는 일관되게 관대한 판단을 내리는 경향도 나타났습니다. 연구진은 정답 라벨 없이 여러 심사관의 편향을 보정하는 가중 앙상블을 제안했습니다.
더 보기SAEScientist-Bench는 희소 오토인코더를 활용한 특징 탐색을 AI 에이전트의 연구 과제로 바꿔 평가한다. 에이전트는 유망한 특징을 찾을 수 있지만, 인과적 조정과 실험 결과 해석에서는 여전히 전문가보다 크게 뒤처졌다.
더 보기PlannerForge는 시나리오 생성부터 운동 플래너 테스트와 ADS 평가까지를 하나의 LLM 에이전트 프레임워크로 연결한다. ADS 개선과 벤치마킹 단계도 추가로 지원한다.
더 보기Φ-Bench는 단일 커널이나 사전 정의된 연산자 생성에서 벗어나 실제 코드 저장소의 장기적 인프라 엔지니어링 능력을 평가한다. 핵심은 코드 작성뿐 아니라 시스템 이해, 구현, 검증, 최적화를 연결하는 능력이다.
더 보기SWE-Bench Pro Verified는 기존 벤치마크의 정답 유출, 숨겨진 평가 정보, 부정확한 과제 설계를 점검한 버전입니다. 검증판에서 일부 최첨단 모델의 성능이 크게 하락했습니다.
더 보기Discovery Certification Protocol(DCP)은 AI 연구 에이전트의 성과를 실행 가능한 감사 절차로 바꾼다. 성과가 기존 정보의 재구성이 아닌지, 실제 피드백이 얼마나 기여했는지를 함께 검증한다.
더 보기DF26 벤치마크에서 최신 텍스트-투-비디오 및 이미지-투-비디오 모델이 만든 완전 합성 영상을 판별할 때, 사람과 최신 딥페이크 탐지기의 성능이 모두 무작위 추측에 가까웠다. 기존 평가 데이터와 현재 생성 모델 사이의 분포 차이가 드러난 결과다.
더 보기τ^τ-Bench는 코드 생성이 아니라 현실적인 업무 제약 속에서 사용 가능한 에이전트를 구축하고 납품하는 능력을 평가한다. 현재 시스템과 전문가가 작성한 참조 구현 사이에는 여전히 큰 격차가 확인됐다.
더 보기Enoki는 원문 위치와 연결된 관계 사실을 공통 표현으로 사용해 주장 검증과 환각 구간 탐지를 하나의 흐름으로 처리한다. 주장 수준과 스팬 수준 주석을 함께 담은 EnokiQA도 공개됐다.
더 보기새로운 벤치마크 KoNA는 질문 전체를 거부하는지보다, 복합 요청에서 답할 수 없는 부분만 정확히 거부하는지를 평가합니다. 결과적으로 시각언어 모델은 과도한 순응과 과도한 거부 사이의 경계를 아직 안정적으로 구분하지 못하는 것으로 나타났습니다.
더 보기Harbor Adapters는 80개가 넘는 에이전트 벤치마크를 공통 평가 인프라에 연결하고, Harbor-Index는 그중 어려운 82개 과제를 선별합니다.
더 보기HarvestBench는 동물을 그대로 치고 지나가는 대신 연료를 내고 우회할지 묻는 방식으로 LLM 에이전트의 실제 행동을 평가한다. 모델별 살상률 차이는 매우 컸고, 도덕적 지시문은 결과를 크게 바꿨다.
더 보기PerfReasoning은 하드웨어 성능에 대한 직접 추론과 분석용 성능 모델 코드 생성을 পৃথ도로 평가하는 벤치마크다. 결과는 그럴듯한 설명을 만드는 능력과 신뢰할 수 있는 성능 모델을 구축하는 능력 사이에 큰 격차가 있음을 보여준다.
더 보기음성 뇌-컴퓨터 인터페이스는 데이터셋, 어휘, 평가 지표가 서로 달라 연구 결과를 직접 비교하기 어렵습니다. 새로운 개방형 어휘 상호정보량(OVMI)은 디코딩 정확도와 사용자의 언어를 얼마나 폭넓게 지원하는지를 함께 평가합니다.
더 보기