PhysVista는 비전-언어 모델이 영상의 표면적 내용을 인식하는 데 그치지 않고 물리적 일관성을 이해하는지 평가하는 벤치마크입니다. 실제 영상과 AI 생성 영상을 대상으로 물리 상태 인식, 동역학 추론, 물리적 개연성 판단을 하나의 루프로 검증합니다.
더 보기KaliBench는 분석가의 의도를 Kali Linux에서 실행 가능한 명령어로 바꾸는 능력에 초점을 맞춘 벤치마크입니다. 도구 선택과 인자 구성을 나눠 평가하고 의미적 정확성과 실제 실행 가능성을 함께 확인합니다.
더 보기AutoDataBench는 학습 프레임워크와 하이퍼파라미터, 연산 예산 등의 비데이터 요인을 통제하고 LLM 연구 에이전트의 데이터 진단·조직·구성 능력을 측정하는 테스트베드입니다. 데이터 개입의 효과를 사전에 예측하는 능력과 연구 궤적의 재활용 가능성도 함께 살펴봅니다.
더 보기같은 과학적 내용을 다르게 표현한 원고에 AI 심사자가 다른 판단을 내릴 수 있습니다. 새 연구는 수사적 강건성을 별도 평가 기준으로 제안하고, 전체 원고와 구조화된 과학 핵심을 결합하는 SciCore를 소개했습니다.
더 보기A2Z GameSpec-Bench는 100개의 장문 게임 디자인 문서를 바탕으로 코딩 에이전트가 실행 가능한 코드뿐 아니라 설계 의도까지 구현하는지 평가한다. 소스 코드 검사와 시나리오 재생, 적응형 플레이테스트를 함께 사용해 상호 의존적인 요구사항을 검증한다.
더 보기CUA-SWE는 코드 편집, 명령 실행, GUI 조작, 시각적 피드백 확인을 하나의 소프트웨어 엔지니어링 과제로 묶습니다. 코딩 에이전트와 컴퓨터 사용 에이전트 사이의 평가 공백을 다루는 것이 핵심입니다.
더 보기MIST 테스트는 이미지가 원칙적으로 무시되어야 하는 과제에서도 비전·언어 모델의 라벨이 바뀔 수 있음을 보여준다. 판단을 좌우한 것은 이미지의 의미보다 이미지가 존재한다는 사실에 가까웠다.
더 보기보상 모델은 더 길거나 자신감 있어 보이는 답변, 사용자에게 더 동조하는 답변을 실제로 더 좋은 답변으로 오인할 수 있다. BiasReducer는 선형 보상 헤드만 편집하고 데이터셋별로 필요한 보정을 선택한다.
더 보기비침습형 뇌-텍스트 모델이 뇌 신호보다 단어의 발화 시간을 활용했을 가능성이 제기됐다. 입력 윈도우를 독립적으로 처리하자 신경 정보에 대한 의존도가 높아지고 반복 관측과 언어 모델의 효과도 커졌다.
더 보기WorldAuditBench는 3D 환경을 탐색하고 이상을 찾아 검증하는 능력을 측정하는 벤치마크입니다. 실험 결과, 현재 모델은 이동 계획과 시각적 추론을 연결하는 데 여전히 큰 어려움을 보였습니다.
더 보기MaLiang-Harness는 이미지와 동영상 생성에서 코드가 실행되더라도 결과가 요구사항과 다를 수 있다는 ‘프로그램-시각’ 간극을 다룹니다. 프로그램 상태, 렌더링 증거, 수정 이력을 연결해 생성 과정을 반복적인 점검과 수정의 루프로 구성합니다.
더 보기APM-Bench는 하나의 연속 영상이 아니라 중단된 여러 세션으로 구성된 생활 궤적을 대상으로, 1인칭 스트리밍 영상 비서가 과거의 시각 정보를 얼마나 잘 보존하고 활용하는지 평가합니다.
더 보기EngiWorld는 AI 에이전트가 전문 소프트웨어를 조작하는지를 넘어, 검증 가능한 엔지니어링 결과물을 설계 루프 끝까지 완성할 수 있는지를 평가한다. 실험 결과는 도구 사용 능력과 신뢰할 수 있는 업무 자동화 사이에 큰 격차가 있음을 보여준다.
더 보기VoxMem은 대규모 음성 언어 모델이 여러 대화 세션에 걸쳐 무엇을 기억하는지 평가하는 벤치마크입니다. 모델은 발화 내용보다 누가 말했는지, 어떻게 말했는지, 주변에서 무엇이 들렸는지를 훨씬 잘 기억하지 못했습니다.
더 보기광범위한 평가 결과, 범용 AI가 전용 비전 모델의 영역으로 빠르게 확장되고 있음이 나타났다. 그러나 정밀한 기하 측정, 충실한 재구성, 시간적 일관성, 전문 지식이 필요한 세밀한 인식은 여전히 어렵다.
더 보기TraceDance는 실제 에이전트 배포 과정에서 발견된 바람직하지 않은 행동을 맞춤형 평가 벤치마크로 바꾸는 시스템입니다. 전체 환경을 재현하지 않고 기록된 의사결정 지점에서 모델의 다음 응답을 평가합니다.
더 보기머신러닝 기반 입찰 의사결정을 프라이버시 보호 기기로 옮기면 예산 정보도 분산된다. 새로운 감사 연구는 오래된 잔액 정보가 초과 지출을 키우고, 결제 단위 변환이 조작 가능한 유인을 만들 수 있음을 보여준다.
더 보기Duplex-MPE는 여러 사람이 함께 대화하는 상황에서 음성 비서가 답변할지, 침묵할지, 발화를 멈출지를 평가하는 벤치마크입니다. 더 자주 말하는 시스템이 더 나은 대화 참여자는 아니라는 점을 보여줍니다.
더 보기TRACE는 증거가 유효해지는 시점, 시각적 이력을 유지하는 방식, 모델이 응답을 시작하는 조건을 명시하는 스트리밍 비디오 이해 평가 프레임워크다. 연구 결과는 비슷한 QA 정확도도 완료율, 답변 유효성, 생성 workload, 응답 타이밍에서 큰 차이를 가릴 수 있음을 보여준다.
더 보기IndicBankBench는 인도 소매은행 업무를 본뜬 799개 사례로 언어 모델의 안전성과 신뢰성을 평가한다. 계좌 선택, 최신 도구 정보 사용, 실행 전 확인까지 점검해 한 번의 그럴듯한 답변이 숨기는 오류를 드러낸다.
더 보기Kaggle Game Arena는 체스, 포커, 늑대인간 게임에서 대규모 언어 모델을 경쟁시키며 계획 수립과 적응력, 불확실성 대응을 평가합니다. 고정된 문제집만으로는 확인하기 어려운 동적 의사결정 능력을 실전형 대국에서 살펴보려는 시도입니다.
더 보기