Sauron, 판정보다 증거를 먼저 확인하는 에이전트 평가
장기 작업을 수행하는 에이전트의 성공 근거는 환경 상태와 실행 기록에 흩어져 있어 단순한 루브릭 평가만으로는 오류가 생기기 쉽다. Sauron은 에이전트의 주장을 그대로 받아들이지 않고 원천 증거를 독립적으로 검증한 뒤 판정한다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독장기 작업을 수행하는 에이전트의 성공 근거는 환경 상태와 실행 기록에 흩어져 있어 단순한 루브릭 평가만으로는 오류가 생기기 쉽다. Sauron은 에이전트의 주장을 그대로 받아들이지 않고 원천 증거를 독립적으로 검증한 뒤 판정한다.
더 보기가드레일 분류기의 안전 점수는 위험 요청을 탐지하는 능력뿐 아니라 학습 라벨에 포함된 운영 정책에 크게 좌우될 수 있다. 연구에서는 작은 파라미터 변경과 교사 모델의 소프트 라벨만으로도 평가 결과가 크게 달라졌다.
더 보기StopLoss는 완료된 에이전트 궤적과 검증 결과로 학습한 소형 외부 모니터입니다. 최근 도구 사용 단계에서 실패 가능성을 찾아 비용이 큰 실행을 미리 종료합니다.
더 보기CoPE는 언어 에이전트 강화학습에 다중 단계 행동 예측을 추가해 최종 보상뿐 아니라 성공 궤적의 중간 정보도 학습에 활용합니다. 5개 벤치마크에서 GRPO 등 비교 방법보다 강한 종합 성능을 보였고, 일부 기준선 대비 샘플 효율은 최대 약 2배에 달했습니다.
더 보기HandsOn은 로봇 형태와 물체, 공간 관계, 작업 요구가 달라져도 조작 기술이 유지되는지를 평가하는 조합형 시뮬레이션 플랫폼이자 벤치마크입니다. 실험 결과는 접촉 형성, 손가락 협응, 새로운 작업으로의 전이가 여전히 어려운 문제임을 보여줍니다.
더 보기JEPA는 표현 학습을 넘어 예측·계획·제어를 지원하는 잠재 세계 모델로 발전하고 있다. 새로운 관점 논문은 해석 가능성이 잠재 표현에서 무엇을 읽어낼 수 있는지보다, 잠재 변수가 어떻게 상호작용하고 변화하며 예측을 인과적으로 이끄는지를 다뤄야 한다고 주장한다.
더 보기HERA는 에이전트 하네스와 실행 환경을 함께 진화시켜, 해결 가능한 작업과 애초에 해답이 없는 작업을 구분하도록 만든다. 거부 판단 정확도를 높이는 동시에 수행 가능한 작업의 완료율도 개선했다.
더 보기새 연구는 장기 작업을 수행하는 LLM 에이전트를 대상으로 EC2-Bench를 제안하고 성능, 자원 사용량, 개인정보 노출을 함께 평가했다. 엣지 모델이 강해질수록 클라우드가 직접 실행하는 방식보다 엣지가 판단하고 클라우드가 조언하는 방식이 유리해진다.
더 보기새 연구는 과학 아이디어를 개별 답변이 아니라 하나의 후보 집합으로 평가하는 방법을 제안했다. 8B 모델은 아이디어의 품질과 다양성을 함께 측정하는 지표에서 높은 성능을 보였고, 실행 가능성도 크게 떨어뜨리지 않았다.
더 보기CyberArena는 고정된 표적을 공략하는 기존 보안 평가를 넘어, AI 에이전트가 여러 라운드 동안 공격과 방어를 동시에 수행하는 대결을 제시한다. 40개 과제와 466경기를 통해 실시간 방어가 모델 간 차이를 어떻게 드러내는지 보여줬다.
더 보기OR-License는 실제 고객 자료를 바탕으로 LLM 에이전트가 운영연구 문제를 이해하고 실행 가능한 해법으로 납품할 수 있는지 평가합니다. 조건부 최적화 성능은 높았지만, 실행 가능성과 전체 신뢰성에서는 전문가와의 격차가 남았습니다.
더 보기AdaExploreBench는 LLM 에이전트가 숨겨진 환경 규칙을 스스로 발견하고, 필요한 증거를 수집하며, 규칙 변화에 대응할 수 있는지를 측정한다. 실험은 주어진 정보를 추론하는 능력보다 유용한 정보를 능동적으로 찾는 능력이 더 큰 약점일 수 있음을 보여준다.
더 보기BlenderWorld는 실제 참고 자료를 바탕으로 3D 콘텐츠를 제작하는 시각 에이전트를 위한 벤치마크입니다. 최신 모델들은 넓은 의미의 지시를 이해하지만, 공간적 일관성, 구조 재현, 편집 가능한 Blender 프로젝트 완성에서는 여전히 한계를 보였습니다.
더 보기새 연구는 언어 모델에서 추출한 거부 관련 내부 표현이 텍스트뿐 아니라 이미지와 영상에도 적용될 가능성을 제시했다. MARS는 멀티모달 안전 데이터나 추가 학습 없이 이 특성을 안전 제어에 활용한다.
더 보기새 연구는 배포된 로봇들이 실행 경험을 공유하고, 실패 상황과 관련된 성공 궤적에서 유용한 행동을 검색하는 집단 학습 방식을 제안했다. 추가 전문가 교정 데이터를 수집하지 않고도 조작 정책의 신뢰성을 높이는 것이 목표다.
더 보기OpenVLHarness는 멀티모달 모델이 시각 도구, 웹 검색, Python 계산을 함께 사용하도록 하는 학습 없는 추론 프레임워크입니다. 도구가 얻은 이미지와 데이터를 추론 과정에서 보존해 이후 단계에서 다시 활용할 수 있습니다.
더 보기Self-HPO는 코딩 에이전트가 자신의 실패를 분석해 새로운 Harness 후보를 제안하고, 선택된 환경에서 정책 모델을 강화학습하는 순환형 프레임워크입니다. 세 가지 코드 벤치마크에서 Qwen3.5-35B-A3B의 평균 해결률을 57.8%에서 64.8%로 높였습니다.
더 보기AffordanceWAM은 인간 영상에서 물체와 상호작용 영역, 장면의 변화를 학습한 뒤 제한된 로봇 궤적을 이용해 조작 행동을 생성하는 모델입니다. 인간 행동 라벨이나 모션 리타게팅이 필요하지 않습니다.
더 보기스트리밍 세계 모델은 자신의 예측을 다음 입력으로 사용하기 때문에 긴 롤아웃에서 오차가 누적되기 쉽다. Frechet Forcing은 교사 모델이나 장시간 영상을 사용하지 않고, 자기 생성 기록과 실제 데이터 통계로 장면의 일관성을 유지한다.
더 보기칭화대 연구팀이 상호작용형 세계 모델에서 숨은 상태의 변화와 영상 렌더링을 분리하는 Stateful Harness를 제안했습니다. WorldState-Bench에서 동일한 고정 영상 모델을 사용하면서 쌍별 정답률을 92%까지 높였습니다.
더 보기스탠퍼드 연구진이 1억 개의 이미지-텍스트 쌍으로 처음부터 학습하는 초기 융합 멀티모달 자기회귀 모델 Halcyon을 제안했다. 실험 결과는 강력한 텍스트-이미지 생성에 인터넷 규모의 언어 사전학습이 반드시 필요한 것은 아닐 수 있음을 보여준다.
더 보기