CUA-SWE, 화면을 보고 수정까지 검증하는 소프트웨어 에이전트 평가
CUA-SWE는 코드 편집, 명령 실행, GUI 조작, 시각적 피드백 확인을 하나의 소프트웨어 엔지니어링 과제로 묶습니다. 코딩 에이전트와 컴퓨터 사용 에이전트 사이의 평가 공백을 다루는 것이 핵심입니다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독CUA-SWE는 코드 편집, 명령 실행, GUI 조작, 시각적 피드백 확인을 하나의 소프트웨어 엔지니어링 과제로 묶습니다. 코딩 에이전트와 컴퓨터 사용 에이전트 사이의 평가 공백을 다루는 것이 핵심입니다.
더 보기프레임을 시간 순서대로 처리하고 전체 셔플이나 반복 재생을 허용하지 않으면 기존 시각 자기지도학습 방법의 성능이 크게 떨어진다. 연구진은 스트림에 맞춘 입력 처리와 정규화를 결합한 StreamMAE를 제안했다.
더 보기NVIDIA 연구진이 객체, 원인, 상호작용, 시간적 변화와 결과를 설명하는 물리 언어를 데이터 정제·모델 학습·비디오 생성의 공통 표현으로 사용하는 Physis-Lang을 제안했습니다. 원자적 주장 평가와 언어 기반 검색을 통해 물리적으로 더 타당한 영상을 생성하는 것이 목표입니다.
더 보기A2Z GameSpec-Bench는 100개의 장문 게임 디자인 문서를 바탕으로 코딩 에이전트가 실행 가능한 코드뿐 아니라 설계 의도까지 구현하는지 평가한다. 소스 코드 검사와 시나리오 재생, 적응형 플레이테스트를 함께 사용해 상호 의존적인 요구사항을 검증한다.
더 보기PatchHolmes는 하이브리드 검색으로 후보를 좁힌 뒤 에이전트가 후보 목록 전체를 비교하도록 해 실제 취약점 수정 커밋을 선택한다. 개별 후보를 따로 판정하는 방식보다 높은 Top-1 검색 성능을 더 적은 대화 횟수로 달성했다.
더 보기AREX-2는 자기개선형 에이전트의 핵심을 ‘반성’과 ‘장기 실행’으로 나누고, 머신러닝 및 알고리즘 프로그래밍 과제에서 장기 개선 궤적을 합성해 학습하는 접근법을 제시한다. 기술 과제에서 학습한 능력은 딥 리서치 평가에도 전이됐다.
더 보기자동화된 연구의 병목은 실험 실행뿐 아니라 어떤 연구 방향에 자원을 투입할지 결정하는 데 있습니다. AIM은 아이디어 정리, 방향 선택, 구현 감사, 실험 예산 배분을 하나의 탐색 과정으로 통합합니다.
더 보기보상 모델은 더 길거나 자신감 있어 보이는 답변, 사용자에게 더 동조하는 답변을 실제로 더 좋은 답변으로 오인할 수 있다. BiasReducer는 선형 보상 헤드만 편집하고 데이터셋별로 필요한 보정을 선택한다.
더 보기새 연구는 기반 모델을 바꾸지 않아도 학습 가능한 잠재 통신 링크가 거부 행동을 약화시킬 수 있음을 보여준다. 링크를 악의적으로 최적화하면 유해 요청에 대한 순응을 키울 수 있지만, 안전성을 반영한 보상으로 링크를 복구할 가능성도 제시됐다.
더 보기WUSH-KV는 캘리브레이션 데이터에서 Key와 Value에 맞는 변환을 각각 학습해 저비트 KV 캐시 양자화 오류를 줄이는 방법입니다. 2비트 평가에서 검증된 모델과 다운스트림 작업 전반에 걸쳐 OSCAR 변환과 비슷하거나 더 나은 결과가 보고됐습니다.
더 보기비침습형 뇌-텍스트 모델이 뇌 신호보다 단어의 발화 시간을 활용했을 가능성이 제기됐다. 입력 윈도우를 독립적으로 처리하자 신경 정보에 대한 의존도가 높아지고 반복 관측과 언어 모델의 효과도 커졌다.
더 보기로봇이 목표물로 이동하는 동안에도 물체의 위치는 바뀔 수 있습니다. EvolvingNav는 시간 정보가 담긴 3D 기억과 확률적 신념 업데이트를 결합해 변화하는 환경에서의 지속적 탐색을 시도합니다.
더 보기EvoDuet은 웹 검색을 고정된 부가 기능이 아니라 해답 후보와 함께 개선되는 탐색 과정으로 다룬다. 여러 과학 최적화 과제에서 성능을 높였지만, 효과는 모델별로 크게 달랐다.
더 보기WorldAuditBench는 3D 환경을 탐색하고 이상을 찾아 검증하는 능력을 측정하는 벤치마크입니다. 실험 결과, 현재 모델은 이동 계획과 시각적 추론을 연결하는 데 여전히 큰 어려움을 보였습니다.
더 보기Agent Error Dataset은 LLM 에이전트의 실패 궤적을 검증 가능한 학습 신호로 바꾸는 데이터셋입니다. 50,228개의 오류-진단 쌍을 통해 실패 원인 분석과 구체적인 행동 수정이 연결됩니다.
더 보기MaLiang-Harness는 이미지와 동영상 생성에서 코드가 실행되더라도 결과가 요구사항과 다를 수 있다는 ‘프로그램-시각’ 간극을 다룹니다. 프로그램 상태, 렌더링 증거, 수정 이력을 연결해 생성 과정을 반복적인 점검과 수정의 루프로 구성합니다.
더 보기Omni-IO Skills는 파운데이션 모델을 다시 학습시키는 대신 기존 에이전트 주변에 Skills와 실행 관리 계층을 추가한다. 이를 통해 이미지, 오디오, 비디오, 문서, 3D, 코드가 연결된 작업을 하나의 워크플로로 조정한다.
더 보기로봇 인컨텍스트 학습을 네 가지 실행 인터페이스로 정리한 서베이를 소개합니다. 시연에서 얻은 요구사항을 환경과 물체가 달라져도 유지하는 방법과 평가 기준을 살펴봅니다.
더 보기새로운 실증 연구는 세계 행동 모델이 추론 단계에서 미래 영상을 끝까지 생성하지 않아도 일반화 성능의 이점을 유지할 수 있음을 시사한다. 핵심은 행동을 결정하기 전에 미래 표현을 준비하는 과정이다.
더 보기청크형 KV 캐시 압축을 사용하는 모델은 같은 정보라도 압축 창 안의 위치에 따라 검색 성능이 달라질 수 있습니다. 평균 점수만으로는 주기적으로 반복되는 약점을 놓칠 수 있습니다.
더 보기Yandex Research가 사전 학습된 모델이 관찰·추론·행동을 동시에 수행하도록 돕는 오픈소스 프레임워크 AsyncLLM을 공개했다. 별도의 작업 특화 학습 없이 Qwen 3.x 모델을 스트리밍 영상 이해, 비디오게임, 모니터링에 적용한 사례를 제시했다.
더 보기