FDE-Gym이 시험한 AI 에이전트의 실제 고객 납품 능력
FDE-Gym은 요구사항이 불완전하고 고객 시스템을 직접 수정할 수 있는 환경에서 AI 에이전트를 평가한다. 결과는 숨은 제약을 찾아내고 실제 비즈니스 지표를 안정적으로 개선하는 일이 여전히 가장 큰 난제임을 보여준다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독FDE-Gym은 요구사항이 불완전하고 고객 시스템을 직접 수정할 수 있는 환경에서 AI 에이전트를 평가한다. 결과는 숨은 제약을 찾아내고 실제 비즈니스 지표를 안정적으로 개선하는 일이 여전히 가장 큰 난제임을 보여준다.
더 보기알리바바 MAI-UI 팀이 범용 컴퓨터 사용 에이전트 프로젝트 OpenGCUA의 첫 버전을 공개했다. 모델이 관찰 방식과 행동 수단, 작업 진행 방식을 직접 선택하고 GUI와 프로그래밍 인터페이스를 함께 활용하는 구조를 지향한다.
더 보기‘Self-Evolving Agent Harness’는 기반 모델의 가중치를 바꾸지 않고 프롬프트, 메모리, 워크플로, 도구와 실행 로직을 지속적으로 개선하는 프레임워크를 제시한다. 영구적인 수정이 실제 성능 향상인지 검증하기 위한 평가 기준과 이론도 함께 다룬다.
더 보기3DCodeVerse는 3D 생성을 일회성 시각 결과가 아니라 실행 가능한 프로그램을 만드는 작업으로 재정의합니다. 대규모 3D 코드 데이터셋과 생성 결과를 자동으로 검사하고 수정하는 멀티 에이전트 하니스를 결합했습니다.
더 보기MAI-Gym은 모바일, 데스크톱, 웹 환경에서 GUI 에이전트를 평가하고 학습시키기 위한 오픈 플랫폼입니다. 함께 공개된 MAI-Gym-9B는 100억 개 미만 파라미터의 오픈 GUI 에이전트 가운데 높은 성능을 보고했습니다.
더 보기Mosaic은 컨텍스트 압축과 서브에이전트 포킹으로 발생하는 멀티 세션 실행을 강화학습에 반영하는 방법을 제안한다. 전체 궤적의 성공 여부뿐 아니라 각 세션의 기여도와 사용 효율까지 학습 신호로 활용한다.
더 보기VLA-Δ는 시각·언어·행동 모델에 물리 상태 전이 supervision을 명시적으로 추가한다. 물체, 그리퍼, 접촉 관계의 변화를 학습하면서도 추론 단계에서는 현재 관측만으로 행동을 직접 생성한다.
더 보기AutoSFT는 지도 미세 조정 데이터를 단순히 선택하거나 생성하는 대신, 비율 조정·삭제·복구·교체·합성까지 포함하는 탐색 문제로 다룹니다. 실행, 분석, 합성 에이전트가 협력해 학습 데이터 레시피를 반복적으로 개선합니다.
더 보기OneWM은 행동 조건부 세계 예측과 행동 생성을 하나의 비디오-행동 모델에서 함께 학습하는 프레임워크입니다. 실험 결과는 행동 결과를 이해하는 능력과 정책 학습이 서로를 개선할 수 있음을 보여줍니다.
더 보기SpecAgent는 도구를 사용하는 에이전트를 위해 궤적 단위 추측 실행을 제안합니다. 소형 모델이 실제 관찰에 기반해 읽기 전용 단계를 작성하고, 대형 모델이 이를 한 번에 의미적으로 검증해 품질을 유지하면서 순차 디코딩을 줄입니다.
더 보기Data World는 분석 대상 파일을 만들기 전에 그 배후의 데이터 생성 메커니즘을 정의하는 방법을 제안한다. 데이터, 과제, 평가 기준을 하나의 환경에서 함께 생성해 검증하기 어려운 데이터 에이전트의 훈련을 확장한다.
더 보기Athanor는 AI 에이전트가 데이터 구성부터 학습 코드 수정과 평가까지 직접 수행하도록 설계된 후학습 연구 시스템입니다. 104시간의 실험에서 Qwen3-4B-Base를 공식 지시튜닝 모델에 필적하는 수준으로 끌어올렸습니다.
더 보기Cowork-Gym은 ‘구축·실행·수정’ 루프로 실행 가능한 업무 환경을 대규모로 합성한다. 이 환경으로 학습한 Qwen 모델은 여러 에이전트 벤치마크에서 기반 모델보다 높은 성능을 보였다.
더 보기RoTA-Bench는 2D 실루엣에서 3D 구조를 추론하고 시각적 피드백에 따라 물체를 연속 회전할 수 있는지 평가한다. 실험 결과, 모델은 자세 판단과 세밀한 제어에서 인간보다 크게 뒤처졌다.
더 보기MJev-Spatial은 공간 질의응답, 수치 추정, 이미지 포인팅을 후보 분류 문제로 통합한 멀티모달 모델입니다. 사전 학습된 어텐션 투영을 재사용해 답변 토큰을 생성하지 않고 판단합니다.
더 보기JevAgentHarness는 LLM 에이전트의 도구 선택을 전용 의사결정 모델에 맡길 수 있는 조건을 연구한다. 신뢰도에 따라 위임 여부를 조절해 비용과 지연을 줄이는 접근이다.
더 보기DeltaStreamer는 변화 인식 메모리, 질의 기반 계획, 선택적 과거 프레임 재생을 결합해 스트리밍 영상 이해에서 발생하는 증거 손실 문제를 다룬다.
더 보기Velox는 카메라 절두체 기하를 활용해 현재 비디오 블록과 관련성이 높은 과거 영역만 선택하는 학습 불필요 어텐션 라우터입니다. 계속 커지는 KV 캐시의 비용을 줄이면서 밀집 어텐션에 가까운 내비게이션 성능을 유지하는 것을 목표로 합니다.
더 보기WorldMemBench는 비디오 월드 모델이 과거에 본 내용을 보존하고, 시야 밖에서 발생한 변화까지 일관되게 유지하는지 평가하는 벤치마크다. 260개 테스트와 9개 대표 모델의 평가에서 정적 시각 일관성만으로는 동적 상태 진화를 보장할 수 없다는 점이 드러났다.
더 보기LeanPRM은 모델이 생성한 자연어 증명과 Lean 형식 증명을 연결해 각 단계의 정확성을 자동으로 표시한다. 사람의 단계별 주석에 대한 의존을 줄이고, 수학 증명 검증기의 성능을 높이는 접근이다.
더 보기LEASH는 약한 에이전트를 기본 실행자로 사용하다가 불확실성이 높아질 때만 강한 모델로 제어권을 넘기는 학습 불필요 프레임워크입니다. 인계 이후에는 섀도 오버서버가 블랙박스 강한 에이전트의 행동을 계속 점검합니다.
더 보기