LIBERO-Industry, 공장 제약 속 로봇 조작 능력을 평가하다
LIBERO-Industry는 제품 형상 변화, 이동하는 컨베이어, 제한된 실행 시간, 엄격한 배치 허용 오차를 로봇 평가에 반영한 벤치마크입니다. 산업 제약이 추가되고 결합될수록 범용 로봇 정책의 성능이 점진적으로 하락하는 현상을 보여줍니다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독LIBERO-Industry는 제품 형상 변화, 이동하는 컨베이어, 제한된 실행 시간, 엄격한 배치 허용 오차를 로봇 평가에 반영한 벤치마크입니다. 산업 제약이 추가되고 결합될수록 범용 로봇 정책의 성능이 점진적으로 하락하는 현상을 보여줍니다.
더 보기BizBench는 실제 결제 업무를 바탕으로 장기 에이전트의 최종 결과뿐 아니라 규정 적용, 권한 시점, 자원 제약, 실행 중 준법 여부를 평가한다. 실험 결과는 목표를 달성한 모델도 과정에서 중요한 업무 조건을 위반할 수 있음을 보여준다.
더 보기HexaShell은 시각언어모델 코딩 에이전트가 명령줄 하나로 양팔 로봇을 제어하도록 하는 얇은 하네스다. 에이전트는 실패 로그를 분석해 도구를 수정하며 RoboDojo 42개 과제에서 39.7%의 성공률을 기록했다.
더 보기새 연구는 이미지 생성 학습만으로도 일부 새로운 사실이 텍스트 질문응답으로 전이될 수 있음을 보여줍니다. 다만 전이는 고르지 않았으며, 텍스트 정렬과 이미지·텍스트 교차 정렬이 시각 지식에 대한 접근성을 높였습니다.
더 보기DiscoveryRSI는 과학 가설 발견을 반복 가능하고 실행 가능한 연구 과정으로 재구성한다. 다중 에이전트 탐색과 재귀적 학습을 통해 가설의 반증 가능성과 데이터 판별 가능성을 높인다.
더 보기DLite는 길고 계속 변하는 컨텍스트에서 추측 디코딩 효율이 떨어지는 문제를 겨냥한다. 타깃 모델이 이미 계산한 은닉 상태를 재사용해 드래프트 측에서 전체 히스토리와 KV 캐시를 별도로 유지하지 않고 로컬 예측을 수행한다.
더 보기SciΠvot은 선임 연구자가 LLM 연구 에이전트를 실제로 수정한 사례를 바탕으로 과학적 판단 능력을 평가합니다. 모델은 전문가가 고친 대안보다 원래 계획을 선택하는 경향을 보였습니다.
더 보기한 연구가 학습 가능한 임베딩 테이블을 사전 학습 임베딩에서 만든 512비트 고정 코드로 대체했습니다. 학습 파라미터와 저장 공간을 줄이면서 대부분의 벤치마크 성능을 유지했고, 삼진화 모델 전체를 46MB까지 축소했습니다.
더 보기새 벤치마크 연구는 언어 모델이 금융 개념을 높은 정확도로 인식하더라도 이를 뒷받침하는 수치 사실을 모두 찾아내지는 못한다고 밝혔다. 다국어 재무 분석에서는 개념 인식률만으로 모델의 신뢰성을 판단하기 어렵다.
더 보기기존 웹 생성 벤치마크는 대체로 고정된 사양을 한 번 구현하는 능력을 측정합니다. EvoWeb는 코드베이스를 여러 차례 수정하면서 새 기능과 기존 기능을 함께 유지하는 능력을 평가합니다.
더 보기한 논문이 아랍권의 두 사례를 통해 소셜미디어와 위성 영상을 결합해 재난 대응과 국내 강제이주 관측을 지원하는 AI의 가능성을 살펴봅니다.
더 보기웹페이지에 삽입된 제3자 문구는 브라우저 에이전트를 설득해 사용자의 권한으로 원치 않는 작업을 수행하게 만들 수 있다. Intact는 요소의 출처와 능력을 보존하고, 모델 바깥에서 실행 범위를 제한한다.
더 보기LiveMACE는 변화하는 금융시장에서 LLM 에이전트를 평가하는 과정 중심 벤치마크를 제안합니다. 최종 수익만으로는 도구 사용, 지속 메모리, 규칙 준수, 다중 에이전트 협업 능력을 제대로 판단하기 어렵다는 점을 보여줍니다.
더 보기ACT3D는 다중 시점 이미지나 완성된 3D 표현을 모델에 직접 제공하지 않고, 한 번에 한 장의 이미지를 보며 이동하고 새로운 시점을 얻도록 한다. 최종 답변의 정확도를 중심으로 한 강화학습을 통해 모델은 어디를 더 봐야 하는지 스스로 학습한다.
더 보기Speculative Sampling은 추가 학습 없이 큰 양방향 윈도우의 모델링 능력과 작은 윈도우의 빠른 응답성을 결합하는 서빙 기법입니다. 예측 결과를 캐시하고 확정된 부분부터 점진적으로 전달합니다.
더 보기TreeOPSD는 가치 네트워크 없이 장기 상호작용을 학습하는 강화학습 방법입니다. 공유 접두사에서 여러 후속 행동을 분기해 종료 보상으로 턴 단위 기여도를 추정하고, 정책 노후화를 줄이는 제한된 교사 분포를 사용합니다.
더 보기DuoDiscover는 코딩 에이전트가 무엇을 최적화할지뿐 아니라 진행 상황을 어떻게 빠르게 측정할지도 함께 찾도록 설계된 탐색 시스템입니다. 빠른 대리 평가기를 실제 평가와 반복적으로 대조해 잘못된 지표를 따라가는 문제를 줄입니다.
더 보기PhysClosureBench는 AI가 그럴듯한 계산을 생성하는 데서 그치지 않고, 필요한 증거를 구성하고 적용 범위를 점검해 과학적 결론까지 도달할 수 있는지 평가한다. 결과는 국소적 성과와 완전한 연구 종결 사이에 지속적인 격차가 있음을 보여준다.
더 보기OpenMobile-2는 110개가 넘는 앱을 아우르는 개방형 모바일 에이전트 학습 환경과 검증 가능한 강화학습 데이터를 제공합니다. 하나의 작업에서 GUI 조작과 앱 네이티브 도구 호출을 결합하는 방식도 실험합니다.
더 보기‘Into the Unknown’은 AI 에이전트에게 미해결 과학 문제의 후속 논문을 작성하게 하는 벤치마크입니다. 에이전트는 논문처럼 보이는 글은 만들었지만, 증거에 근거한 실제 연구를 수행하는 데에는 큰 격차를 보였습니다.
더 보기MOSS-Image는 5B 단일 스트림 확산 Transformer와 의도 인식형 프롬프트 강화 모듈을 결합한 이미지 생성 시스템입니다. 영어와 중국어 장문 렌더링, 정보 밀도가 높은 레이아웃 생성을 주요 목표로 삼습니다.
더 보기