CCTest · Blog
Sauron, 판정보다 증거를 먼저 확인하는 에이전트 평가
모델 평가
cctest.ai
모델 평가

Sauron, 판정보다 증거를 먼저 확인하는 에이전트 평가

장기 작업을 수행하는 에이전트의 성공 근거는 환경 상태와 실행 기록에 흩어져 있어 단순한 루브릭 평가만으로는 오류가 생기기 쉽다. Sauron은 에이전트의 주장을 그대로 받아들이지 않고 원천 증거를 독립적으로 검증한 뒤 판정한다.

더 보기
CCTest · Blog
안전 벤치마크가 측정하는 것은 능력일까, 학습된 정책일까
AI 안전
cctest.ai
AI 안전

안전 벤치마크가 측정하는 것은 능력일까, 학습된 정책일까

가드레일 분류기의 안전 점수는 위험 요청을 탐지하는 능력뿐 아니라 학습 라벨에 포함된 운영 정책에 크게 좌우될 수 있다. 연구에서는 작은 파라미터 변경과 교사 모델의 소프트 라벨만으로도 평가 결과가 크게 달라졌다.

더 보기
CCTest · Blog
CoPE, 행동과 예측을 함께 학습하는 언어 에이전트 강화학습
AI 에이전트
cctest.ai
AI 에이전트

CoPE, 행동과 예측을 함께 학습하는 언어 에이전트 강화학습

CoPE는 언어 에이전트 강화학습에 다중 단계 행동 예측을 추가해 최종 보상뿐 아니라 성공 궤적의 중간 정보도 학습에 활용합니다. 5개 벤치마크에서 GRPO 등 비교 방법보다 강한 종합 성능을 보였고, 일부 기준선 대비 샘플 효율은 최대 약 2배에 달했습니다.

더 보기
CCTest · Blog
HandsOn, 손재주 조작 로봇의 일반화 능력을 대규모로 평가
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

HandsOn, 손재주 조작 로봇의 일반화 능력을 대규모로 평가

HandsOn은 로봇 형태와 물체, 공간 관계, 작업 요구가 달라져도 조작 기술이 유지되는지를 평가하는 조합형 시뮬레이션 플랫폼이자 벤치마크입니다. 실험 결과는 접촉 형성, 손가락 협응, 새로운 작업으로의 전이가 여전히 어려운 문제임을 보여줍니다.

더 보기
CCTest · Blog
표현 디코딩에서 잠재 세계 이해로: JEPA 해석 가능성의 새 방향
월드 모델
cctest.ai
월드 모델

표현 디코딩에서 잠재 세계 이해로: JEPA 해석 가능성의 새 방향

JEPA는 표현 학습을 넘어 예측·계획·제어를 지원하는 잠재 세계 모델로 발전하고 있다. 새로운 관점 논문은 해석 가능성이 잠재 표현에서 무엇을 읽어낼 수 있는지보다, 잠재 변수가 어떻게 상호작용하고 변화하며 예측을 인과적으로 이끄는지를 다뤄야 한다고 주장한다.

더 보기
CCTest · Blog
엣지 에이전트와 클라우드의 협업: 실행 전반을 제어하는 새로운 방식
AI 에이전트
cctest.ai
AI 에이전트

엣지 에이전트와 클라우드의 협업: 실행 전반을 제어하는 새로운 방식

새 연구는 장기 작업을 수행하는 LLM 에이전트를 대상으로 EC2-Bench를 제안하고 성능, 자원 사용량, 개인정보 노출을 함께 평가했다. 엣지 모델이 강해질수록 클라우드가 직접 실행하는 방식보다 엣지가 판단하고 클라우드가 조언하는 방식이 유리해진다.

더 보기
CCTest · Blog
집합 단위 강화학습으로 더 다양한 과학 아이디어를 만드는 모델
AI 과학 연구
cctest.ai
AI 과학 연구

집합 단위 강화학습으로 더 다양한 과학 아이디어를 만드는 모델

새 연구는 과학 아이디어를 개별 답변이 아니라 하나의 후보 집합으로 평가하는 방법을 제안했다. 8B 모델은 아이디어의 품질과 다양성을 함께 측정하는 지표에서 높은 성능을 보였고, 실행 가능성도 크게 떨어뜨리지 않았다.

더 보기
CCTest · Blog
CyberArena, 실시간 공격·방어로 AI 에이전트 평가
모델 평가
cctest.ai
모델 평가

CyberArena, 실시간 공격·방어로 AI 에이전트 평가

CyberArena는 고정된 표적을 공략하는 기존 보안 평가를 넘어, AI 에이전트가 여러 라운드 동안 공격과 방어를 동시에 수행하는 대결을 제시한다. 40개 과제와 466경기를 통해 실시간 방어가 모델 간 차이를 어떻게 드러내는지 보여줬다.

더 보기
CCTest · Blog
OR-License, 실제 업무 자료로 LLM 에이전트의 운영연구 능력 평가
모델 평가
cctest.ai
모델 평가

OR-License, 실제 업무 자료로 LLM 에이전트의 운영연구 능력 평가

OR-License는 실제 고객 자료를 바탕으로 LLM 에이전트가 운영연구 문제를 이해하고 실행 가능한 해법으로 납품할 수 있는지 평가합니다. 조건부 최적화 성능은 높았지만, 실행 가능성과 전체 신뢰성에서는 전문가와의 격차가 남았습니다.

더 보기
CCTest · Blog
AdaExploreBench, 변화하는 환경에서 LLM 에이전트의 탐색과 적응을 평가
모델 평가
cctest.ai
모델 평가

AdaExploreBench, 변화하는 환경에서 LLM 에이전트의 탐색과 적응을 평가

AdaExploreBench는 LLM 에이전트가 숨겨진 환경 규칙을 스스로 발견하고, 필요한 증거를 수집하며, 규칙 변화에 대응할 수 있는지를 측정한다. 실험은 주어진 정보를 추론하는 능력보다 유용한 정보를 능동적으로 찾는 능력이 더 큰 약점일 수 있음을 보여준다.

더 보기
CCTest · Blog
BlenderWorld, 시각 에이전트의 실제 3D 제작 능력을 평가하다
모델 평가
cctest.ai
모델 평가

BlenderWorld, 시각 에이전트의 실제 3D 제작 능력을 평가하다

BlenderWorld는 실제 참고 자료를 바탕으로 3D 콘텐츠를 제작하는 시각 에이전트를 위한 벤치마크입니다. 최신 모델들은 넓은 의미의 지시를 이해하지만, 공간적 일관성, 구조 재현, 편집 가능한 Blender 프로젝트 완성에서는 여전히 한계를 보였습니다.

더 보기
CCTest · Blog
로봇 플릿이 경험을 공유해 배운다: 배포 중 정책 개선
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

로봇 플릿이 경험을 공유해 배운다: 배포 중 정책 개선

새 연구는 배포된 로봇들이 실행 경험을 공유하고, 실패 상황과 관련된 성공 궤적에서 유용한 행동을 검색하는 집단 학습 방식을 제안했다. 추가 전문가 교정 데이터를 수집하지 않고도 조작 정책의 신뢰성을 높이는 것이 목표다.

더 보기
CCTest · Blog
OpenVLHarness, 시각 모델에 재사용 가능한 증거와 기억을 제공하다
멀티모달
cctest.ai
멀티모달

OpenVLHarness, 시각 모델에 재사용 가능한 증거와 기억을 제공하다

OpenVLHarness는 멀티모달 모델이 시각 도구, 웹 검색, Python 계산을 함께 사용하도록 하는 학습 없는 추론 프레임워크입니다. 도구가 얻은 이미지와 데이터를 추론 과정에서 보존해 이후 단계에서 다시 활용할 수 있습니다.

더 보기
CCTest · Blog
Self-HPO, 코딩 에이전트의 Harness와 정책을 함께 진화시키다
코딩 AI
cctest.ai
코딩 AI

Self-HPO, 코딩 에이전트의 Harness와 정책을 함께 진화시키다

Self-HPO는 코딩 에이전트가 자신의 실패를 분석해 새로운 Harness 후보를 제안하고, 선택된 환경에서 정책 모델을 강화학습하는 순환형 프레임워크입니다. 세 가지 코드 벤치마크에서 Qwen3.5-35B-A3B의 평균 해결률을 57.8%에서 64.8%로 높였습니다.

더 보기
CCTest · Blog
AffordanceWAM, 인간 영상을 로봇 조작의 공통 인터페이스로 활용
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

AffordanceWAM, 인간 영상을 로봇 조작의 공통 인터페이스로 활용

AffordanceWAM은 인간 영상에서 물체와 상호작용 영역, 장면의 변화를 학습한 뒤 제한된 로봇 궤적을 이용해 조작 행동을 생성하는 모델입니다. 인간 행동 라벨이나 모션 리타게팅이 필요하지 않습니다.

더 보기
CCTest · Blog
Frechet Forcing: 짧은 영상으로 장기 안정성을 높이는 세계 모델
월드 모델
cctest.ai
월드 모델

Frechet Forcing: 짧은 영상으로 장기 안정성을 높이는 세계 모델

스트리밍 세계 모델은 자신의 예측을 다음 입력으로 사용하기 때문에 긴 롤아웃에서 오차가 누적되기 쉽다. Frechet Forcing은 교사 모델이나 장시간 영상을 사용하지 않고, 자기 생성 기록과 실제 데이터 통계로 장면의 일관성을 유지한다.

더 보기
CCTest · Blog
Stateful Harness, 세계 모델에 ‘규칙 실행 후 영상 생성’ 구조를 도입
월드 모델
cctest.ai
월드 모델

Stateful Harness, 세계 모델에 ‘규칙 실행 후 영상 생성’ 구조를 도입

칭화대 연구팀이 상호작용형 세계 모델에서 숨은 상태의 변화와 영상 렌더링을 분리하는 Stateful Harness를 제안했습니다. WorldState-Bench에서 동일한 고정 영상 모델을 사용하면서 쌍별 정답률을 92%까지 높였습니다.

더 보기
CCTest · Blog
언어 사전학습 없이 텍스트-이미지 생성을 학습하는 Halcyon
멀티모달
cctest.ai
멀티모달

언어 사전학습 없이 텍스트-이미지 생성을 학습하는 Halcyon

스탠퍼드 연구진이 1억 개의 이미지-텍스트 쌍으로 처음부터 학습하는 초기 융합 멀티모달 자기회귀 모델 Halcyon을 제안했다. 실험 결과는 강력한 텍스트-이미지 생성에 인터넷 규모의 언어 사전학습이 반드시 필요한 것은 아닐 수 있음을 보여준다.

더 보기