CCTest · Blog
LIBERO-Industry, 공장 제약 속 로봇 조작 능력을 평가하다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

LIBERO-Industry, 공장 제약 속 로봇 조작 능력을 평가하다

LIBERO-Industry는 제품 형상 변화, 이동하는 컨베이어, 제한된 실행 시간, 엄격한 배치 허용 오차를 로봇 평가에 반영한 벤치마크입니다. 산업 제약이 추가되고 결합될수록 범용 로봇 정책의 성능이 점진적으로 하락하는 현상을 보여줍니다.

더 보기
CCTest · Blog
BizBench가 드러낸 장기 업무 에이전트 평가의 맹점
모델 평가
cctest.ai
모델 평가

BizBench가 드러낸 장기 업무 에이전트 평가의 맹점

BizBench는 실제 결제 업무를 바탕으로 장기 에이전트의 최종 결과뿐 아니라 규정 적용, 권한 시점, 자원 제약, 실행 중 준법 여부를 평가한다. 실험 결과는 목표를 달성한 모델도 과정에서 중요한 업무 조건을 위반할 수 있음을 보여준다.

더 보기
CCTest · Blog
HexaShell, VLM 코딩 에이전트로 로봇 제어의 한계 탐색
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

HexaShell, VLM 코딩 에이전트로 로봇 제어의 한계 탐색

HexaShell은 시각언어모델 코딩 에이전트가 명령줄 하나로 양팔 로봇을 제어하도록 하는 얇은 하네스다. 에이전트는 실패 로그를 분석해 도구를 수정하며 RoboDojo 42개 과제에서 39.7%의 성공률을 기록했다.

더 보기
CCTest · Blog
이미지 생성은 통합 멀티모달 모델의 지식을 확장할 수 있을까
멀티모달
cctest.ai
멀티모달

이미지 생성은 통합 멀티모달 모델의 지식을 확장할 수 있을까

새 연구는 이미지 생성 학습만으로도 일부 새로운 사실이 텍스트 질문응답으로 전이될 수 있음을 보여줍니다. 다만 전이는 고르지 않았으며, 텍스트 정렬과 이미지·텍스트 교차 정렬이 시각 지식에 대한 접근성을 높였습니다.

더 보기
CCTest · Blog
DLite, 에이전트 AI를 위한 히스토리 없는 추측 디코딩
추론·배포
cctest.ai
추론·배포

DLite, 에이전트 AI를 위한 히스토리 없는 추측 디코딩

DLite는 길고 계속 변하는 컨텍스트에서 추측 디코딩 효율이 떨어지는 문제를 겨냥한다. 타깃 모델이 이미 계산한 은닉 상태를 재사용해 드래프트 측에서 전체 히스토리와 KV 캐시를 별도로 유지하지 않고 로컬 예측을 수행한다.

더 보기
CCTest · Blog
임베딩은 과한 비용일까? 고정 토큰 코드로 소형 LM을 46MB로
추론·배포
cctest.ai
추론·배포

임베딩은 과한 비용일까? 고정 토큰 코드로 소형 LM을 46MB로

한 연구가 학습 가능한 임베딩 테이블을 사전 학습 임베딩에서 만든 512비트 고정 코드로 대체했습니다. 학습 파라미터와 저장 공간을 줄이면서 대부분의 벤치마크 성능을 유지했고, 삼진화 모델 전체를 46MB까지 축소했습니다.

더 보기
CCTest · Blog
인식과 근거화는 다르다: 다국어 금융 증거 추출의 한계
모델 평가
cctest.ai
모델 평가

인식과 근거화는 다르다: 다국어 금융 증거 추출의 한계

새 벤치마크 연구는 언어 모델이 금융 개념을 높은 정확도로 인식하더라도 이를 뒷받침하는 수치 사실을 모두 찾아내지는 못한다고 밝혔다. 다국어 재무 분석에서는 개념 인식률만으로 모델의 신뢰성을 판단하기 어렵다.

더 보기
CCTest · Blog
브라우저 에이전트 보안의 기준은 문구가 아니라 웹 요소의 의미
AI 안전
cctest.ai
AI 안전

브라우저 에이전트 보안의 기준은 문구가 아니라 웹 요소의 의미

웹페이지에 삽입된 제3자 문구는 브라우저 에이전트를 설득해 사용자의 권한으로 원치 않는 작업을 수행하게 만들 수 있다. Intact는 요소의 출처와 능력을 보존하고, 모델 바깥에서 실행 범위를 제한한다.

더 보기
CCTest · Blog
LiveMACE, 수익을 넘어 LLM 에이전트의 실제 역량을 진단하다
모델 평가
cctest.ai
모델 평가

LiveMACE, 수익을 넘어 LLM 에이전트의 실제 역량을 진단하다

LiveMACE는 변화하는 금융시장에서 LLM 에이전트를 평가하는 과정 중심 벤치마크를 제안합니다. 최종 수익만으로는 도구 사용, 지속 메모리, 규칙 준수, 다중 에이전트 협업 능력을 제대로 판단하기 어렵다는 점을 보여줍니다.

더 보기
CCTest · Blog
ACT3D, 비전언어 모델에 3D 공간 능동 탐색을 가르치다
AI 에이전트
cctest.ai
AI 에이전트

ACT3D, 비전언어 모델에 3D 공간 능동 탐색을 가르치다

ACT3D는 다중 시점 이미지나 완성된 3D 표현을 모델에 직접 제공하지 않고, 한 번에 한 장의 이미지를 보며 이동하고 새로운 시점을 얻도록 한다. 최종 답변의 정확도를 중심으로 한 강화학습을 통해 모델은 어디를 더 봐야 하는지 스스로 학습한다.

더 보기
CCTest · Blog
TreeOPSD, 트리 구조와 사후 증류로 장기 에이전트 강화학습 개선
강화학습
cctest.ai
강화학습

TreeOPSD, 트리 구조와 사후 증류로 장기 에이전트 강화학습 개선

TreeOPSD는 가치 네트워크 없이 장기 상호작용을 학습하는 강화학습 방법입니다. 공유 접두사에서 여러 후속 행동을 분기해 종료 보상으로 턴 단위 기여도를 추정하고, 정책 노후화를 줄이는 제한된 교사 분포를 사용합니다.

더 보기
CCTest · Blog
DuoDiscover, 빠른 평가기로 자율 발견의 병목을 넘다
모델 평가
cctest.ai
모델 평가

DuoDiscover, 빠른 평가기로 자율 발견의 병목을 넘다

DuoDiscover는 코딩 에이전트가 무엇을 최적화할지뿐 아니라 진행 상황을 어떻게 빠르게 측정할지도 함께 찾도록 설계된 탐색 시스템입니다. 빠른 대리 평가기를 실제 평가와 반복적으로 대조해 잘못된 지표를 따라가는 문제를 줄입니다.

더 보기
CCTest · Blog
AI 에이전트는 물리 연구를 실제로 완결할 수 있을까
AI 과학 연구
cctest.ai
AI 과학 연구

AI 에이전트는 물리 연구를 실제로 완결할 수 있을까

PhysClosureBench는 AI가 그럴듯한 계산을 생성하는 데서 그치지 않고, 필요한 증거를 구성하고 적용 범위를 점검해 과학적 결론까지 도달할 수 있는지 평가한다. 결과는 국소적 성과와 완전한 연구 종결 사이에 지속적인 격차가 있음을 보여준다.

더 보기
CCTest · Blog
OpenMobile-2, 개방형 환경과 네이티브 도구로 모바일 에이전트 고도화
AI 에이전트
cctest.ai
AI 에이전트

OpenMobile-2, 개방형 환경과 네이티브 도구로 모바일 에이전트 고도화

OpenMobile-2는 110개가 넘는 앱을 아우르는 개방형 모바일 에이전트 학습 환경과 검증 가능한 강화학습 데이터를 제공합니다. 하나의 작업에서 GUI 조작과 앱 네이티브 도구 호출을 결합하는 방식도 실험합니다.

더 보기
CCTest · Blog
AI 에이전트는 독립적으로 과학 연구를 할 수 있을까? 벤치마크가 드러낸 한계
AI 과학 연구
cctest.ai
AI 과학 연구

AI 에이전트는 독립적으로 과학 연구를 할 수 있을까? 벤치마크가 드러낸 한계

‘Into the Unknown’은 AI 에이전트에게 미해결 과학 문제의 후속 논문을 작성하게 하는 벤치마크입니다. 에이전트는 논문처럼 보이는 글은 만들었지만, 증거에 근거한 실제 연구를 수행하는 데에는 큰 격차를 보였습니다.

더 보기
CCTest · Blog
MOSS-Image, 오픈 이미지 생성의 장문 텍스트와 복잡한 레이아웃에 도전
확산 모델
cctest.ai
확산 모델

MOSS-Image, 오픈 이미지 생성의 장문 텍스트와 복잡한 레이아웃에 도전

MOSS-Image는 5B 단일 스트림 확산 Transformer와 의도 인식형 프롬프트 강화 모듈을 결합한 이미지 생성 시스템입니다. 영어와 중국어 장문 렌더링, 정보 밀도가 높은 레이아웃 생성을 주요 목표로 삼습니다.

더 보기