CCTest · Blog
RAG 인덱스를 확장하면 답변이 달라지는 이유
모델 평가
cctest.ai
모델 평가

RAG 인덱스를 확장하면 답변이 달라지는 이유

모델과 프롬프트, 검색 정책을 그대로 유지해도 검색 인덱스를 확장하면 같은 질문에 대한 답변이 바뀔 수 있다는 연구 결과가 나왔다. 연구진은 일반적인 생성 변동성과 인덱스 업데이트의 영향을 분리하는 ‘스냅샷 호환성 감사’를 제안했다.

더 보기
CCTest · Blog
한 번의 성공은 신뢰성이 아니다: Thinkingbox로 업무 에이전트 평가하기
모델 평가
cctest.ai
모델 평가

한 번의 성공은 신뢰성이 아니다: Thinkingbox로 업무 에이전트 평가하기

Thinkingbox는 그럴듯한 답변이나 올바른 도구 호출을 넘어, 업무 흐름이 끝난 뒤 백엔드 상태가 요구사항과 일치하는지 검증합니다. 벤치마크 결과는 우연한 성공과 반복 가능한 실행 능력 사이에 큰 차이가 있음을 보여줍니다.

더 보기
CCTest · Blog
RIBOSPAN, 전체 RNA 전사체를 위한 네이티브 장문맥 모델
AI 과학 연구
cctest.ai
AI 과학 연구

RIBOSPAN, 전체 RNA 전사체를 위한 네이티브 장문맥 모델

RIBOSPAN은 최대 10,240개 뉴클레오타이드의 문맥으로 사전학습한 16억 1천만 파라미터 양방향 RNA 파운데이션 모델입니다. 연구진은 짧은 문맥 모델을 추론 단계에서 확장하는 방식보다 네이티브 장문맥 학습이 전체 전사체 표현에 더 안정적일 수 있음을 보였습니다.

더 보기
CCTest · Blog
ReWorld, 인터랙티브 월드 모델에 장기 기억을 더하다
월드 모델
cctest.ai
월드 모델

ReWorld, 인터랙티브 월드 모델에 장기 기억을 더하다

ReWorld는 학습 단계에서 단기 행동 제어와 장기 장면 기억을 분리하고, 추론 단계에서는 제한된 KV 캐시와 카메라 포즈 기반 랜드마크 검색을 결합합니다. 무한히 커지는 문맥 없이도 사용자가 다시 방문한 장소의 정보를 불러오려는 접근입니다.

더 보기
CCTest · Blog
GameXpert-Bench: 게임 생성에서 실제 개발까지 평가하다
모델 평가
cctest.ai
모델 평가

GameXpert-Bench: 게임 생성에서 실제 개발까지 평가하다

GameXpert-Bench는 코딩 에이전트의 게임 개발 능력을 생성, 버그 수정, 다중 턴 최적화의 전체 과정에서 평가한다. 에이전트는 플레이 가능한 기반을 만드는 데는 강하지만, 능동적인 결함 발견과 런타임 검증, 회귀 방지에는 여전히 약점을 보인다.

더 보기
CCTest · Blog
MobilePA-Bench, 복잡한 실제 작업으로 모바일 에이전트를 검증하다
모델 평가
cctest.ai
모델 평가

MobilePA-Bench, 복잡한 실제 작업으로 모바일 에이전트를 검증하다

MobilePA-Bench는 단순한 화면 조작을 넘어 도구 호출, 장기 계획, 메모리, 복합 스킬, 서브에이전트 협업을 평가하는 인터랙티브 벤치마크입니다. 엄격한 도구 순서와 권한 제한, 실행 중 오류가 발생하면 최신 LLM의 신뢰성이 크게 떨어지는 것으로 나타났습니다.

더 보기
CCTest · Blog
검색은 좋아졌지만 견고성은 약해졌다: 멀티홉 RAG가 ASR 오류를 키우는 방식
RAG·검색
cctest.ai
RAG·검색

검색은 좋아졌지만 견고성은 약해졌다: 멀티홉 RAG가 ASR 오류를 키우는 방식

음성 기반 멀티홉 질의응답에서 더 풍부한 검색 구조가 절대 성능은 높이지만, 상류 음성인식 오류에는 오히려 더 취약할 수 있다는 연구 결과가 나왔다. 특히 질의 속 엔터티가 잘못 인식되는 현상이 오류 전파의 핵심 원인으로 나타났다.

더 보기
CCTest · Blog
WorldToken, 시간 중심으로 로봇 모방학습을 설계하다
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

WorldToken, 시간 중심으로 로봇 모방학습을 설계하다

WorldToken은 각 정책 시점의 다중 시점 이미지, 고유수용감각, 작업 조건을 하나의 월드 토큰으로 묶고 시간 순서로 모델링합니다. 실험은 목표 도메인 데이터와 긴 시간 문맥이 로봇 조작에 중요하다는 점을 보여줍니다.

더 보기
CCTest · Blog
생성에서 시뮬레이션으로: 월드 모델은 진짜 시뮬레이터에 얼마나 가까워졌나
월드 모델
cctest.ai
월드 모델

생성에서 시뮬레이션으로: 월드 모델은 진짜 시뮬레이터에 얼마나 가까워졌나

한 연구가 전통적 시뮬레이터의 8가지 역량을 기준으로 월드 모델의 발전과 한계를 체계적으로 평가했다. 상호작용과 제어에서는 성과가 있지만, 물리 법칙의 보장과 상태 피드백, 장기 재현성에는 여전히 큰 격차가 있다.

더 보기
CCTest · Blog
LongRCA Bench, 장기 에이전트 실패의 책임자와 최초 원인을 찾다
모델 평가
cctest.ai
모델 평가

LongRCA Bench, 장기 에이전트 실패의 책임자와 최초 원인을 찾다

LongRCA Bench는 장기 실행 에이전트의 실패를 책임 역할 식별과 가장 이른 결정적 근본 원인 단계 탐지라는 두 과제로 나눠 평가한다. 1,140개의 실제 실패 궤적과 학습이 필요 없는 RCTA 방법을 함께 제시했다.

더 보기