CCTest · Blog
RSI Arena, 인간 피드백으로 AI 에이전트가 모델을 개선할 수 있는지 검증
AI 에이전트
cctest.ai
AI 에이전트

RSI Arena, 인간 피드백으로 AI 에이전트가 모델을 개선할 수 있는지 검증

RSI Arena는 AI 에이전트가 언어 모델의 추가 학습을 자율적으로 수행하고 인간 선호 피드백을 활용해 다시 개선할 수 있는지 조사했습니다. 선호도는 대체로 높아졌지만, 벤치마크 성능과 안전성이 함께 개선되지는 않았습니다.

더 보기
CCTest · Blog
에이전트 메모리는 정말 이득일까: ‘Memory Tax’의 의미
메모리·컨텍스트
cctest.ai
메모리·컨텍스트

에이전트 메모리는 정말 이득일까: ‘Memory Tax’의 의미

장기 에이전트에 메모리 계층을 추가한다고 해서 원시 이력을 직접 검색하는 단순 RAG보다 항상 좋아지는 것은 아닙니다. 새로운 연구는 메모리의 이익과 정보 손실을 분리해 순가치를 평가합니다.

더 보기
CCTest · Blog
RynnWorld-Latent, 범용 잠재 행동으로 로봇의 몸체 차이를 넘다
월드 모델
cctest.ai
월드 모델

RynnWorld-Latent, 범용 잠재 행동으로 로봇의 몸체 차이를 넘다

RynnWorld-Latent는 RynnLAM의 3D 기반 잠재 행동을 공통 인터페이스로 사용해 인간 영상, 로봇 시연, 시뮬레이션 데이터를 함께 학습하는 비디오 월드 모델입니다. 디지털 원격조작과 잠재 행동 합성을 통해 로봇 정책 학습용 데이터도 생성합니다.

더 보기
CCTest · Blog
Omni-InteractScope가 드러낸 멀티모달 AI의 능동적 상호작용 한계
모델 평가
cctest.ai
모델 평가

Omni-InteractScope가 드러낸 멀티모달 AI의 능동적 상호작용 한계

Omni-InteractScope는 연속적인 시청각 스트림을 관찰하면서 멀티모달 모델이 적절한 시점에 개입할 수 있는지 평가한다. 실험 결과, 적시 도구 호출과 질문 없는 알림, 지속적인 안내 모두 아직 불안정한 것으로 나타났다.

더 보기
CCTest · Blog
소형 오픈 웨이트 모델은 실제 코딩 작업을 끝낼 수 있을까
코딩 AI
cctest.ai
코딩 AI

소형 오픈 웨이트 모델은 실제 코딩 작업을 끝낼 수 있을까

실제 코딩 에이전트 워크플로를 분석한 회고 연구는 그럴듯한 텍스트를 생성하는 것과 작동하는 소프트웨어를 납품하는 것이 다르다는 점을 보여준다. 도구 호출, 출력 계약, 캐시, 독립 검증이 실용성을 좌우했다.

더 보기
CCTest · Blog
에이전트 검증을 다시 설계하다: 독립 리뷰어의 효과
AI 에이전트
cctest.ai
AI 에이전트

에이전트 검증을 다시 설계하다: 독립 리뷰어의 효과

도구를 사용하는 AI 에이전트의 품질은 기반 모델뿐 아니라 결과물을 언제, 누가, 어떻게 검증하는지에 따라 달라집니다. 새로운 연구는 독립적인 비평 모델이 정확도와 비용의 균형에서 유력한 선택임을 보여줍니다.

더 보기
CCTest · Blog
EmbodiedLab, 실험으로 ‘알아가는’ 구현 에이전트를 평가하다
모델 평가
cctest.ai
모델 평가

EmbodiedLab, 실험으로 ‘알아가는’ 구현 에이전트를 평가하다

EmbodiedLab는 로봇이 지정된 상태를 만드는 데서 그치지 않고, 물리적 상호작용을 통해 사전에 알 수 없는 결과를 발견하는지 평가한다. 에이전트는 실험 절차를 직접 정하고 장치를 조작하며 측정값으로 결론을 도출해야 한다.

더 보기
CCTest · Blog
RoboJev, 비전언어 모델로 로봇 작업 성공 여부 판정
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

RoboJev, 비전언어 모델로 로봇 작업 성공 여부 판정

로봇 조작 영상에는 과정이 담겨 있어도 작업이 성공했는지 알려주는 라벨이 없는 경우가 많습니다. RoboJev-27B는 작업 지시와 영상 프레임을 바탕으로 성공 또는 실패를 추정하는 오픈 웨이트 비전언어 모델입니다.

더 보기
CCTest · Blog
StreamVibe: 변화하는 사용자 의도를 추적하는 비디오 에이전트
AI 에이전트
cctest.ai
AI 에이전트

StreamVibe: 변화하는 사용자 의도를 추적하는 비디오 에이전트

StreamVibe는 사용자가 명시적으로 요청하지 않은 의도를 연속적인 영상 관찰에서 추론하고, 적절한 순간에 도움을 제공하는 비디오 에이전트를 다룹니다. 연구진은 벤치마크와 스트리밍 비전-언어 모델, 계층형 메모리를 함께 제안했습니다.

더 보기
CCTest · Blog
AV-FABLE, 장편 영상의 음성·영상 조작을 이중 타임라인으로 추적
비전·비디오
cctest.ai
비전·비디오

AV-FABLE, 장편 영상의 음성·영상 조작을 이중 타임라인으로 추적

AV-FABLE은 대부분 진짜인 장편 영상에 짧게 삽입된 음성 및 시각 조작을 모달리티별로 찾아내기 위한 벤치마크입니다. NFSR은 음성과 영상을 별도의 시간 디코더로 읽어 멀티모달 모델 내부 표현에 담긴 포렌식 신호를 활용합니다.

더 보기
CCTest · Blog
InteractiveWorld, 멀티모달 AI 비서의 인간 지원 능력을 검증하다
모델 평가
cctest.ai
모델 평가

InteractiveWorld, 멀티모달 AI 비서의 인간 지원 능력을 검증하다

InteractiveWorld는 웨어러블 AI 비서와 인간의 폐루프 협업을 평가하는 인간 중심 시뮬레이션 환경입니다. 함께 제시된 벤치마크는 현재 멀티모달 모델이 장기적인 실시간 안내에서 여전히 취약하다는 점을 보여줍니다.

더 보기