CCTest · Blog
영국 AISI와 EvalEval, 대규모 모델 평가의 재현성을 높인다
모델 평가
cctest.ai
모델 평가

영국 AISI와 EvalEval, 대규모 모델 평가의 재현성을 높인다

영국 AI 안전 연구소(AISI)가 EvalEval의 Evaluation Cards를 활용해 일부 모델 평가의 결과와 함께 방법, 설정, 맥락 정보를 공개하고 있다. 평가 프로토콜이 결과에 미치는 영향을 더 잘 이해하고 검증할 수 있도록 하는 시도다.

더 보기
CCTest · Blog
BI-Agent와 BI-Bench가 제시한 엔드투엔드 비즈니스 인텔리전스 자동화
모델 평가
cctest.ai
모델 평가

BI-Agent와 BI-Bench가 제시한 엔드투엔드 비즈니스 인텔리전스 자동화

새 연구에 따르면 최첨단 대규모 언어 모델도 실제에 가까운 BI 작업에서 정확도 50% 미만을 기록했습니다. 연구진은 데이터 검색부터 변환, 조인, 질의 응답까지 평가하는 BI-Bench와 도구 증강형 BI-Agent를 제안했습니다.

더 보기
CCTest · Blog
APort Vault, AI 에이전트 결제 권한의 경계를 검증하다
모델 평가
cctest.ai
모델 평가

APort Vault, AI 에이전트 결제 권한의 경계를 검증하다

APort Vault는 도구를 사용하는 AI 에이전트가 결제 요청과 승인된 결제 실행을 구분하는지 평가하는 벤치마크다. Open Agent Passport 기반의 결정적 사전 검사를 적용하자 허용되지 않은 수취인으로의 송금은 비교 조건에서 140건에서 0건으로 줄었다.

더 보기
CCTest · Blog
EvoOntology: 데이터 에이전트를 위한 자기 진화형 온톨로지
AI 에이전트
cctest.ai
AI 에이전트

EvoOntology: 데이터 에이전트를 위한 자기 진화형 온톨로지

EvoOntology는 테이블, 파일, 데이터베이스를 다루는 데이터 에이전트에 실행 중 조회하고 갱신할 수 있는 온톨로지 계층을 제공합니다. MCP 서버로 구현되며 상호작용 기록을 바탕으로 의미 구조를 계속 개선합니다.

더 보기
CCTest · Blog
Gemini, 테스트 설정 오류로 실제 기업 3곳 시스템에 접근
AI 안전
cctest.ai
AI 안전

Gemini, 테스트 설정 오류로 실제 기업 3곳 시스템에 접근

구글은 2026년 5월 사이버보안 테스트에서 실험용 Gemini 모델이 설정 오류로 인터넷에 연결돼 실제 기업 3곳의 시스템에 접근했다고 밝혔다. 이번 사건은 AI 에이전트의 안전성이 모델뿐 아니라 테스트 환경의 통제에도 달려 있음을 보여준다.

더 보기
CCTest · Blog
유엔 경고: AI 안전장치는 위험이 확정될 때까지 기다릴 수 없다
AI 안전
cctest.ai
AI 안전

유엔 경고: AI 안전장치는 위험이 확정될 때까지 기다릴 수 없다

유엔 과학 패널이 첨단 AI 에이전트의 위험을 완전히 이해하기 전이라도 각국 정부가 안전장치를 강화해야 한다고 촉구했다. 잠재적 피해가 재앙적이거나 되돌릴 수 없다면 예방 원칙을 적용해야 한다는 주장이다.

더 보기
CCTest · Blog
MintAct: 디지털 환경을 아우르는 통합 비주얼 에이전트
AI 에이전트
cctest.ai
AI 에이전트

MintAct: 디지털 환경을 아우르는 통합 비주얼 에이전트

MintAct는 UI 위치 지정, 다단계 내비게이션, 시각적 도구 사용을 하나의 비전-언어 모델 계열로 통합하려는 연구입니다. 핵심은 모델 자체뿐 아니라 모바일·데스크톱·웹 환경을 함께 학습시키는 확장형 인프라와 비동기 강화학습에 있습니다.

더 보기
CCTest · Blog
RecreationWorld, 소프트웨어 재현으로 컴퓨터 사용 에이전트를 평가하다
AI 에이전트
cctest.ai
AI 에이전트

RecreationWorld, 소프트웨어 재현으로 컴퓨터 사용 에이전트를 평가하다

RecreationWorld는 GUI 탐색, 코딩, 실행, 시각적 검증을 하나의 작업 흐름으로 묶은 하이브리드 컴퓨터 사용 에이전트 프레임워크입니다. 평가 결과 에이전트는 정적인 화면 구조보다 복잡한 상호작용과 계산 결과를 재현하는 데 더 큰 어려움을 보였습니다.

더 보기
CCTest · Blog
CodeMidas, 소스 코드 자체로 코딩 에이전트 강화학습 환경 구축
코딩 AI
cctest.ai
코딩 AI

CodeMidas, 소스 코드 자체로 코딩 에이전트 강화학습 환경 구축

샤오미 MiMo 팀의 CodeMidas는 기존 소스 코드만을 바탕으로 기능을 탐색하고 실행 가능한 테스트를 생성한 뒤, 강화학습에 적합한 코딩 과제를 선별한다. 실험에서는 이 방식으로 학습한 에이전트가 코드 수정, 프로그램 구축, 터미널 작업 등 여러 벤치마크에서 성능을 높였다.

더 보기
CCTest · Blog
명시적 궤적 없이 앞을 내다보는 3D 확산 정책
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

명시적 궤적 없이 앞을 내다보는 3D 확산 정책

짧은 관측 이력에서 상호작용의 진행 방향을 나타내는 잠재 표현을 학습해 3D 확산 정책에 예측 능력을 더하는 방법이 제안됐다. 별도의 궤적 계획기를 추가하지 않고도 DP3의 기존 구조를 유지하면서 성능 향상을 보고했다.

더 보기
CCTest · Blog
AI가 AI 심사자를 학습시키면 과학적 판단은 어떻게 무너지는가
모델 평가
cctest.ai
모델 평가

AI가 AI 심사자를 학습시키면 과학적 판단은 어떻게 무너지는가

모델이 생성한 동료평가를 다음 세대 AI 심사자가 학습하면 평가 점수의 분포와 의미적 다양성이 축소될 수 있다는 연구가 나왔다. 연구진은 이를 ‘과학적 판단 붕괴’로 부르고 TrustReviewer를 통한 완화책을 제시했다.

더 보기