CCTest · Blog
OpenAI 안전 담당자 퇴사…“회사 문화가 무너졌다”
AI 안전
cctest.ai
AI 안전

OpenAI 안전 담당자 퇴사…“회사 문화가 무너졌다”

OpenAI의 주요 제품 출시 안전 보고서 작성에 참여했던 데이비드 로빈슨이 퇴사하며 회사 문화를 비판했습니다. 그는 고도화되는 AI에는 문제 발생 후 수정하는 방식보다 원자력·항공에 가까운 고신뢰 안전 체계가 필요하다고 주장했습니다.

더 보기
CCTest · Blog
OneStreamer: 영상을 보며 기억하고 적절한 순간에 응답하는 4B 모델
비전·비디오
cctest.ai
비전·비디오

OneStreamer: 영상을 보며 기억하고 적절한 순간에 응답하는 4B 모델

OneStreamer는 스트리밍 영상에서 실시간 지각, 재사용 가능한 기억, 능동적 응답을 하나로 연결하는 4B 모델입니다. 시간 정보가 포함된 캡션과 이벤트 요약을 생성해 원본 프레임이 최근 시각 창에서 사라진 뒤에도 관련 사실을 활용할 수 있도록 합니다.

더 보기
CCTest · Blog
기억을 넘어: PoS가 장기 과업 에이전트에 명시적 신념 상태를 제공하다
메모리·컨텍스트
cctest.ai
메모리·컨텍스트

기억을 넘어: PoS가 장기 과업 에이전트에 명시적 신념 상태를 제공하다

상호작용 기록을 기억하는 것만으로는 에이전트가 현재 세계를 일관되게 이해하거나 목표를 향해 나아간다고 보장할 수 없습니다. PoS는 추론 시점에 명시적 신념 상태를 유지하고 정체, 순환, 이탈을 감지해 회복을 유도합니다.

더 보기
CCTest · Blog
AutoGUIWorld, 이미지 생성기로 GUI 에이전트의 가상 환경 구축
월드 모델
cctest.ai
월드 모델

AutoGUIWorld, 이미지 생성기로 GUI 에이전트의 가상 환경 구축

AutoGUIWorld는 이미지 생성 모델의 시각적 사전지식과 작업 플래너를 결합해 실제 소프트웨어를 실행하지 않고도 GUI 상호작용 궤적을 합성한다. 연구진은 여러 운영체제와 브라우저를 아우르는 데이터로 컴퓨터 사용 에이전트의 성능 향상을 확인했다.

더 보기
CCTest · Blog
Transformer는 너무 일찍 멈춘다? 작은 LoRA가 추론 릴레이를 재가동
대규모 언어 모델
cctest.ai
대규모 언어 모델

Transformer는 너무 일찍 멈춘다? 작은 LoRA가 추론 릴레이를 재가동

새 연구는 많은 사전학습 Transformer가 긴 참조 사슬을 처리할 능력이 없는 것이 아니라, 계산을 너무 일찍 중단할 수 있음을 보여준다. 초기 한 층에 rank-8 LoRA를 추가하면 동결된 중간 층이 더 긴 사슬을 전달할 수 있다.

더 보기
CCTest · Blog
X-Tree: 재사용 가능한 경험을 AI 에이전트 학습에 넣다
AI 에이전트
cctest.ai
AI 에이전트

X-Tree: 재사용 가능한 경험을 AI 에이전트 학습에 넣다

X-Tree는 에이전트 궤적에서 반복적으로 등장하고 성공과 관련된 행동 구간을 자동으로 찾아 재사용 가능한 경험 트리로 구성합니다. 추가적인 LLM 호출 없이 오프라인 강화학습, RLVR, 자기 증류에 활용할 수 있습니다.

더 보기
CCTest · Blog
PhysVista, 인식·추론·평가 루프로 VLM의 물리 지능을 검증
모델 평가
cctest.ai
모델 평가

PhysVista, 인식·추론·평가 루프로 VLM의 물리 지능을 검증

PhysVista는 비전-언어 모델이 영상의 표면적 내용을 인식하는 데 그치지 않고 물리적 일관성을 이해하는지 평가하는 벤치마크입니다. 실제 영상과 AI 생성 영상을 대상으로 물리 상태 인식, 동역학 추론, 물리적 개연성 판단을 하나의 루프로 검증합니다.

더 보기
CCTest · Blog
LLM 에이전트는 왜 철회된 사용자 지시를 계속 따를까
AI 에이전트
cctest.ai
AI 에이전트

LLM 에이전트는 왜 철회된 사용자 지시를 계속 따를까

새 연구는 사용자가 바꾸거나 철회한 요구사항이 최종 답변과 도구 실행에 계속 영향을 미치는 현상을 측정 가능한 ‘의도 드리프트’로 정의했다. IntentFlux와 StateForge 평가 결과, 명시적인 상태 관리는 도움이 되지만 단일 턴 수준을 완전히 회복하지는 못했다.

더 보기
CCTest · Blog
RouteFM, LLM 라우팅을 ‘한 번 사전학습하고 어디서나 라우팅’하는 방향으로
추론·배포
cctest.ai
추론·배포

RouteFM, LLM 라우팅을 ‘한 번 사전학습하고 어디서나 라우팅’하는 방향으로

RouteFM은 LLM 라우팅을 특정 환경에 맞춘 반복 학습이 아니라 재사용 가능한 기반 능력으로 바라본다. 익명 후보 모델의 제한된 행동 증거를 분석해 새로운 작업, 모델 풀, 모달리티에 적응한다.

더 보기
CCTest · Blog
OpenTumorBoard, 암 다학제 진료에서 AI의 협업 추론을 시험하다
모델 평가
cctest.ai
모델 평가

OpenTumorBoard, 암 다학제 진료에서 AI의 협업 추론을 시험하다

OpenTumorBoard는 공개된 종양 다학제 회의 기록을 활용해 전문의 답변과 전체 회의 시뮬레이션을 평가하는 벤치마크입니다. 최신 모델도 전문가의 답변과 실제 위원회 결론을 일관되게 재현하는 데는 상당한 한계를 보였습니다.

더 보기
CCTest · Blog
KaliBench, AI의 사이버보안 명령어 생성 능력을 세밀하게 평가
모델 평가
cctest.ai
모델 평가

KaliBench, AI의 사이버보안 명령어 생성 능력을 세밀하게 평가

KaliBench는 분석가의 의도를 Kali Linux에서 실행 가능한 명령어로 바꾸는 능력에 초점을 맞춘 벤치마크입니다. 도구 선택과 인자 구성을 나눠 평가하고 의미적 정확성과 실제 실행 가능성을 함께 확인합니다.

더 보기
CCTest · Blog
LLM 과학 코딩 에이전트에 실행 가능한 검사를 제공하다
AI 과학 연구
cctest.ai
AI 과학 연구

LLM 과학 코딩 에이전트에 실행 가능한 검사를 제공하다

Rules to Tools는 과학적 요구사항을 호출 가능한 실행 검사로 바꿔 LLM 코딩 에이전트의 코드 수정 과정을 평가했습니다. 일부 SciCode 과제에서는 성능이 높아졌지만, 효과는 과제별로 달랐고 CPU 사용량은 증가할 수 있었습니다.

더 보기
CCTest · Blog
World Observer, 세계 모델이 시야 밖 변화를 추적하는 방법
월드 모델
cctest.ai
월드 모델

World Observer, 세계 모델이 시야 밖 변화를 추적하는 방법

World Observer는 행동 주체의 시점과 관찰자 시점을 분리해 여러 시점을 함께 생성합니다. 물체가 행동 주체의 시야를 벗어난 뒤에도 관찰자 화면에서 계속 변화하도록 해, 다시 시야에 들어왔을 때 상태와 외관의 일관성을 높입니다.

더 보기
CCTest · Blog
GraphForge, 증거 그래프로 검증 가능한 업무형 에이전트 학습 구축
AI 에이전트
cctest.ai
AI 에이전트

GraphForge, 증거 그래프로 검증 가능한 업무형 에이전트 학습 구축

GraphForge는 실제 파일과 증거 그래프를 바탕으로 업무형 AI 에이전트의 학습 과제를 만드는 프레임워크입니다. 작업 공간과 지시문, 평가 기준을 파일 근거에 연결해 실행 가능성과 검증 가능성을 높입니다.

더 보기
CCTest · Blog
덜 보고 더 잘 움직이는 로봇: PyRUA-Lean의 토큰 절감 방식
로보틱스·피지컬 AI
cctest.ai
로보틱스·피지컬 AI

덜 보고 더 잘 움직이는 로봇: PyRUA-Lean의 토큰 절감 방식

PyRUA-Lean은 로봇 프리미티브를 실행 가능한 Python 셀로 조합하고, 조건 확인과 국소 재시도를 실행 환경에서 처리하는 프레임워크입니다. 700개 시뮬레이션 과제에서 같은 LLM 호출 예산으로 성공률을 63.1%에서 71.7%로 높였으며, 두 방식이 모두 해결한 과제에서는 입력 토큰을 65% 줄였습니다.

더 보기
CCTest · Blog
Argo-Bench, 기업 규모 업무 흐름에서 데이터 에이전트 평가
모델 평가
cctest.ai
모델 평가

Argo-Bench, 기업 규모 업무 흐름에서 데이터 에이전트 평가

Argo-Bench는 SQL 생성 능력만 확인하지 않고, 대규모 기업 데이터 웨어하우스에서 사실을 재구성한 뒤 분석과 업무 조치까지 수행할 수 있는지를 평가한다. 현재 모델은 다중 테이블 추론과 실제 의사결정에서 여전히 큰 과제를 안고 있다.

더 보기
CCTest · Blog
ScholarCatalyst: AI는 새 연구를 촉발할 논문을 찾을 수 있을까
RAG·검색
cctest.ai
RAG·검색

ScholarCatalyst: AI는 새 연구를 촉발할 논문을 찾을 수 있을까

ScholarCatalyst는 단순히 주제가 비슷한 논문이 아니라, 특정 연구 프로젝트를 실제로 발전시킬 수 있는 논문을 검색하는 능력을 평가합니다. 저자들의 판단을 기반으로 한 실험에서 현재의 AI 에이전트는 전문가 수준에 미치지 못했습니다.

더 보기