CCTest · Blog
RealCompanion이 묻는 장기 대화 AI의 사람 이해 능력
메모리·컨텍스트
cctest.ai
메모리·컨텍스트

RealCompanion이 묻는 장기 대화 AI의 사람 이해 능력

RealCompanion은 AI가 과거 발언을 검색할 수 있는지만이 아니라, 언제 기억이 필요한지 판단하고 이를 현재 대화에 적절히 활용하는지를 평가하는 장기 대화 벤치마크다. 연구 결과는 기억이 필요한 경우가 생각보다 적고, 그 시점을 판별하는 일은 여전히 어렵다는 점을 보여준다.

더 보기
CCTest · Blog
VeriHarness, 장기 작업을 위한 LLM 에이전트 검증 프레임워크
AI 에이전트
cctest.ai
AI 에이전트

VeriHarness, 장기 작업을 위한 LLM 에이전트 검증 프레임워크

VeriHarness는 테스트 시점에 정답이나 채점 기준이 없어도 장기 작업 에이전트의 결과를 검증하고 개선하는 프레임워크입니다. 여러 실행 결과의 불일치와 합의를 분석하고 환경 증거를 활용해 최종 산출물을 수정합니다.

더 보기
CCTest · Blog
SciUtopia, LLM 에이전트로 학술 연구 생태계의 장기 효과를 시뮬레이션
AI 과학 연구
cctest.ai
AI 과학 연구

SciUtopia, LLM 에이전트로 학술 연구 생태계의 장기 효과를 시뮬레이션

SciUtopia는 연구 주제 선택, 협업, 투고, 심사, 재투고, 연구비, 연구자 이탈을 하나의 폐쇄형 루프로 연결하는 LLM 에이전트 시뮬레이션입니다. 투고 기회 확대는 성과를 늘릴 수 있지만 심사 부담과 연구자 지속성에도 영향을 줄 수 있음을 보여줍니다.

더 보기
CCTest · Blog
4B 모델이 체스를 두고 설명한다: Queen의 구조와 성과
대규모 언어 모델
cctest.ai
대규모 언어 모델

4B 모델이 체스를 두고 설명한다: Queen의 구조와 성과

Queen은 강하지만 설명하지 못하는 체스 전문가 인코더와 자연어를 생성하는 지시 튜닝 언어 모델을 결합한다. 논문은 7회의 반복 증류를 통해 모델의 체스 레이팅이 1782에서 2697 Elo로 상승했다고 보고한다.

더 보기
CCTest · Blog
WEFT: 도구 사용 후학습을 시스템 전체로 확장하다
AI 에이전트
cctest.ai
AI 에이전트

WEFT: 도구 사용 후학습을 시스템 전체로 확장하다

WEFT는 범용 에이전트의 도구 사용 능력을 높이기 위해 실행 환경만 확장하지 않고, 작업·에이전트 하네스·평가기를 하나의 시스템으로 함께 다룹니다. 실행 기반 자기진화와 장기 워크플로 학습을 안정화하는 기법을 결합했습니다.

더 보기
CCTest · Blog
의료 오픈엔드 답변에서 검색 기반 사실 검증이 무너지는 이유
모델 평가
cctest.ai
모델 평가

의료 오픈엔드 답변에서 검색 기반 사실 검증이 무너지는 이유

장문 의료 답변의 사실성을 분석한 연구는 검색 후 검증하는 시스템이 폐쇄형 벤치마크에서는 높은 점수를 받아도 임상 오픈엔드 답변에서는 크게 실패할 수 있음을 보여준다. 연구진은 문제를 검색된 증거의 품질과 검증 모델의 추론 오류로 나눠 분석했다.

더 보기
CCTest · Blog
JEPA-TTT, 배포 후에도 세계 모델의 동역학을 적응시키다
월드 모델
cctest.ai
월드 모델

JEPA-TTT, 배포 후에도 세계 모델의 동역학을 적응시키다

JEPA-TTT는 학습 환경과 다른 동역학이 나타났을 때 사전 학습된 JEPA 세계 모델을 테스트 중에도 계속 조정하는 방법입니다. 시각 인코더와 보상 헤드는 고정하고 잠재 동역학 예측기만 자기지도 방식으로 업데이트합니다.

더 보기
CCTest · Blog
FrameMorrow, 미래 정보 수요로 장기 비디오의 과거 프레임을 선택하다
비전·비디오
cctest.ai
비전·비디오

FrameMorrow, 미래 정보 수요로 장기 비디오의 과거 프레임을 선택하다

장기 비디오 생성에서는 과거를 많이 저장하는 것보다 앞으로 필요한 정보를 골라내는 일이 중요합니다. FrameMorrow는 미래의 정보 수요를 예측하고 이를 이용해 유용한 과거 프레임을 선택합니다.

더 보기
CCTest · Blog
ProWAM, 점진적 시각 하위 목표로 로봇 장기 제어 강화
월드 모델
cctest.ai
월드 모델

ProWAM, 점진적 시각 하위 목표로 로봇 장기 제어 강화

ProWAM은 세계 행동 모델에 순서가 있는 희소 시각 하위 목표를 추가해 전체 미래 영상을 생성하지 않고도 로봇에 단계별 행동 지침을 제공한다. 여러 시뮬레이션 벤치마크에서 분포 밖 환경에 대한 강건성이 개선된 결과가 보고됐다.

더 보기
CCTest · Blog
SimuVerity, 공학 수준의 Simulink 모델 생성 에이전트를 평가하다
모델 평가
cctest.ai
모델 평가

SimuVerity, 공학 수준의 Simulink 모델 생성 에이전트를 평가하다

SimuVerity는 AI 에이전트가 생성한 Simulink 모델이 단순히 컴파일되는지를 넘어 실제 공학 요구사항을 충족하는지 평가하는 벤치마크입니다. 101개 과제를 실험한 결과, 가장 높은 시스템의 종합 점수도 42.86에 그쳤습니다.

더 보기
CCTest · Blog
QuantWM, 비디오 월드 모델의 2비트 KV 캐시 양자화에서 주의 패턴을 보존
월드 모델
cctest.ai
월드 모델

QuantWM, 비디오 월드 모델의 2비트 KV 캐시 양자화에서 주의 패턴을 보존

비디오 월드 모델은 장기 시간 일관성을 위해 KV 캐시를 계속 저장하지만, 낮은 비트 양자화는 화면 깜빡임을 유발할 수 있습니다. QuantWM은 단순한 수치 오차가 아니라 어텐션의 동작을 보존하는 방식으로 이 문제를 다룹니다.

더 보기
CCTest · Blog
추론을 줄여도 사고연쇄의 충실성이 항상 떨어지는 것은 아니다
모델 평가
cctest.ai
모델 평가

추론을 줄여도 사고연쇄의 충실성이 항상 떨어지는 것은 아니다

한 연구가 세 가지 효율적 추론 훈련 방식이 사고연쇄의 충실성과 모니터링 가능성에 미치는 영향을 분석했습니다. 충실성은 대체로 낮아졌지만, 입력 개입을 감지하는 능력은 비교적 안정적이었습니다.

더 보기
CCTest · Blog
MCP의 신뢰 사슬, AI 에이전트 간 악성 지시 확산 위험 드러내
AI 안전
cctest.ai
AI 안전

MCP의 신뢰 사슬, AI 에이전트 간 악성 지시 확산 위험 드러내

연구진은 MCP로 연결된 에이전트의 신뢰 공백을 악용하면 공격자가 한 에이전트에서 다른 에이전트로 악성 지시를 전달할 수 있다고 지적했다. 간접 프롬프트 인젝션과 프로토콜 간 권한 검증 부재, SSRF가 결합된 문제다.

더 보기
CCTest · Blog
AI 에이전트, 상온 작동을 노릴 수 있는 자성 반도체 후보 2종 발견
AI 과학 연구
cctest.ai
AI 과학 연구

AI 에이전트, 상온 작동을 노릴 수 있는 자성 반도체 후보 2종 발견

Vals.ai 연구팀은 AI 에이전트를 활용해 자성 물질을 설계하고 탐색했으며, 새 후보 물질과 1999년에 이미 합성된 물질을 하나씩 찾아냈다. 두 물질 모두 순자화가 0이면서 반도체 밴드갭과 스핀 선택성을 가질 가능성이 있지만, 실제 소자 적용까지는 추가 검증이 필요하다.

더 보기
CCTest · Blog
오픈AI, EU에서 ChatGPT·Codex 텍스트에 보이지 않는 워터마크 적용
정책·규제
cctest.ai
정책·규제

오픈AI, EU에서 ChatGPT·Codex 텍스트에 보이지 않는 워터마크 적용

오픈AI가 EU AI법의 투명성 요건을 충족하기 위해 유럽연합 내 ChatGPT와 Codex 생성 텍스트에 보이지 않는 워터마크를 도입한다. 탐지에 도움을 줄 수 있지만 편집, 짧은 글, 수학 답변, 번역문에서는 식별력이 낮아질 수 있다.

더 보기
CCTest · Blog
유타주, AI가 여드름 초진 처방까지 내리는 시범사업 허용
정책·규제
cctest.ai
정책·규제

유타주, AI가 여드름 초진 처방까지 내리는 시범사업 허용

미국 유타주에서 Nolla Health의 AI가 얼굴 사진으로 여드름의 중증도를 분석하고 초기 처방을 발행하는 서비스가 시작됐다. 의사의 사전 검토를 단계적으로 줄이는 방식이어서 의료 AI의 책임과 안전 기준이 시험대에 오른다.

더 보기
CCTest · Blog
리플렉션, 낮은 추론 비용 내세운 오픈웨이트 모델 ‘빔’ 공개
모델 릴리스
cctest.ai
모델 릴리스

리플렉션, 낮은 추론 비용 내세운 오픈웨이트 모델 ‘빔’ 공개

미국 AI 스타트업 리플렉션 AI가 첫 프런티어급 오픈웨이트 모델 ‘빔’을 공개했다. 중국 주요 오픈 모델과 비슷한 성능을 더 적은 추론 컴퓨팅으로 구현한다고 주장하며, 기업과 주권 국가를 위한 ‘AI 팩토리’ 사업을 추진한다.

더 보기
CCTest · Blog
단백질 접힘 학습은 더 넓은 추론 능력으로 이어질까
AI 과학 연구
cctest.ai
AI 과학 연구

단백질 접힘 학습은 더 넓은 추론 능력으로 이어질까

Fold2Reason은 단백질의 3차원 구조를 검증 가능한 추론 감독 신호로 바꾸고, 생물학 밖의 과제에도 능력이 전이되는지 실험했다. 보고된 결과에 따르면 공간·그래프·과학·일반 추론 벤치마크 전반에서 개선이 나타났다.

더 보기