아티클 & 가이드

Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우

총 1636개의 아티클

CCTest · Blog
영상 세계 모델의 물리학 시험, 그럴듯함과 일관성은 다르다
월드 모델
cctest.ai
월드 모델

영상 세계 모델의 물리학 시험, 그럴듯함과 일관성은 다르다

새로운 벤치마크는 기준 영상과의 시각적 유사성 대신 영상에서 관찰 가능한 물리 관계를 직접 측정한다. 8개 영상 생성 모델을 평가한 결과, 시각적으로 설득력 있는 출력에서도 물리적 불일치가 지속적으로 나타났다.

더 보기
CCTest · Blog
LLM 에이전트 백도어가 후속 학습을 살아남는 이유
AI 안전
cctest.ai
AI 안전

LLM 에이전트 백도어가 후속 학습을 살아남는 이유

소프트웨어 엔지니어링 에이전트를 분석한 연구에서 양성 지도 미세조정은 백도어를 약화시키지만, 이후 강화학습은 남은 악성 행동을 보존하거나 증폭할 수 있는 것으로 나타났다. PersistBD는 모델 출시 전에 백도어의 지속성을 높이는 방법을 제시한다.

더 보기
CCTest · Blog
개인 에이전트는 플랫폼 추천 순위를 어떻게 수정하는가
AI 에이전트
cctest.ai
AI 에이전트

개인 에이전트는 플랫폼 추천 순위를 어떻게 수정하는가

새 연구는 사용자가 허가한 다른 서비스의 이용 기록을 활용해 개인 에이전트가 플랫폼의 초기 추천 순위를 조정하는 방식을 정식화했다. MediateRec 벤치마크와 PAMO 방법을 통해 언제 개입하고 언제 플랫폼 판단을 유지해야 하는지 분석한다.

더 보기
CCTest · Blog
도구 사용 에이전트는 왜 실패하는가: 증거에서 행동까지의 단절
AI 에이전트
cctest.ai
AI 에이전트

도구 사용 에이전트는 왜 실패하는가: 증거에서 행동까지의 단절

에이전트가 최종적으로 올바른 상태에 도달하더라도, 그 행동이 사전에 확보된 증거에 근거했다고 보기는 어렵습니다. SafeActBench 연구는 실행 전 조사와 의존성이 있는 다단계 작업에서 실패가 집중된다는 점을 보여줍니다.

더 보기
CCTest · Blog
AutoSciBench, 과학 에이전트 평가를 스스로 진화시키다
모델 평가
cctest.ai
모델 평가

AutoSciBench, 과학 에이전트 평가를 스스로 진화시키다

과학 에이전트의 성능이 빠르게 향상되면서 고정형 벤치마크는 모델 간 차이와 실패 원인을 충분히 보여주기 어려워지고 있습니다. AutoSciBench는 풀이 궤적과 평가 피드백을 활용해 과학 과제를 자동 생성하고 반복적으로 수정합니다.

더 보기
CCTest · Blog
프로액티브 에이전트에 필요한 것은 정확성만이 아니다
AI 에이전트
cctest.ai
AI 에이전트

프로액티브 에이전트에 필요한 것은 정확성만이 아니다

프로액티브 LLM 에이전트는 사용자가 요청하기 전에 유휴 연산을 활용해 필요한 지원을 준비한다. 새로운 연구는 작업 능력, 시간 배분, 신뢰를 3T 원칙으로 정리하고 장기 효과를 평가하는 Proactivity-Gym을 제안했다.

더 보기
CCTest · Blog
언어 모델이 분자 최적화기를 개선해 힘 계산을 줄인 AutoSella
AI 과학 연구
cctest.ai
AI 과학 연구

언어 모델이 분자 최적화기를 개선해 힘 계산을 줄인 AutoSella

연구진은 언어 모델 에이전트가 분자 기하 최적화기 Sella를 직접 수정하도록 하고, 조기 종료와 과적합을 막는 평가 게이트로 후보를 선별했습니다. 그 결과 나온 AutoSella는 보지 못한 분자와 DFT 테스트에서도 힘 평가 횟수를 줄였습니다.

더 보기
CCTest · Blog
IDU, 생성 모델의 1단계 증류와 선택적 데이터 삭제를 결합
확산 모델
cctest.ai
확산 모델

IDU, 생성 모델의 1단계 증류와 선택적 데이터 삭제를 결합

Inverse Distillation Unlearning(IDU)은 확산 모델이나 플로 매칭 모델을 1단계 생성기로 증류하면서, 지정한 학습 데이터 부분집합에 해당하는 출력을 억제하는 방법이다. 전체 데이터로 학습한 교사 모델과 삭제 대상 샘플만 필요하다.

더 보기
CCTest · Blog
LoGRA, 저랭크 그래디언트 스케치로 LLM 강화학습 메모리 절감
강화학습
cctest.ai
강화학습

LoGRA, 저랭크 그래디언트 스케치로 LLM 강화학습 메모리 절감

LoGRA는 대규모 언어 모델 강화학습에서 유용한 그래디언트 신호를 저랭크 스케치로 저장하고, 예측 KL 기반 스텝 제어를 결합한 방법입니다. 논문 요약에 따르면 추론 과제에서 평균 학습 메모리를 최대 45.7% 줄였습니다.

더 보기
CCTest · Blog
UndoBench: AI 에이전트는 작업 완료보다 안전한 복구를 평가받아야 한다
모델 평가
cctest.ai
모델 평가

UndoBench: AI 에이전트는 작업 완료보다 안전한 복구를 평가받아야 한다

UndoBench는 도구를 사용하는 AI 에이전트의 정상적인 작업 수행 능력과 장애 이후 안전하게 복구하는 능력을 분리해 평가한다. 실험 결과, 작업을 완료하더라도 중복 외부 효과를 막지 못하는 사례가 상당수 나타났다.

더 보기
CCTest · Blog
LLM 수학 추론의 약점은 계산보다 ‘발견’일 수 있다
모델 평가
cctest.ai
모델 평가

LLM 수학 추론의 약점은 계산보다 ‘발견’일 수 있다

새 연구는 대규모 언어 모델의 수학 추론을 발견, 생성, 이해, 실행의 네 능력으로 나누어 분석한다. 최종 정답률만으로는 모델의 실제 역량 구성을 알기 어렵다고 지적하고, 수학적 프리미티브를 활용한 보완 방법을 제안한다.

더 보기
CCTest · Blog
모델이 자신의 출력에서 배우면 왜 불안정해지는가
모델 평가
cctest.ai
모델 평가

모델이 자신의 출력에서 배우면 왜 불안정해지는가

테스트 시 학습에서 모델이 스스로 생성한 텍스트를 계속 학습하면 장기 적응 과정에서 독립적인 인간 작성 텍스트에 대한 예측 성능이 떨어질 수 있다는 연구가 나왔다. 업데이트를 확정하기 전에 독립 데이터로 검증하는 방식이 효과적인 완화책으로 제시됐다.

더 보기