영국 AISI와 EvalEval, 대규모 모델 평가의 재현성을 높인다
영국 AI 안전 연구소(AISI)가 EvalEval의 Evaluation Cards를 활용해 일부 모델 평가의 결과와 함께 방법, 설정, 맥락 정보를 공개하고 있다. 평가 프로토콜이 결과에 미치는 영향을 더 잘 이해하고 검증할 수 있도록 하는 시도다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독영국 AI 안전 연구소(AISI)가 EvalEval의 Evaluation Cards를 활용해 일부 모델 평가의 결과와 함께 방법, 설정, 맥락 정보를 공개하고 있다. 평가 프로토콜이 결과에 미치는 영향을 더 잘 이해하고 검증할 수 있도록 하는 시도다.
더 보기새 연구에 따르면 최첨단 대규모 언어 모델도 실제에 가까운 BI 작업에서 정확도 50% 미만을 기록했습니다. 연구진은 데이터 검색부터 변환, 조인, 질의 응답까지 평가하는 BI-Bench와 도구 증강형 BI-Agent를 제안했습니다.
더 보기CADWorld는 FreeCAD에서 기계 CAD의 장기 작업 흐름을 평가하는 벤치마크입니다. 화면을 조작하는 데 그치지 않고, 형상과 제약 조건, 파라메트릭 구조를 유지한 검증 가능한 설계 파일을 생성할 수 있는지를 측정합니다.
더 보기SiliconBench는 Apple Silicon용 LLM 서빙 엔진 9종을 속도, 메모리, 출력 충실도라는 세 기준으로 평가했다. 동시 요청 환경에서는 처리량뿐 아니라 메모리 여유, 모델 지원 범위, 노드 간 통신 방식도 실용성을 결정한다.
더 보기APort Vault는 도구를 사용하는 AI 에이전트가 결제 요청과 승인된 결제 실행을 구분하는지 평가하는 벤치마크다. Open Agent Passport 기반의 결정적 사전 검사를 적용하자 허용되지 않은 수취인으로의 송금은 비교 조건에서 140건에서 0건으로 줄었다.
더 보기EvoOntology는 테이블, 파일, 데이터베이스를 다루는 데이터 에이전트에 실행 중 조회하고 갱신할 수 있는 온톨로지 계층을 제공합니다. MCP 서버로 구현되며 상호작용 기록을 바탕으로 의미 구조를 계속 개선합니다.
더 보기보안 연구원에 따르면 Meta의 macOS용 Muse는 로컬 앱이나 터미널 명령으로 음성 전사 서버 주소를 바꿀 수 있습니다. 공격자가 자신의 서버로 연결을 돌리면 에이전트 계정을 제어하는 토큰이 노출될 가능성이 있습니다.
더 보기TinyTorch는 텐서부터 트랜스포머까지 순수 Python으로 구현해 보는 오픈 학습 커리큘럼입니다. PyTorch를 대체하려는 프로젝트가 아니라, 성숙한 프레임워크 내부의 추상화를 직접 이해하도록 돕는 교육용 발판입니다.
더 보기개빈 뉴섬 캘리포니아 주지사가 AI 데이터센터에 지역 전력망과 수자원 시스템의 개선 비용을 부담하도록 하는 7개 법안에 서명했다. 신규 데이터센터는 물 사용량과 에너지 효율, 가뭄 대응 계획도 공개해야 한다.
더 보기구글은 2026년 5월 사이버보안 테스트에서 실험용 Gemini 모델이 설정 오류로 인터넷에 연결돼 실제 기업 3곳의 시스템에 접근했다고 밝혔다. 이번 사건은 AI 에이전트의 안전성이 모델뿐 아니라 테스트 환경의 통제에도 달려 있음을 보여준다.
더 보기xAI가 코딩과 지식 업무를 위한 Grok 4.7을 공개했다. 장시간 작업, 자기 검증, 긴 컨텍스트와 안전장치를 강조하지만, 성능 수치는 독립적인 검증이 필요하다.
더 보기유엔 과학 패널이 첨단 AI 에이전트의 위험을 완전히 이해하기 전이라도 각국 정부가 안전장치를 강화해야 한다고 촉구했다. 잠재적 피해가 재앙적이거나 되돌릴 수 없다면 예방 원칙을 적용해야 한다는 주장이다.
더 보기아마존이 메타의 AI 에이전트 Muse가 사용자를 대신해 쇼핑하는 기능을 차단했다. 에이전트의 신원 표시, 인증 정보 보호, 제3자 플랫폼 접근 권한 문제가 핵심 쟁점으로 떠올랐다.
더 보기MintAct는 UI 위치 지정, 다단계 내비게이션, 시각적 도구 사용을 하나의 비전-언어 모델 계열로 통합하려는 연구입니다. 핵심은 모델 자체뿐 아니라 모바일·데스크톱·웹 환경을 함께 학습시키는 확장형 인프라와 비동기 강화학습에 있습니다.
더 보기RecreationWorld는 GUI 탐색, 코딩, 실행, 시각적 검증을 하나의 작업 흐름으로 묶은 하이브리드 컴퓨터 사용 에이전트 프레임워크입니다. 평가 결과 에이전트는 정적인 화면 구조보다 복잡한 상호작용과 계산 결과를 재현하는 데 더 큰 어려움을 보였습니다.
더 보기샤오미 MiMo 팀의 CodeMidas는 기존 소스 코드만을 바탕으로 기능을 탐색하고 실행 가능한 테스트를 생성한 뒤, 강화학습에 적합한 코딩 과제를 선별한다. 실험에서는 이 방식으로 학습한 에이전트가 코드 수정, 프로그램 구축, 터미널 작업 등 여러 벤치마크에서 성능을 높였다.
더 보기짧은 관측 이력에서 상호작용의 진행 방향을 나타내는 잠재 표현을 학습해 3D 확산 정책에 예측 능력을 더하는 방법이 제안됐다. 별도의 궤적 계획기를 추가하지 않고도 DP3의 기존 구조를 유지하면서 성능 향상을 보고했다.
더 보기모델이 생성한 동료평가를 다음 세대 AI 심사자가 학습하면 평가 점수의 분포와 의미적 다양성이 축소될 수 있다는 연구가 나왔다. 연구진은 이를 ‘과학적 판단 붕괴’로 부르고 TrustReviewer를 통한 완화책을 제시했다.
더 보기새 연구는 추론 모델이 답할 수 없는 과제에서 답할 수 있는 과제보다 더 많은 계산을 사용하는 경향이 있다고 밝혔다. 효율적인 추론을 장려하는 GRPO 보상은 거부 응답 성능을 높이는 동시에 사고 사슬을 줄였다.
더 보기한 연구에 따르면 소형 언어 모델에서는 토큰 단위 엔트로피가 답변의 정답 여부를 거의 구분하지 못한다. 여러 답변의 의미적 불확실성을 측정하는 시맨틱 엔트로피는 더 유용한 신뢰도 신호로 나타났다.
더 보기알리바바 통이첸원 팀이 7B 규모의 이미지 생성 모델 Qwen-Image-2.1을 오픈소스로 공개했습니다. 텍스트-이미지 생성, 투명 이미지 생성, 이미지 편집을 하나의 모델로 통합한 것이 특징입니다.
더 보기