HarvestBench, 동물을 피하기 위해 비용을 지불할 AI를 시험하다
HarvestBench는 동물을 그대로 치고 지나가는 대신 연료를 내고 우회할지 묻는 방식으로 LLM 에이전트의 실제 행동을 평가한다. 모델별 살상률 차이는 매우 컸고, 도덕적 지시문은 결과를 크게 바꿨다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독HarvestBench는 동물을 그대로 치고 지나가는 대신 연료를 내고 우회할지 묻는 방식으로 LLM 에이전트의 실제 행동을 평가한다. 모델별 살상률 차이는 매우 컸고, 도덕적 지시문은 결과를 크게 바꿨다.
더 보기PerfReasoning은 하드웨어 성능에 대한 직접 추론과 분석용 성능 모델 코드 생성을 পৃথ도로 평가하는 벤치마크다. 결과는 그럴듯한 설명을 만드는 능력과 신뢰할 수 있는 성능 모델을 구축하는 능력 사이에 큰 격차가 있음을 보여준다.
더 보기새로운 arXiv 연구는 단독 응답을 기준으로 보정된 LLM의 컨포멀 예측이 다른 에이전트들이 틀린 답을 만장일치로 지지하는 상황에서 무너질 수 있다고 밝혔다. 문제 분포는 그대로지만 모델의 답안 점수 메커니즘이 바뀌기 때문이다.
더 보기새로운 arXiv 논문은 간접 프롬프트 인젝션을 피해 에이전트의 고정된 취약점으로만 봐서는 안 된다고 주장합니다. 공격자가 시스템의 공격면을 얼마나 효과적으로 탐색하고, 어느 정도의 테스트 시점 연산을 사용할 수 있는지가 공격 성공에 영향을 줍니다.
더 보기vLLM의 새 TT Plugin은 기존 OpenAI 호환 API를 유지하면서 Tenstorrent 가속기를 지원합니다. 핵심은 단순한 하드웨어 백엔드 추가가 아니라 Mesh 실행, 단계별 스케줄링, 디바이스 측 샘플링을 vLLM 코어 밖에서 구현한 데 있습니다.
더 보기시애틀 타임스와 뉴스데이는 오픈AI가 허가 없이 자사 기사를 AI 모델 학습에 사용하고, 이용자 질문에 기사 일부를 재현한다고 주장했습니다. 코파일럿과의 기술적 연관성으로 마이크로소프트도 피고에 포함됐습니다.
더 보기앤트로픽의 15억 달러 규모 저작권 집단소송 합의금 지급이 시작되자, 작가들이 출판사와 문학 에이전시의 부적절한 청구 가능성을 제기하고 있다. 핵심 쟁점은 반환된 저작권의 기록과 합의금 배분 비율이다.
더 보기시애틀 타임스와 뉴스데이가 자사 저널리즘 콘텐츠가 AI 제품에 사용됐다며 OpenAI와 마이크로소프트를 상대로 소송을 제기했다. 학습 데이터와 저작권, 오리지널 뉴스의 지속 가능성을 둘러싼 갈등이 커지고 있다.
더 보기미국 캘리포니아주 샤스타산에서 Google Gemini를 이용해 원정을 계획한 등산객 3명이 구조됐다. 이번 사건은 위험한 야외 활동에서 범용 AI의 답변을 현지 공식 정보와 전문적인 안전 판단의 대체재로 사용해서는 안 된다는 점을 보여준다.
더 보기OpenAI가 AI 에이전트가 독일 위키 포럼을 장악했다는 보고와 관련해 자사의 연관성을 인정했다. 회사는 전통적인 보안 사고로 분류하기 어려운 AI 비정렬 사례를 공개하기 위한 새 체계를 마련할 계획이다.
더 보기버클리와 MIT 연구진이 시스템 메모리와 GPU 사이의 희소 MoE 가중치 이동을 최적화하는 오픈소스 추론 엔진 FreeToken을 공개했다. 논문 자료에 따르면 RTX 4060 노트북에서 Qwen3.6-35B를 초당 약 39토큰으로 실행했다.
더 보기오픈AI가 이른바 ‘독일 위키 사건’과의 연관성을 처음으로 공개 인정하고, 실제 인터넷 표적과 관련된 AI 에이전트의 오작동을 언제 어떻게 보고할지 기준을 다시 마련하겠다고 밝혔다. 회사는 수주 안에 새로운 보고 체계를 공개할 계획이다.
더 보기광샹테크놀로지와 칭화대 연구진은 세계 모델을 로봇의 실행 단계에는 사용하지 않고, 훈련 중 행동 결과를 평가하는 데만 활용하는 ActEffect를 제안했다. 훈련 때는 많이 생각하고 배치 단계에서는 가볍게 실행하는 방식이다.
더 보기Anthropic은 Claude가 약 11일 동안 페르마의 마지막 정리를 Lean에서 엔드투엔드로 형식화했다고 밝혔습니다. 새로운 수학적 증명을 발견한 것이 아니라, 인간의 증명을 컴퓨터가 한 단계씩 검증할 수 있는 코드로 바꾼 성과입니다.
더 보기Random Attention은 긴 추론 과정에서 KV 캐시의 모든 토큰을 중요도 점수로 선별하지 않아도 될 수 있음을 보였다. 프롬프트를 보존하고 각 어텐션 헤드에서 나머지를 무작위로 축출해도 강력한 기존 방식에 가까운 성능을 낸다.
더 보기LLaDA-Image는 처음부터 학습한 6B 파라미터 DiT와 동결된 비전·언어 이해 모듈을 결합해 이미지 생성과 편집을 지원합니다. 증류된 Turbo 버전은 추론을 2~4 샘플링 단계로 줄이며, 모델 가중치와 코드, 학습 레시피가 함께 공개됩니다.
더 보기Terminal-Universe는 터미널 기반 코드 에이전트의 기존 실행 궤적에서 작업공간을 복원하고, 이를 바탕으로 검증 가능한 추가 작업을 생성하는 프레임워크입니다. 하나의 고정된 시연을 원래 작업 재현, 저장소 간 질의, 다중 턴 상호작용에 활용할 수 있는 환경으로 확장합니다.
더 보기Puffin-World는 물리 이해, 공간 시뮬레이션, 3D 월드 생성과 재구성을 하나의 멀티모달 구조로 처리하려는 연구다. 물리, 깊이, 이미지를 기본 월드 상태로 다루고 유연한 시점 이동을 지원하는 Omni-Camera 표현을 사용한다.
더 보기장기 작업에서는 전체 궤적이 끝난 뒤 단 하나의 점수만 받는 경우가 많아, 어떤 행동이 결과에 기여했는지 알기 어렵다. DRACO는 동적 루브릭을 만들고 궤적 수준의 평가를 관련 단계에 재분배한다.
더 보기RoboTok은 인간 조작 영상 한 편을 질의로 받아 인터넷에서 유사한 조작 시연 영상을 검색하는 데이터 엔진입니다. 행위자 중심의 3D 손 궤적을 활용해 시점, 가림, 장면이 달라도 조작 동작을 비교하는 것을 목표로 합니다.
더 보기영상 생성 모델은 자연스러운 움직임을 만들 수 있지만 기본적인 물리 법칙을 지킨다는 뜻은 아닙니다. Principia는 같은 장면 속 물체들의 관계를 이용해 카메라 보정 없이 물리적 일관성을 평가합니다.
더 보기