HeteroFold, 서로 다른 모델 간 KV Cache 공유에 도전
HeteroFold는 서로 다른 모델 패밀리로 구성된 멀티 에이전트 LLM에서 수신 측 재계산을 없애기 위한 KV Cache 전송 방법입니다. 논문은 32K 컨텍스트의 한 전송 방향에서 기본 Prefill 대비 약 10.7배의 속도 향상을 보고했습니다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독HeteroFold는 서로 다른 모델 패밀리로 구성된 멀티 에이전트 LLM에서 수신 측 재계산을 없애기 위한 KV Cache 전송 방법입니다. 논문은 32K 컨텍스트의 한 전송 방향에서 기본 Prefill 대비 약 10.7배의 속도 향상을 보고했습니다.
더 보기MemFold는 질의와 관련된 텍스트 기억을 고정된 수의 연속 벡터로 압축하고, 그 기억이 실제 응답 행동에 얼마나 도움이 되는지를 기준으로 최적화합니다. 학습에는 과제 보상과 동결된 텍스트 기억 교사의 신뢰도 게이트 온폴리시 증류가 함께 사용됩니다.
더 보기새 연구는 모델 가중치나 수치형 토큰 확률을 볼 수 없는 환경에서도 반복 샘플링과 어시스턴트 접두사 이어쓰기를 통해 생성 과정을 간접적으로 조정할 수 있는지 분석한다.
더 보기Stability AI가 이미지 생성 중심의 사업에서 음악 전문가용 AI 도구로 무게중심을 옮기고 있다. 소니, 워너, 유니버설로부터 투자와 학습용 카탈로그 라이선스를 확보했다.
더 보기메타가 AI 에이전트 Muse를 전자잉크 디스플레이, 라즈베리 파이, ESP32 등 다양한 하드웨어에 연결할 수 있는 코드와 SDK를 공개했습니다. 가정용 기기 제어를 겨냥한 한정판 Muse Home Link도 선보였습니다.
더 보기아마존은 앞으로 5년간 데이터센터 인근 지역에 10억 달러 이상을 지원하고 신규 프로젝트에서 비밀유지계약을 폐지하겠다고 밝혔다. 그러나 환경단체는 발전소 오염, 물 사용량, 디젤 비상발전기 문제를 외면한 계획이라고 비판한다.
더 보기PyTorch는 Helion을 vLLM의 linear backend에 통합해 고수준 커널 DSL과 입력 형상별 자동 튜닝으로 양자화 GEMM 구현을 단순화하는 방안을 검토했습니다. NVIDIA Hopper에서는 평가된 일부 워크로드에서 처리량이 10% 이상 향상됐습니다.
더 보기미 법무부는 Earthmade Computer의 CEO가 허위 서류와 아시아 중계 경로를 이용해 엔비디아 GPU 서버를 중국으로 우회 반출했다고 주장했습니다. 이번 사건은 완제품 서버에 탑재된 AI 칩의 최종 목적지를 확인하기가 얼마나 어려운지 보여줍니다.
더 보기애플이 데스크톱 AI 에이전트의 활용 범위가 넓어지면서 macOS의 ‘전체 디스크 접근’ 권한에 새로운 통제 장치를 추가하겠다고 밝혔다. 권한 자체를 일괄 축소하기보다는 사용자가 위험을 이해하고 더 명확하게 동의하도록 만드는 데 초점이 맞춰졌다.
더 보기OpenAI의 Dots는 클라우드 컴퓨터와 데스크톱 앱, 음성 입력을 결합한 AI 에이전트다. 실제 사용에서는 웹사이트 개편과 영상 편집처럼 사용자가 통제하는 작업에 강했지만, 인증·로그인·결제 과정에서는 여전히 사람의 개입이 필요했다.
더 보기AI는 정책과 투자 시장에서 더 큰 주목을 받고 있지만 소비자 대상 유료화는 여전히 제한적이다. TechCrunch의 최신 팟캐스트는 기업 시장이 AI 산업의 핵심 수익원으로 남은 이유를 짚었다.
더 보기HC-DLM은 이산 토큰 출력과 지속적인 연속 잠재 상태를 결합해 병렬 확산 디코딩에서 끊기기 쉬운 토큰 간 의존성을 다루는 방법입니다. 논문은 스도쿠, Countdown, LM1B에서 같은 규모의 이산·연속 확산 기준선보다 나은 결과를 보고합니다.
더 보기같은 과학적 내용을 다르게 표현한 원고에 AI 심사자가 다른 판단을 내릴 수 있습니다. 새 연구는 수사적 강건성을 별도 평가 기준으로 제안하고, 전체 원고와 구조화된 과학 핵심을 결합하는 SciCore를 소개했습니다.
더 보기HUST Vision Lab이 언어와 이미지를 동일한 연속 공간에서 모델링하는 Multimodal Flow를 제안했다. 이미지를 이산 시각 토큰으로 양자화하는 대신 연속 하이퍼청크와 공유 Flow Matching 백본을 사용한다.
더 보기AutoDataBench는 학습 프레임워크와 하이퍼파라미터, 연산 예산 등의 비데이터 요인을 통제하고 LLM 연구 에이전트의 데이터 진단·조직·구성 능력을 측정하는 테스트베드입니다. 데이터 개입의 효과를 사전에 예측하는 능력과 연구 궤적의 재활용 가능성도 함께 살펴봅니다.
더 보기자가 진화 검색 에이전트는 서로의 같은 오류를 정답처럼 강화해 내부 보상만 높일 수 있다. CrossFit은 학습 데이터와 평가 경로의 출처를 분리해 이런 피드백 고리를 약화한다.
더 보기MIST 테스트는 이미지가 원칙적으로 무시되어야 하는 과제에서도 비전·언어 모델의 라벨이 바뀔 수 있음을 보여준다. 판단을 좌우한 것은 이미지의 의미보다 이미지가 존재한다는 사실에 가까웠다.
더 보기OSWorld-Science는 분자 그리기, 병리 이미지 분석, 통계 계산, 물리 시뮬레이션 등 과학 워크플로를 컴퓨터 사용 에이전트 평가에 포함한 벤치마크입니다. 단순한 화면 조작이 아니라 생성된 과학 산출물의 검증 가능성까지 살핍니다.
더 보기Meta 연구진이 순환 계산, MoE 희소성, 모델 규모, 데이터를 함께 모델링하는 Loop Scaling Laws를 제안했습니다. 순환과 희소성을 결합해 효율적인 모델 설계 공간을 분석한 연구입니다.
더 보기여러 플로우 기반 VLA 모델을 분석한 연구에서 강화학습에 따른 변화가 액션 전문가 내부의 작은 Timestep Modules에 집중되는 것으로 나타났다. shift 벡터 업데이트는 작업 성공과 전이 관계까지 반영했다.
더 보기MILO는 에이전트의 실행과 환경 상호작용을 제어하는 Harness와 이를 발견하는 탐색 전략을 함께 진화시키는 프레임워크입니다. 세 가지 장기 작업 벤치마크에서 기존 Harness와 탐색 방식보다 높은 성능을 보고했습니다.
더 보기