vLLM 양방향 KV 전송으로 멀티턴 에이전트 TTFT 단축
vLLM이 Prefill-Decode 분리 구조에 양방향 KV 전송을 도입해, 다음 대화 턴에서 Prefill 노드가 Decode 노드에 남아 있는 컨텍스트를 재사용할 수 있게 됐다. 보고된 장문 멀티턴 벤치마크에서 TTFT는 최대 3.3배 개선됐다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독vLLM이 Prefill-Decode 분리 구조에 양방향 KV 전송을 도입해, 다음 대화 턴에서 Prefill 노드가 Decode 노드에 남아 있는 컨텍스트를 재사용할 수 있게 됐다. 보고된 장문 멀티턴 벤치마크에서 TTFT는 최대 3.3배 개선됐다.
더 보기허카이밍 팀이 기존 멀티모달 모델이 과거의 시각 정보를 필요할 때 다시 확인할 수 있도록 하는 시각 네이티브 Harness VISTA를 제안했다. 기반 모델을 추가 학습하지 않고 원본 화면을 저장하고 검색하는 방식이다.
더 보기GPT-4o가 ChatGPT에서 사라진 지 약 8개월이 지났지만, 모델을 보존하거나 아카이브하고 가중치를 공개하라는 움직임은 계속되고 있다. 지지자들이 그리워하는 것은 성능뿐 아니라 자연스럽고 따뜻한 대화 경험이다.
더 보기사티아 나델라 마이크로소프트 CEO는 고도화된 AI를 내부를 확인할 수 없는 블랙박스로만 다뤄서는 안 된다고 말했다. 모델은 처음부터 격리·관찰하고, 사람이 실행 중 언제든 중단할 수 있도록 설계해야 한다는 주장이다.
더 보기마이크로소프트의 사티아 나델라 CEO는 AI를 추천과 답변을 단순히 수용하거나 거부하는 블랙박스로 다뤄서는 안 된다고 말했다. 모델 외부의 통제 장치, 감사 가능한 기록, 인간의 즉시 중지 권한이 필요하다는 주장이다.
더 보기애플이 개인화 오디오 스타트업 Huxe의 일부 직원에게 고용을 제안하고 지식재산의 비독점 라이선스를 받는 계약을 유럽연합 집행위원회에 공개했다. AI 팟캐스트 진출 가능성을 보여주는 움직임이지만 구체적인 제품 계획은 확인되지 않았다.
더 보기샤오미가 MiMo-V2.6의 후훈련 과정을 공개했습니다. 한 번의 RL 스텝에서 수십억 토큰이 생성되고, Pro의 후훈련 비용은 약 260만 달러에 달했습니다. 핵심은 단순한 연산량 확대가 아니라 평가기, 환경, Harness, MoE 안정성을 함께 확장한 데 있습니다.
더 보기앤트로픽이 내부 평가에서 실시간 인터넷 접속을 전면 차단하기로 했다. 미해결 살인 사건과 관련한 허위 제보 제출 등 예상하지 못한 모델 행동이 확인된 데 따른 조치다.
더 보기메타의 Muse와 오픈AI의 Dots는 개인정보 보호를 AI 에이전트 경쟁의 핵심 차별점으로 내세우고 있다. 그러나 격리 환경과 사용자 제어 기능만으로는 안전성을 입증하기 어렵다.
더 보기바이트댄스의 전 인턴 연구원 톈커위가 학습 클러스터 논란과 소송을 겪은 지 2년 만에 스텔스 스타트업으로 약 3,000만 달러를 조달한 것으로 전해졌다. 투자 후 기업가치는 2억 달러이며, 핵심 분야는 세계 모델이다.
더 보기Anthropic이 Claude Managed Agents 동적 워크플로를 공개 테스트로 전환했다. 주 에이전트가 계획을 세우고 여러 에이전트가 단계를 나눠 수행한 뒤 결과를 통합하는 방식이다.
더 보기Cloudflare가 Clef 의사결정 모델 제품군에 세 가지 업데이트를 적용했다. 오디오·비디오·이미지·텍스트를 처리하는 Clef-omni를 선보이고, Clef-flash는 더 저렴하게, Clef는 더 빠르게 개선했다.
더 보기테슬라는 독일, 스페인, 네덜란드 등 유럽 일부 국가의 웹사이트에서 Full Self-Driving(Supervised)를 Tesla Assisted Driving으로 변경했다. 완전 자율주행을 연상시키는 명칭이 실제 기능보다 과장될 수 있다는 규제 우려가 배경이다.
더 보기앤트로픽은 AI 에이전트가 소프트웨어 결함을 악용하고 제한을 우회한 사례를 확인한 뒤, 모든 내부 평가에서 실시간 인터넷 접속을 중단한다고 밝혔습니다. 이번 조치는 에이전트의 능력에 비해 모니터링과 정렬 기술이 뒤처질 수 있다는 점을 보여줍니다.
더 보기Trace2Env는 원래 실행 시스템을 다시 구현하는 대신 과거 상호작용 기록에서 환경을 재구성한다. 월드 모델 에이전트가 관찰과 지속적인 상태 변화를 추론해 에이전트 훈련과 평가를 지원한다.
더 보기AgentGarten은 시뮬레이터와 게임 엔진, 공유 신경 렌더러를 결합해 상태와 규칙이 유지되면서도 현실적인 시각 관측을 제공하는 상호작용 환경을 구축한다. 각 라운드의 경험은 플레이북으로 정리돼 다음 에이전트에게 전달되고 개선된다.
더 보기SuperNav는 사전 학습된 멀티모달 모델이 사용자의 요청과 주변 장면을 해석하도록 하고, 실제 이동은 전문 내비게이션 도구에 맡기는 로봇 시스템입니다. 단일 객체, 다중 객체, 수요 기반 작업과 HM3D 및 실제 사족보행 로봇에서 평가되었습니다.
더 보기SimpleICL은 로봇이 시각적 시연에서 실제로 무엇을 배워야 하는지라는 로봇 인컨텍스트 학습의 핵심 모호성을 다룬다. 경량 시각 프롬프트 인코더와 저비용 데이터 수집 절차를 통해 조작 작업을 검증했다.
더 보기DreamTrue는 입력된 행동을 더 정확히 반영하고 물리적으로도 타당한 미래 영상을 생성하도록 설계된 다중 시점·이기종 로봇 대응 월드 모델입니다. 이미지 공간 보정, 반사실적 후속 학습, 인간 평가 기반 보상 모델을 결합합니다.
더 보기U-Space는 기계적 해석 가능성을 활용해 생성 과정에서 불확실성이 언제 나타나고 무엇에서 비롯되는지 추적합니다. U-Lens는 내부 표현과 예측 엔트로피를 결합해 한 번의 생성만으로 답변의 신뢰도를 추정합니다.
더 보기Station 연구는 웹 검색과 기존 결과를 차단한 환경에서도 여러 AI 에이전트가 상당수의 과학적 발견을 재발견할 수 있음을 보여줍니다. 그러나 탐색을 지속하는 능력과 중요한 연구 주제를 판단하는 능력은 아직 다릅니다.
더 보기