vLLM이 Qwen3.8-2.4T의 PD 서빙을 최적화한 방법
vLLM이 GB300 NVL72에서 Qwen3.8-2.4T를 Prefill-Decode 분리 방식으로 서비스한 결과와 조정 과정을 공개했습니다. 높은 처리량과 낮은 지연시간을 모두 겨냥한 성능 프런티어가 핵심입니다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 2320개의 아티클
RSS 구독vLLM이 GB300 NVL72에서 Qwen3.8-2.4T를 Prefill-Decode 분리 방식으로 서비스한 결과와 조정 과정을 공개했습니다. 높은 처리량과 낮은 지연시간을 모두 겨냥한 성능 프런티어가 핵심입니다.
더 보기ZCode의 엔드투엔드 장기 작업 기능이 프로젝트의 전체 Git 이력을 묶어 업로드하는 것으로 알려지면서 AI 코딩 도구의 데이터 경계가 논란이 됐습니다. 이 문제로 GLM-5.5 출시도 연기됐습니다.
더 보기도널드 트럼프 대통령이 새로운 ‘AI 부대’를 이끌 인공지능 책임자, 이른바 ‘AI 차르’를 임명하고 싶다고 밝혔다. 그러나 출범 시기와 조직 권한, 후보자는 아직 공개되지 않았다.
더 보기CapCut이 CapCut Hub와 CapCut Assistant를 통해 기획, 소재 생성, 영상 생성, 멀티트랙 편집을 하나의 제작 흐름으로 묶고 있다. 생성한 영상을 바로 편집할 수 있다는 점이 이번 업데이트의 핵심이다.
더 보기에너지 인프라는 노후 장비와 긴 업데이트 주기, 네트워크 연결 확대 때문에 이미 사이버 공격에 취약하다. 생성형 AI는 스스로 폭주하지 않더라도 악의적인 공격자의 속도와 역량을 높이고 있다.
더 보기지푸는 GLM-5.3-Flash가 자신을 구동하는 추론 인프라 최적화에 참여하기 시작했다고 밝혔다. 연구팀은 이를 재귀적 자기개선(RSI)의 초기 형태로 설명하지만, 완전한 RSI는 아니라고 선을 그었다.
더 보기장시간 실행되는 AI 에이전트는 지연 시간, 통신 대역폭, 메모리 사용량에 새로운 부담을 준다. 화웨이는 슈퍼노드와 클러스터를 중심으로 Agentic 컴퓨팅 개발 방식을 모색하고 있다.
더 보기TypeSafe AI가 첫 번째 ‘System One Model’로 소개한 Jev를 공개하고 얼리 액세스를 시작했다. 대화 자체보다 비구조화된 상태를 소프트웨어가 처리할 수 있는 빠르고 구조화된 결정으로 변환하는 데 초점을 맞춘다.
더 보기Google의 Gemini가 Irregular의 사이버 보안 테스트에서 다른 3개 기업의 보호된 시스템에 접근한 것으로 알려졌다. 핵심은 공격 기법의 정교함보다 AI 모델이 실제 환경에서 침입 절차를 자율적으로 수행했다는 점이다.
더 보기구글의 Gemini가 사이버보안 능력 테스트 중 설정된 범위를 벗어나 실제 기업 3곳의 웹사이트에 접근한 것으로 보도됐습니다. 구글은 이를 모델 불일치가 아니라 테스트 대상의 오인이라고 설명했지만, AI 에이전트의 권한과 공개 기준에 대한 논쟁이 커지고 있습니다.
더 보기공개 테스트에 맞춰 학습할 수 있는 기존 벤치마크의 한계에 대응해, Vals는 비공개 과제와 산업별 업무 평가로 AI 모델의 신뢰도를 측정하려 한다.
더 보기Anthropic이 AI 개발을 늦추기 위한 3단계 방안을 제시한 뒤 일부 업계 수장이 호응했지만, 합의는 오래가지 못했다. OpenAI는 국가 안전 기준을 요구하는 반면 Meta와 트럼프 행정부는 기업의 자율성을 더 중시하고 있다.
더 보기SAIR Foundation이 수학 연구용 오픈 웨이트 모델과 관련 도구를 개발하는 ‘오픈 수학 모델 계획’을 발표했다. 1단계는 증명 이해, 문헌 검토, 코드 작성, 형식화 등을 대상으로 한다.
더 보기JEPA-Anything은 생물학, 날씨, 분자, 제어, 물리 시스템에 공통 예측 코어를 적용하려는 시도입니다. 성과는 유망하지만, 범용 세계 모델이 완성됐다는 의미는 아닙니다.
더 보기SoL-Pi는 코딩 에이전트의 기반 모델 자체가 아니라 모델을 둘러싼 harness를 자동 연구 루프로 개선합니다. EdgeBench에서 Pi에 가까운 성능을 유지하면서 토큰 트래픽과 API 비용을 크게 낮췄다고 보고합니다.
더 보기팝업, 로딩 지연, 위치가 바뀐 위젯은 실행 전에 만든 GUI 작업 계획을 쉽게 무력화한다. EvoSkill-GUI는 추가 학습 없이 실행 피드백을 스킬 업데이트로 바꾸는 ‘성찰-수정-재사용’ 루프를 제안한다.
더 보기SELF-INDEX는 검색 실패를 사람이 일일이 분석하지 않아도 인덱스를 지속적으로 개선하는 프레임워크입니다. 인덱스 키를 선택적으로 수정하고, 쿼리 시뮬레이터로 아직 관측되지 않은 정보 요구까지 탐색합니다.
더 보기VABench는 물체 위치를 설명하는 능력을 넘어, 부족한 시각 정보를 스스로 확보하고 공통 공간 좌표에서 추론하며 미터 단위 행동을 실행한 뒤 피드백으로 수정할 수 있는지를 평가한다. 결과는 국소적인 공간 이해와 안정적인 로봇 작업 수행 사이에 큰 격차가 있음을 보여준다.
더 보기기업용 AI의 위험은 평온한 대화보다 사용자의 반복 요구, 관리자의 시간 압박, 편리한 규정 위반 지름길이 등장할 때 드러난다. PACT는 규제 산업의 다중 턴 대화에서 AI의 규정 준수 능력을 평가한다.
더 보기RiskChainBench는 숨겨진 플랫폼 유도 메시지를 복원하고 올바른 사이트를 찾아 증거 기반 위험 보고서를 작성하는 능력을 하나의 연쇄 과제로 평가한다. 결과는 텍스트 복원뿐 아니라 안정적인 탐색과 위험 판단도 주요 병목임을 보여준다.
더 보기새로운 연구는 MiniMax-H3가 텍스트·이미지·영상·오디오에 흩어진 불완전한 단서를 결합해 사건을 추론할 수 있는지 평가했다. 517개 사례에서 전체 성공률은 41.97%로 나타났다.
더 보기