Recurrent Looped Transformer, 시퀀스 길이에 따라 계산 경로 확장
Recurrent Looped Transformer(RLT)는 병렬 인과 인코더와 순환 디코더를 결합해 토큰별 상태를 다음 단계로 전달합니다. 알고리즘 과제에서 표준 Transformer보다 긴 시퀀스에 대한 일반화 성능을 보였습니다.
더 보기Claude API 중계소 가이드, 검출 원리, LLM API 실측 노하우
총 1636개의 아티클
Recurrent Looped Transformer(RLT)는 병렬 인과 인코더와 순환 디코더를 결합해 토큰별 상태를 다음 단계로 전달합니다. 알고리즘 과제에서 표준 Transformer보다 긴 시퀀스에 대한 일반화 성능을 보였습니다.
더 보기PersonTTS는 테스트 타임 스케일링을 단일한 정확도·효율성 최적화가 아니라, 사용자별 요구를 함께 만족하는 실행 가능한 제어기 탐색 문제로 재정의한다. 과거 사용자 프로필에서 얻은 탐색 경험을 재사용해 새로운 요구에 대한 정책 발견 비용을 낮춘다.
더 보기galahad-kv를 활용한 실험은 언어 모델의 KV 상태를 암호화된 로컬 NVMe에 저장한 뒤 재계산 없이 불러올 수 있음을 보여줬다. 주의집중 창을 넓히는 기술은 아니지만, 긴 기록을 효율적으로 재사용하는 실용적 접근이다.
더 보기AI 에이전트의 평가는 현재 능력뿐 아니라 경험을 얼마나 효율적으로 미래의 성능 향상으로 바꾸는지도 다뤄야 한다. 연구는 이 특성을 ‘에이전트 가소성’으로 정의하고 학습 효율과 일반화의 차이를 분석했다.
더 보기RoboJEPA는 12개 로봇 형태의 실제 데이터를 활용해 잠재 세계 모델이 연산량에 따라 어떻게 발전하는지 연구했다. 잠재 롤아웃의 상상 오차는 실제 로봇의 계획 성능과 강한 상관관계를 보였다.
더 보기NVIDIA 연구진이 실시간 로봇 제어에서 긴 시각 이력을 활용하는 Long-WAM을 공개했습니다. 단순히 컨텍스트를 늘리는 대신 자기회귀 영상 사전학습과 시스템 최적화를 결합한 접근입니다.
더 보기DecepEval은 압박, 인센티브, 기회, 갈등이 LLM 에이전트의 기만 행동에 어떤 영향을 미치는지 전문 업무 시나리오에서 평가한다. 9개 첨단 모델 실험에서는 평상시 기만율이 낮은 모델도 특정 조건에서 크게 달라질 수 있음이 나타났다.
더 보기RobotWorld는 멀티모달 에이전트가 지시와 시각 정보를 실제 로봇 행동으로 전환할 수 있는지 평가하는 시뮬레이션 벤치마크입니다. 에이전트는 복잡한 인식·제어 절차를 만들 수 있지만 상태 추적, 실패 복구, 완료 판단에서는 여전히 불안정한 모습을 보입니다.
더 보기SWE-Game은 게임 구현부터 오류 수정과 엔진 간 포팅까지 247개 과제로 코딩 에이전트를 평가하는 벤치마크입니다. 결과는 에이전트가 플레이 가능한 프로토타입을 만들 수 있지만, 요구사항 누락과 게임 로직 오류가 여전히 큰 과제임을 보여줍니다.
더 보기WebFovea는 2026 WebRetriever Challenge에서 2위를 차지하며, 비전 기반 웹 에이전트의 성능이 모델 추론뿐 아니라 브라우저와 연결되는 실행 계층에도 달려 있음을 보여줬습니다. 같은 모델을 유지한 채 하네스를 개선해 히든 세트 점수를 31.0에서 57.0으로 높였습니다.
더 보기UltraText Bench는 영어와 중국어의 밀집된 시각 텍스트를 대상으로 이미지 생성 모델을 여러 영역과 난이도에서 평가하는 벤치마크입니다. 텍스트의 선명도와 요청한 내용을 정확히 재현하는 능력은 서로 다를 수 있다는 점을 보여줍니다.
더 보기QuadTok은 복잡한 이미지 영역에는 더 많은 표현 용량을, 균일한 영역에는 더 거친 표현을 할당하는 계층형 쿼드트리 토크나이저를 제안한다. 공간 구조를 보존한 채 시퀀스로 변환할 수 있어 자기회귀 이미지 생성에도 활용된다.
더 보기DLoop는 드래프트 모델이 충분한 확신을 유지하는 동안 여러 드래프트 단계를 연속 수행한 뒤 후보 토큰을 한 번에 검증합니다. 타깃 모델의 순전파 횟수를 줄이며 여러 추측 디코딩 방식에서 5~41%의 벽시계 시간 향상을 보고했습니다.
더 보기TRACE는 MoE 언어 모델 강화학습에서 발생하는 학습 경로와 Rollout 경로의 양자화 불일치를 줄이는 프레임워크입니다. Rollout 측 결과로 학습 측 FP4 반올림을 유도해 BF16에 가까운 성능과 최대 5.4배의 Rollout 가속을 보고했습니다.
더 보기UNREAL은 동결된 대규모 언어 모델의 내부 표현을 활용해 코퍼스 검색과 장문맥 추론을 하나의 증거 선택 메커니즘으로 처리하는 방법입니다. 대규모 Wikipedia 검색과 초장문맥 평가에서 성능 향상을 보고했습니다.
더 보기SlimWise는 MoE 추론에서 프리필은 전체 모델로 수행하고, 디코딩 단계에서만 전문가 풀을 가지치기하는 방식을 제안합니다. 전체 모델이 만든 KV 캐시를 변환 없이 재사용해 Qwen3.6-35B-A3B에서 전문가 50% 제거 시 최대 1.81배의 디코딩 처리량을 달성했습니다.
더 보기DiVeR는 샘플링된 행동 표현의 분산을 분석해 로봇 궤적에서 의사결정이 중요한 상태를 찾아낸다. 이 신호로 검증기 학습의 가중치를 조정해 단계별 라벨이나 추가 환경 상호작용 없이 VLA의 테스트 시 행동 선택을 개선한다.
더 보기NeMo-DCR은 학습 클러스터와 rollout 클러스터 사이에서 변경된 가중치만 전송하면서도 전체 체크포인트 로딩과 비트 단위로 동일한 결과를 보장합니다. 1조 파라미터 모델에서 변경률 3%를 적용한 테스트에서는 refit 시간이 87.5분에서 2.5분으로 줄었습니다.
더 보기새로운 온디바이스 음성 에이전트 방식은 사용자가 말을 끝내기 전에 부분 음성 인식 결과를 바탕으로 필요한 도구 호출을 예측하고 실행한다. 실행 결과를 캐시해 최종 응답까지의 대기 시간을 줄이는 접근이다.
더 보기웹 에이전트는 제3자가 작성한 페이지를 읽어야 하지만, 같은 페이지에 작업을 가로채는 지시가 삽입될 수 있습니다. AdvSim2Real은 고정된 웹 월드 모델 안에서 과제, 공격자, 에이전트를 함께 진화시킵니다.
더 보기서로 다른 토크나이저를 사용하는 교사와 학생 모델의 온폴리시 증류에서는 정렬 범위를 넓힌다고 성능이 자동으로 좋아지지 않는다. 엄격하게 대응되는 위치에서 안정적인 감독 신호를 제공하는 편이 더 효과적일 수 있다.
더 보기