메모리·컨텍스트

Qwen3.5와 Falcon-H1을 분석한 연구에서 KV 캐시와 고정 크기 순환 상태가 뚜렷하게 다른 역할을 맡는 것으로 나타났다. 어텐션은 문맥에 나온 정보를 검색하고, 순환 상태는 출력 언어와 페르소나를 주로 결정한다.

LatentStream은 스트리밍 영상 이해를 위한 잠재 작업 메모리 프레임워크를 제안한다. 과거 영상을 외부 문맥으로 반복 검색하는 대신, 관련 증거를 작고 진화하는 잠재 표현으로 단계적으로 내재화하는 방식이다.

Random Attention은 긴 추론 과정에서 KV 캐시의 모든 토큰을 중요도 점수로 선별하지 않아도 될 수 있음을 보였다. 프롬프트를 보존하고 각 어텐션 헤드에서 나머지를 무작위로 축출해도 강력한 기존 방식에 가까운 성능을 낸다.

LatentPress는 대화 기록과 긴 문서를 사람이 읽는 요약문이나 이미지가 아닌 연속 메모리 토큰으로 변환한다. 고정된 디코더가 입력 임베딩 인터페이스를 통해 이를 직접 읽기 때문에 추론 중 텍스트 복원 과정이 필요하지 않다.

VoiceMem은 양방향 음성 언어 모델을 위해 정보 기억과 감정·페르소나 기억을 분리하고, 이를 스트리밍 방식으로 처리하는 아키텍처를 제시합니다.

Anthropic이 Claude 채팅과 Cowork의 메모리 시스템을 통합한다. 사용자는 프로젝트를 논의한 뒤 같은 배경을 다시 설명하지 않고 실행 작업으로 넘어갈 수 있다.

더 많이 기억한다고 해서 언어 모델이 현재 과제를 항상 더 잘 해결하는 것은 아니다. MemTrapBench는 검색된 기억이 추론과 판단을 왜곡하는 두 가지 인지 함정을 측정한다.

다양한 메모리 저장 방식을 동일한 조건에서 비교한 연구는 최적의 메모리 기반이 작업, 이력 길이, 운영 비용에 따라 달라진다는 점을 보여준다. 단일 방식을 고르기보다 상황별 메모리 라우팅이 중요해진다.

OpenAI가 macOS용 ChatGPT 데스크톱 앱에 Computer History 기능을 추가한다. 클릭, 입력, 앱 사용 흐름을 ChatGPT와 Codex가 참고할 수 있게 해 생산성을 높이지만, 개인 작업 기록을 AI에 맡기는 문제도 함께 제기된다.

AMD는 강한 교사 에이전트의 성공 궤적을 계층적 기억으로 추출해 작은 LLM 에이전트에 전달하는 방식이다. 재학습보다 재사용 가능한 경험을 구조화하는 데 초점을 둔다.

새 논문은 ALiBi의 선형 위치 바이어스가 부동소수점 정밀도에서 언더플로를 일으켜 많은 attention weight를 0으로 만들 수 있다고 지적한다. 이 경우 일부 attention head는 먼 토큰을 사실상 읽지 못하는 상태가 된다.

새 논문은 세션을 넘나드는 개인화된 모호성 적응을 코딩 어시스턴트의 새로운 평가 과제로 제시한다. 핵심은 같은 사용자의 과거 해결 기록을 활용해 반복되는 애매한 요청을 더 적은 확인으로 처리할 수 있는지다.

이 논문은 Memory Decoder를 6.9B 파라미터와 300B 토큰 사전학습 규모로 확장하며, 작은 백본과 큰 파라메트릭 메모리의 조합이 더 효율적일 수 있음을 보인다.

Metis는 에이전트 메모리를 외부 검색·저장 파이프라인이 아니라 모델 내부의 지속적으로 변화하는 상태로 다루는 ‘메모리 파운데이션 모델’을 제안한다. 핵심은 과거 정보를 압축된 세션 상태로 유지하고 이후 계산에서 직접 활용하는 것이다.

CodeNib은 코딩 에이전트가 같은 저장소를 반복해서 탐색하는 문제를 다룬다. 커밋별로 어휘, 벡터, 구조 뷰를 만들고 하나의 런타임에서 검색, 심볼 탐색, 제한된 컨텍스트를 제공한다.

이 논문은 Agentic Context Management를 제안하며, 프로덕션 에이전트의 실패 원인이 추론 능력보다 현재 추론 컨텍스트를 관리하지 못하는 데 있는 경우가 많다고 주장한다.

ReflectWorld-MM은 연속되는 영상 속에서 누가 다시 나타났는지, 무엇이 변했는지를 엔티티 단위로 기억하려는 시스템이다. 단순 저장이 아니라, 세계 경험을 구조화해 축적하는 방향으로 비디오 메모리를 재설계했다.

긴 컨텍스트를 다룰수록 중요한 것은 더 많이 넣는 일이 아니라 무엇을 남길지 정하는 일입니다. SWE-Pruner Pro는 이 판단을 외부 분류기가 아니라 모델 내부 표현으로 처리합니다.

RecGPT-V3는 지속적으로 진화하는 사용자 메모리, Semantic IDs 기반 상품 grounding, 잠재 토큰 추론을 결합한 산업용 LLM 추천 시스템이다. 타오바오 ‘Guess What You Like’ 피드 적용 결과 GMV +3.97%, 서빙 리소스 소비 52.4% 감소가 보고됐다.

xHC는 Hyper-Connections를 기존의 N=4 한계 너머로 확장해, 잔차 스트림 폭을 대규모 언어 모델 사전학습의 새로운 스케일링 축으로 만들려는 연구입니다. N=16 상태를 유지하면서 일부 스트림만 갱신해 성능과 비용의 균형을 맞춥니다.

새 논문은 검증된 지식을 바이트 단위로 정확한 KV Cache 상태로 저장한 뒤, 이후 추론에 다시 접목하는 방식을 제안한다. 반복 사례에서는 큰 비용 절감이 보고됐지만, 재현성과 ‘추론 능력 향상’의 의미는 신중히 봐야 한다.