메모리·컨텍스트

자기회귀 비디오 확산 모델은 긴 영상을 생성할수록 어텐션 KV 캐시가 커져 메모리 부담이 증가합니다. CORAL-KV는 캐시 계층 간 의존성을 활용해 이후 키와 값을 예측하고, 예측 잔차만 양자화합니다.

REMORY는 텍스트 요약만으로 보존하기 어려운 정보를 제한된 소프트 메모리 토큰으로 보완합니다. 전체 이력을 입력했을 때의 모델 동작에 가까워지면서 문맥 사용량을 줄이는 접근입니다.

EngramEdit는 조건부 메모리를 단순한 용량 확장 장치에서 편집 가능한 지식 인터페이스로 확장합니다. Transformer 본체를 고정한 채 공유 n-gram 임베딩을 업데이트해 여러 표현에 걸친 지식 수정과 부작용 억제를 시도합니다.

새 연구는 슬라이딩 윈도우 어텐션과 선형 어텐션이 문맥 확장과 길이 외삽에서 서로 다른 강점을 보인다고 분석했다. 연구진은 그 차이를 각 어텐션이 형성하는 ‘하이브리드 위치’ 편향으로 설명하고 Sliding-Window Linear Attention을 제안했다.

galahad-kv를 활용한 실험은 언어 모델의 KV 상태를 암호화된 로컬 NVMe에 저장한 뒤 재계산 없이 불러올 수 있음을 보여줬다. 주의집중 창을 넓히는 기술은 아니지만, 긴 기록을 효율적으로 재사용하는 실용적 접근이다.

Periscope는 모델을 재학습하지 않고도 긴 문서를 여러 개의 짧은 탐침으로 나누어 읽는 추론 방법입니다. 문서 전체를 훑는 탐침과 인접 구간을 읽는 탐침을 결합해 답과 근거를 찾아냅니다.

장기기억은 LLM 에이전트의 개인화를 높이지만 사용자의 과거 신념에 과도하게 동조하게 만들 수도 있습니다. MemAdapter는 현재 맥락에 따라 기억의 영향력을 조절합니다.

RealCompanion은 AI가 과거 발언을 검색할 수 있는지만이 아니라, 언제 기억이 필요한지 판단하고 이를 현재 대화에 적절히 활용하는지를 평가하는 장기 대화 벤치마크다. 연구 결과는 기억이 필요한 경우가 생각보다 적고, 그 시점을 판별하는 일은 여전히 어렵다는 점을 보여준다.

HeteroFold는 서로 다른 모델 패밀리로 구성된 멀티 에이전트 LLM에서 수신 측 재계산을 없애기 위한 KV Cache 전송 방법입니다. 논문은 32K 컨텍스트의 한 전송 방향에서 기본 Prefill 대비 약 10.7배의 속도 향상을 보고했습니다.

상호작용 기록을 기억하는 것만으로는 에이전트가 현재 세계를 일관되게 이해하거나 목표를 향해 나아간다고 보장할 수 없습니다. PoS는 추론 시점에 명시적 신념 상태를 유지하고 정체, 순환, 이탈을 감지해 회복을 유도합니다.

MemFold는 질의와 관련된 텍스트 기억을 고정된 수의 연속 벡터로 압축하고, 그 기억이 실제 응답 행동에 얼마나 도움이 되는지를 기준으로 최적화합니다. 학습에는 과제 보상과 동결된 텍스트 기억 교사의 신뢰도 게이트 온폴리시 증류가 함께 사용됩니다.

WUSH-KV는 캘리브레이션 데이터에서 Key와 Value에 맞는 변환을 각각 학습해 저비트 KV 캐시 양자화 오류를 줄이는 방법입니다. 2비트 평가에서 검증된 모델과 다운스트림 작업 전반에 걸쳐 OSCAR 변환과 비슷하거나 더 나은 결과가 보고됐습니다.

청크형 KV 캐시 압축을 사용하는 모델은 같은 정보라도 압축 창 안의 위치에 따라 검색 성능이 달라질 수 있습니다. 평균 점수만으로는 주기적으로 반복되는 약점을 놓칠 수 있습니다.

장시간 영상 질의응답에서는 관련 장면을 찾는 것뿐 아니라 서로 다른 시점의 객체가 동일한 물리적 개체인지 확인해야 합니다. Amazon Science의 GEB는 시각적으로 근거가 있는 관찰을 엔티티 전기로 연결합니다.

Meta 연구진은 문맥을 모델이 자유롭게 수정할 수 있는 파일로 다루는 Context Language Models를 제안했다. 여러 장기 에이전트 과제에서 성능을 높이면서 계산량을 줄였다고 보고한다.

ByteDance Seed 연구진이 거친 후보에서 세밀한 후보로 범위를 줄이는 피라미드형 Top-K 방식의 PISA를 제안했습니다. 이 방법은 장문맥 어텐션에서 블록 선택에 드는 이차적 비용을 낮추는 데 초점을 둡니다.

대부분의 에이전트 메모리는 미래의 질문을 알기 전에 작업 경험을 요약합니다. JitMem은 원시 궤적을 보존한 뒤 새 작업이 주어졌을 때 필요한 정보만 작업에 맞게 다시 구성합니다.

LatentPort는 수신 모델이 과거 프리픽스를 다시 읽지 않고도 다른 모델의 실행 중 내부 상태를 이어받을 수 있는지 검증했다. Qwen3.5 4B에서 9B로 상태를 넘긴 결과, KV 캐시에 순환 상태와 합성곱 상태를 추가하면 네이티브 9B와의 격차가 크게 줄었다.

Jev-Mem은 에이전트 메모리를 빠른 제어, 구조화된 저장, 심층 추론으로 분리합니다. LoCoMo에서 답변 품질을 높이는 동시에 메모리 구축 시간과 질의 지연을 줄였습니다.

DeepSeek-V4.1-Flash는 장기 에이전트 워크로드에서 커지는 프리필 연산량과 KV 캐시의 메모리·스토리지·대역폭 부담을 줄이는 데 초점을 맞춘 모델입니다. CED, 계층 간 KV 재사용, FP4 KV 캐싱, SWA Bounded Replay를 결합해 캐시 사용량을 크게 낮춥니다.

존스홉킨스대 연구팀이 100개의 연속 질의응답 과제에서 여러 지속학습 메커니즘을 결합해 최종 평균 보존율을 1.2%에서 34.9%로 높였습니다.