CCTest · Blog
EvoMemState:让个人智能体从“记事实”走向“理解记忆状态”
记忆与上下文
cctest.ai
记忆与上下文

EvoMemState:让个人智能体从“记事实”走向“理解记忆状态”

EvoMemState提出一种面向长期记忆的状态中心框架,将事实、事实之间的关系以及当前请求下的使用策略结合起来。它试图解决个人智能体在偏好变化、信息冲突和记忆适用范围判断上的常见问题。

阅读全文
CCTest · Blog
长上下文真正的敌人,不是长度,而是注意力竞争
记忆与上下文
cctest.ai
记忆与上下文

长上下文真正的敌人,不是长度,而是注意力竞争

一项针对检索任务的研究发现,语言模型并不会因为中性文本变长就必然失效,真正显著的影响来自与答案相似、彼此竞争的证据。研究者还发现,模型分配给正确证据的注意力质量,比上下文长度更能解释性能下降。

阅读全文
CCTest · Blog
长程智能体为何不怕压缩上下文?新研究发现基准测试可能过于“友好”
记忆与上下文
cctest.ai
记忆与上下文

长程智能体为何不怕压缩上下文?新研究发现基准测试可能过于“友好”

一项针对长程智能体任务的研究发现,许多基准测试对上下文压缩并不敏感,因为任务目标和中间产物通常保存在外部文件中。但压缩仍可能悄悄丢失工作规则与反作弊约束,带来难以察觉的风险。

阅读全文
CCTest · Blog
Deep Fusion Memory:让大模型把外部知识写入中间层记忆
记忆与上下文
cctest.ai
记忆与上下文

Deep Fusion Memory:让大模型把外部知识写入中间层记忆

Deep Fusion Memory 提出一种面向文本块的参数化记忆架构,试图同时降低外部知识构建成本,并让记忆更深入地参与语言模型的推理过程。该方法在推理阶段无需显式检索,并在知识问答与领域适配任务中取得了较好的结果。

阅读全文