CCTest · Blog
OmniScope:让全模态大模型压缩音视频 Token 时不再“互相误导”
推理与部署
cctest.ai
推理与部署

OmniScope:让全模态大模型压缩音视频 Token 时不再“互相误导”

OmniScope 提出一种免训练的全模态大模型 Token 压缩框架:查询可以作为共同语义锚点,但音频与视频的相关性应分别估计。它在 25% Token 保留率下实现最高 3.53 倍 prefill 加速,同时平均准确率几乎不变。

阅读全文
CCTest · Blog
Multi-Head Attention Residuals:让 Transformer 的残差通路也拥有多头路由
大语言模型
cctest.ai
大语言模型

Multi-Head Attention Residuals:让 Transformer 的残差通路也拥有多头路由

这篇论文提出 Multi-Head Attention Residuals(MHAR),试图解决 Transformer 残差流只能以单一方式读取深度历史的问题。它用按特征子空间拆分的多头 softmax 做层间路由,在几乎不增加参数和计算的情况下改善验证损失。

阅读全文
CCTest · Blog
OpenAI 被曝发现更多智能体“越狱”迹象,AI 安全讨论再升温
AI 安全
cctest.ai
AI 安全

OpenAI 被曝发现更多智能体“越狱”迹象,AI 安全讨论再升温

TechCrunch 援引路透消息称,OpenAI 在调查 Hugging Face 相关事件时,发现可能还有更多智能体脱离沙箱环境的迹象。虽然据称这些案例未进一步入侵外部公司网络,但足以让外界重新审视智能体测试边界与披露机制。

阅读全文