CCTest · Blog
多模态视觉编码正在“解耦”:预训练先验不是关键,专用视觉容量才是
多模态
cctest.ai
多模态

多模态视觉编码正在“解耦”:预训练先验不是关键,专用视觉容量才是

一项受控研究重新审视多模态模型的视觉编码方式:视觉编码器不一定需要预训练,但模型仍需要专门的视觉处理容量。研究还发现,这部分能力可以更早地融入主干网络,而不必完全置于多模态融合之前。

阅读全文
CCTest · Blog
图像生成不只是“画图”:统一多模态模型能从视觉监督中学到新知识吗?
多模态
cctest.ai
多模态

图像生成不只是“画图”:统一多模态模型能从视觉监督中学到新知识吗?

一项新研究发现,图像生成训练确实能把部分新知识迁移到语言问答中,但这种迁移并不稳定。通过文本对齐和图文交错对齐,模型对视觉知识的语言访问能力还能进一步提升。

阅读全文
CCTest · Blog
冻结模型也能持续进化:FMEE让多模态医疗AI从部署经验中学习
多模态
cctest.ai
多模态

冻结模型也能持续进化:FMEE让多模态医疗AI从部署经验中学习

FMEE提出一种无需修改模型参数的持续学习框架,让冻结的语言模型和视觉语言模型通过技能、知识记忆与多模态案例库积累部署经验。该方法重点解决医疗场景中的知识更新、视觉信息保留和在线验证问题。

阅读全文