CCTest · Blog
LoGRA:用低秩梯度草图降低大模型强化学习的显存门槛
强化学习
cctest.ai
强化学习

LoGRA:用低秩梯度草图降低大模型强化学习的显存门槛

LoGRA 将大模型强化学习中的梯度信号压缩为低秩表示,同时配合预测 KL 的步长控制,在尽量保持效果的前提下降低训练内存。论文报告称,该方法最高可减少 45.7% 的平均训练内存,并支持在单个八卡节点上稳定训练 27B 模型。

阅读全文
CCTest · Blog
Kandinsky 6.0 Video:让视频生成同时具备画面、声音与口型同步
多模态
cctest.ai
多模态

Kandinsky 6.0 Video:让视频生成同时具备画面、声音与口型同步

Kandinsky 6.0 Video 是一组面向文本或图像输入的音视频生成模型,可输出带有同步 44 kHz 音频和唇形匹配的 5 秒视频。其核心是连接视频与音频生成流的双流 CrossDiT 架构,并以开源方式发布代码、权重和 Diffusers 集成。

阅读全文