CCTest · Blog
让模型少训练也能学得更多:用不确定性压缩推理后训练
大语言模型
cctest.ai
大语言模型

让模型少训练也能学得更多:用不确定性压缩推理后训练

南京大学团队提出不确定性引导的渐进式收缩框架,通过识别最有学习价值的推理轨迹,减少大语言模型推理后训练中的数据与优化开销。实验显示,在部分设置下,训练预算可降至完整数据 SFT 的 0.22%。

阅读全文
CCTest · Blog
从“看起来像”到“真的能动”:Artisan让3D资产接受物理检验
机器人与物理 AI
cctest.ai
机器人与物理 AI

从“看起来像”到“真的能动”:Artisan让3D资产接受物理检验

Artisan将多智能体协作与物理仿真反馈引入关节式3D资产生成,目标不再只是还原外观,而是让物体具备可运动、可交互、可用于仿真的属性。论文同时推出覆盖空间、物理、任务和整体质量的统一评测基准。

阅读全文
CCTest · Blog
MoE不只要负载均衡:DRMoET让专家更能扛住路由偏差
大语言模型
cctest.ai
大语言模型

MoE不只要负载均衡:DRMoET让专家更能扛住路由偏差

传统MoE训练通常关注各专家接收的Token数量是否均衡,但均衡并不代表专家真正擅长处理被分配的数据。DRMoET将专家损失纳入路由鲁棒性优化,在不改变稀疏计算方式的前提下,提升模型应对错误或非最优路由的能力。

阅读全文