CCTest · Blog
LiteRT Tensor API:谷歌把端侧模型优化推进到计算图层
框架与工具
cctest.ai
框架与工具

LiteRT Tensor API:谷歌把端侧模型优化推进到计算图层

谷歌推出轻量级 C++ API LiteRT Tensor,允许开发者直接构建、修改和优化端侧机器学习计算图,并在 CPU、GPU 与 NPU 间保持较好的可移植性。其示例显示,统一的 C++ 图和零拷贝能力有望降低跨硬件部署与性能调优成本。

阅读全文
CCTest · Blog
在欧洲公共超算上训练1万亿参数MoE,PyTorch如何突破带宽瓶颈
框架与工具
cctest.ai
框架与工具

在欧洲公共超算上训练1万亿参数MoE,PyTorch如何突破带宽瓶颈

EUROPA联盟借助PyTorch与TorchTitan,在共享的JUPITER超算上完成近1万亿参数MoE预训练扩展,将单GPU吞吐从90提升至约1300 tokens/s。这个案例说明,面向特定硬件约束的系统级优化,可能比单纯堆叠算力更关键。

阅读全文
CCTest · Blog
把自然语言编译成本地神经函数:Compile by Training 提升复用性与准确率
框架与工具
cctest.ai
框架与工具

把自然语言编译成本地神经函数:Compile by Training 提升复用性与准确率

Compile by Training 将自然语言任务说明转化为可复用的本地神经函数,通过教师模型生成示例,再训练轻量适配器。它在困难测试子集上取得更高语义准确率,但也带来了更高的编译成本与泛化风险。

阅读全文