中国移动发布“芯合”异构混合并行训练系统 1.0，支持多品牌万卡集群
快讯 零壹财经 零壹财经 2024-12-03 阅读：1575
据介绍，“芯合”异构混合并行训练系统具备基于非均匀计算任务切分 ITD（Inhomogeneous Task Distribution）算法的 3D 并行策略和基于 GDR（GPU Direct RDMA）的异构芯片高速通信两大核心能力。
中国移动透露，当前，系统已实现百亿参数大模型在英伟达、天数智芯、壁仞科技、海光等 4 家智算芯片上的交叉混合训练，规模可支持万卡集群，训练加速比达 95% 以上，达到“业界领先水平”，未来将在提升智能算力资源利用率及促进国产算力发展等方面发挥重要作用（IT之家）
相关文章
用户评论
所有评论
主编精选
more专题推荐
more
第四届中国零售金融发展峰会(共15篇)
资讯排行
- 48h
- 7天
-
首页
-
评论
-
回顶部
游客
自律公约