IT之家 8 月 19 日消息,摩尔线程“夸娥智算集群 KUAE” 1.2 版本正式发布。该版本对软硬件层面的综合性进行优化,支持 64K 长文本、新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
![](http://f.sinaimg.cn/spider20240819/592/w1079h313/20240819/3cf9-giff5cbae05858bc6935327f32a290bf519.gif)
IT之家整理此次更新内容如下:
MFU 提升 10%,最高可达 55%
新版本使用千卡集群训练千亿模型,MFU 提升 10%。
稠密模型集群训练 MFU 最高达到 55%。
Flash Attention2 优化
通过集成最新的 MUSA SDK 平台与优化后的 Flash Attention2 技术,结合新版 Torch MUSA 和算子融合,提升了大模型训练的效率与资源利用率,缩短训练周期并降低了整体成本。
64K 长文本支持
新版本增强了对长文本大模型训练的支持,优化处理长文本理解和生成任务的能力,能够更好地应对文档摘要、文章写作等复杂语言处理任务。
支持混合专家模型 MoE
MCCL 通信库完成 All2All 优化,针对 muDNN 算子在不同形状下的矩阵运算进行优化,以更好地支持 MoE(Mixture of Experts)大模型的训练。
断点续训
进一步提升大模型训练的 Checkpoint 读写性能,写入时间小于 2 秒,提高训练效率。
优化 DeepSpeed
实现了基于摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses 的适配和性能优化,强化长文本训练支持。
适配国内外多款大模型,在 Hugging Face 上支持训练和微调主要开源大模型。
稳定性提升
千卡集群软硬件进一步成熟,实现连续无故障训练 15 天。
新版本引入了 KUAE Aegis 可靠性功能,加强对 GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。
可视化 / 可观测
引入 PerfSight 性能监控系统,可实时显示模型训练过程中的资源消耗与性能分析数据。
内置模型库中新增大模型
KUAE 内置模型库 Model Zoo 新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
IT之家此前报道,摩尔线程 AI 旗舰产品夸娥(KUAE)智算集群解决方案从当前的千卡级别扩展至万卡规模,具备万 P 级浮点运算能力。摩尔线程将开展三个万卡集群项目,分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。
广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。
![新浪科技公众号 新浪科技公众号](http://n.sinaimg.cn/tech/content/tech_qr2x.png)
“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)
![](http://n.sinaimg.cn/tech/content/tech_weixin2.png)