11月27日,浪潮信息发布“源2.0”基础大模型,并宣布全面开源。源2.0基础大模型包括1026亿、518亿、21亿等三种参数规模的模型,在编程、推理、逻辑等方面展示出了先进的能力。
当前,大模型技术正在推动生成式人工智能产业迅猛发展,而基础大模型的关键能力则是大模型在行业和应用落地能力表现的核心支撑,但基础大模型的发展也面临着在算法、数据和算力等方面的诸多挑战。源2.0基础大模型则针对性地提出了新的改进方法并获得了能力的提升。
算法方面,源2.0提出并采用了一种新型的注意力算法结构:局部注意力过滤增强机制(LFA:Localized Filtering-based Attention)。LFA通过先学习相邻词之间的关联性,然后再计算全局关联性的方法,能够更好地学习到自然语言的局部和全局的语言特征,对于自然语言的关联语义理解更准确、更人性,提升了模型的自然语言表达能力,进而提升了模型精度。
![](http://n.sinaimg.cn/spider20231130/215/w593h422/20231130/a3ff-9b0cfe5b21f661622537f3ade34cc324.png)
数据方面,源2.0通过使用中英文书籍、百科、论文等高质量中英文资料,降低了互联网语料内容占比,结合高效的数据清洗流程,为大模型训练提供了高质量的专业数据集和逻辑推理数据集。为了获取中文数学数据,浪潮信息清洗了从2018年至今约12PB的互联网数据,但仅获取到了约10GB的数学数据,投入巨大,收益较小。为了更高效地获得相对匮乏的高质量中文数学及代码数据集,源2.0采用了基于大模型的数据生产及过滤方法,在保证数据的多样性的同时也在每一个类别上提升数据质量,获取了一批高质量的数学与代码预训练数据。
浪潮信息高级副总裁、AI和HPC产品线总经理刘军认为,在数据方面,浪潮采用的数据来源、数据增强以及合成方法数据质量方面的工作,减少了互联网的公开数据集,增加了百科、书籍、期刊等相对比较高质量的数据,同时引入了代码数据和数学数据,从而增强了模型的数理逻辑能力。
![](http://n.sinaimg.cn/spider20231130/45/w429h416/20231130/3f66-e3605965db0390d9063c13a7c43436ff.png)
算力方面,源2.0采用了非均匀流水并行的方法,综合运用“流水线并行+优化器参数并行+数据并行”的策略,让模型在流水并行各阶段的显存占用量分布更均衡,避免出现显存瓶颈导致的训练效率降低的问题,该方法显著降低了大模型对芯片间P2P带宽的需求,为硬件差异较大训练环境提供了一种高性能的训练方法。
刘军认为,在生成式AI的带动下,人工智能计算力的技术和应用趋势发生了较大的变化。在三个方面产生了巨大的格局之变,即计算范式之变,产业动量之变以及算力服务之变。
![](http://n.sinaimg.cn/spider20231130/10/w520h290/20231130/0cee-9e441584e096ec0ed401c07a0b862678.png)
源2.0作为千亿级基础大模型,在业界公开的评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,测试结果显示,源2.0在多项模型评测中,展示出了较为先进的能力表现。
![](http://n.sinaimg.cn/spider20231130/24/w569h255/20231130/ea91-47efb9331a15459e87593f8280ed9a92.png)
源2.0采用全面开源策略,全系列模型参数和代码均可免费下载使用。
代码开源链接
https://github.com/IEIT-Yuan/Yuan-2.0
论文链接
https://github.com/IEIT-Yuan/Yuan-2.0/blob/main/docs/Yuan2.0_paper.pdf
![](http://n.sinaimg.cn/finance/0/w400h400/20231127/9ece-7520e4e0c86423a0c596834c30eb42ea.png)
![](http://n.sinaimg.cn/finance/cece9e13/20200514/343233024.png)
VIP课程推荐
APP专享直播
热门推荐
收起![新浪财经公众号 新浪财经公众号](http://n.sinaimg.cn/finance/72219a70/20180103/_thumb_23666.png)
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)