21世纪经济报道记者白杨北京报道
11月27日,浪潮信息正式发布“源2.0”基础大模型,包括1026亿、518亿、21亿三种参数规模,并且全面开源。
在大模型方面,浪潮信息算是中国市场的先行者。早在2021年9月,浪潮信息就发布了源1.0大模型,该模型参数为2457亿,是当时业界规模最大的大模型。
从源1.0到源2.0,时间间隔了两年多,行业也发生了重大变化。尤其是ChatGPT的发布,引发了一场全新的技术革命,而浪潮信息作为“两个时代”的见证者,其先后发布的两代大模型,也有着完全不同的结构。OpenAI的影响
在浪潮信息人工智能软件研发总监吴韶华看来,这轮大模型竞赛,从OpenAI发布GPT 3时就已经开始了。2020年5月,GPT 3发布,它提出了一种新的大模型训练和应用模式,即基础大模型经过训练后,通过零样本或小样本提示的形式直接赋能行业应用。
2021年8月,OpenAI进行了GPT 3.5的路演,在这个版本中,OpenAI在基础大模型之上,引入了指令微调的技术手段,并借此将模型能力和人的意图进行了对齐,让大模型能够理解人的意图,并且反馈更真实的回答。
在OpenAI不断迭代大模型产品的过程中,浪潮信息也在同步开发大模型。吴韶华表示,源1.0采用了比较经典的transformer结构,这和GPT 3的结构很类似。
2022年底,ChatGPT的横空出世,惊艳了世界,同时也带给了业界诸多的探究空间。不过,业界很快就获悉ChatGPT的训练方法——GPT 3+强化学习。对于浪潮信息来说,因为有源1.0的基础,在引入强化学习的方法后,也很快就做出了类似ChatGPT的一套系统,并且这套系统一直在迭代和改进,只不过浪潮信息一直没有对外发布。
“相比ChatGPT,GPT 4带给业界的震撼要更大”,吴韶华坦言,“ChatGPT的方法还有迹可循,但GPT 4没有对外披露,而且它展现出的能力要更全面,也更强大”。
所以2023年3月,GPT 4发布后,业界都在探究它到底是通过什么样的技术来实现这样的模型能力,浪潮信息也不例外。而这些,在今天的源2.0身上交出了答案,基于算法、数据层面的思考,浪潮信息逐渐形成了一套较成熟的模型结构改进方案。源2.0的创新
据吴韶华介绍,源2.0的创新主要体现在三个方面。首先是算法方面,源2.0提出并采用了一种新型的注意力算法结构——局部注意力过滤增强机制(LFA:Localized Filtering-based Attention)。
LFA通过先学习相邻词之间的关联性,然后再计算全局关联性的方法,能够更好地学习到自然语言的局部和全局的语言特征。这使得模型可以在使用更少的训练算力、更小的模型参数的情况下,同样可以获得更高的模型精度和涌现能力。
其次是数据方面,源2.0通过使用中英文书籍、百科、论文等高质量中英文资料,降低了互联网语料内容占比,并结合高效的数据清洗流程,为大模型训练提供了高质量的专业数据集和逻辑推理数据集。
比如为了获取中文数学数据,浪潮信息清洗了从2018年至今约12PB的互联网数据,最后获取到了约10GB的数学数据。
最后在算力方面,源2.0采用了非均匀流水并行的方法,综合运用“流水线并行+优化器参数并行+数据并行”的策略,让模型在流水并行各阶段的显存占用量分布更均衡,避免出现显存瓶颈导致的训练效率降低的问题。
经过验证,源2.0大模型算力集群的线性扩展效率为47.3%,这远高于同类千亿参数大模型的算力集群线性扩展效率(业界普遍算力效率为27%-35%)。
也正是得益于这些创新,使得源2.0的模型参数虽然比源1.0更小,但是在各方面能力上,却远超于源1.0。
对于接下来的发展,吴韶华表示,针对后续的源2.5、源3.0模型,浪潮信息依然会从算法和数据两个维度入手。“算法方面我们刚刚进入一个新领域,这里值得探索的内容还很多,而在数据方面,我们会构建一套高质量数据自动生成系统,来持续为大模型提供高质量的数据。”
![](http://n.sinaimg.cn/finance/cece9e13/20200514/343233024.png)
VIP课程推荐
APP专享直播
热门推荐
收起![新浪财经公众号 新浪财经公众号](http://n.sinaimg.cn/finance/72219a70/20180103/_thumb_23666.png)
24小时滚动播报最新的财经资讯和视频,更多粉丝福利扫描二维码关注(sinafinance)