张鹏：启动国产芯片适配计划，提供不同等级的认证和测试_新浪财经

　　“2023中国AIGC产业发展论坛”于9月4日在北京召开。智谱 AI CEO张鹏出席并演讲。

　　以下为演讲实录：

　　张鹏：非常荣幸能够有机会来到现场与大家分享我们的工作。

　　首先，关于大模型的元年到底是哪一年的问题，其实大家有不同的说法，其中比较主流的一种看法是从大模型真正能够可用开始，即2020年的GPT-3。因为大家也知道GPT-3之前的GPT-1和GPT-2，其效果并不是那么好。直到到GPT-3 ，参数推到150亿，大模型才具有了我们之前想象不到的能力。从2020年开始大模型真正可用，从那时起很多人开始关注大模型，并参与大模型相关的工作。

　　借这个机会，简单介绍一下智谱AI。智谱AI于2019年正式成立。在公司成立之初，我们的愿景是“让机器像人一样思考”，而大模型则是我们实现这个愿景非常重要的阶梯。自公司成立之初我们就关注大模型底层的技术、算法。到2021年的时候，基于我们自己研发的算法框架，训练出了我们第一个百亿级的开源大模型。到2022年8月份，我们的成果就陆续地有所体现。从千亿级的高精度的开源大模型GLM-130B到百亿的代码生成模型CodeGeeX，到支持一百多种语言的多语言Transformer模型，都是基于我们之前的学术上的研究以及成果所诞生的新型的模型，在2022年陆续发布。这些模型发布后我们都进行了开源，希望更多的人关注我们中国自己的研发的大模型和相应的技术，最近我们也面向公众发布了AI助手APP智谱清言，大家可以在各大应用商店进行下载。

　　是什么让我们这样一家创业公司能获得这样一个成果？这就需要提到我们对于大模型或者生成式人工智能底层算法深厚的积累。我们的团队是从清华大学实验室孵化出来的，大部分伙伴都是从基础研究以及相关工程应用开始做起，我们对于驱动大模型，驱动生成式AI往前进的底层原理非常清楚。所以我们在开始做自己大模型的时候，就坚定了一条路：我们要从最底层的算法开始做，这也是驱动我们做智谱AI自研算法的动力。

　　可以看到这里有一个简单的动图展示我们模型的能力。刚才有嘉宾在演讲时介绍过，GPT是不断去做线性往后的预测，我们这个模型有一个特点，除了能做线性的预测，还有一个能力，就是即便把一段文本中间的字遮掉，也可以可以弥补预测回来，增强了模型对语言的理解能力。我们讲以前GPT对于语言的预测能力或者生成能力非常强，但是对语义的理解能力在早期的时候甚至还不如小模型，我们很好地融合了这两种模型的优点，得到了GLM双语大模型。

　　训练这样一个大模型花费了我们很多的时间与精力，在工程、算法上做了很多艰辛的探索，并基于此打造了我们的GLM-130B千亿基座模型，因为设计的时候就是对标GPT-3，即当时最领先的模型，我们也与其进行了全面的对比。在英文能力上，我们比GPT-3表现得稍好一些，在中文上由于训练语料更平衡，训练得更充分，在中文上的效果比GPT-3纯英文的模型好很多，甚至比国内之前更大规模的中文大模型效果更好。在推理的效果以及训练的速度上我们也有更好的表现。除了对算力的需求巨大以外，推理过程中也仍然需要巨大的算力，经过我们的量化压缩之后成本缩减到1/10，还可以得到7-8倍的提速。同时我们做了一件很自豪的事情，就是和国产算力芯片厂商一起合作做模型算法适配，在算法端推理端适配国产芯片。

　　GLM-130B训练完之后，我们也面向全世界的科研机构和研究者进行开源开放，获得了非常多的关注，目前为止超过70个国家的1000多家机构申请试用，这包括一些非常著名的科研机构以及一些顶尖的科技企业。

　　去年11月份的时候斯坦福做了一个评测，收录了全球一定规模以上的知名大模型进行评测，在这个评测中唯一入选的中国模型就是GLM-130B。

　　基于GLM-130B我们也开发了自己的对话模型ChatGLM，拥有双语的对话能力并实现了人类意图的对齐以及逻辑的增强，大家可以来体验。

　　同时我们也开放了一个小一些的模型，因为除了大的千亿级的模型以外，还需要各种类型、参数小一些、效率更高的模型，更方便大家去研究学习和探索，我们开源了ChatGLM-6B，一个62亿参数的模型，经过量化之后，可以在一张6GB的显卡上进行运行，市面上可以买到的稍微好一点的游戏笔记本就可以运行这样的大模型。ChatGLM-6B发布第一天就有人在B站直播怎么样在笔记本上运行这个模型。目前为止在全球范围不完全统计，ChatGLM-6B下载量已经超过800万，在开源社区当中已有200多个开源项目基于该开源模型进行研发。科技部发布的《中国人工智能大模型地图研究报告》显示，ChatGLM-6B位居开源模型影响力排行榜第一名。

　　我们也在不断改进提升，6月我们对整个ChatGLM系列做了全面的升级，除了6B和130B，我们在中间加入了12B、32B、66B版本。除了模型体积参数量有变化之外，最重要的是性能上的提升，从简单文字的理解或者语言的理解，到中文跨学科复杂问题的理解，再到处理问题的推理能力上都得到了非常大的提升，尤其是在处理问题能力上，有3-6倍的提升。可以理解为以前它只是一个小学二三年级的水平，现在已经具备初中生接近高中生的能力，能解答稍微复杂一些的数学问题。当然在面临更难问题的时候，还需要更多的训练。

　　同时为了满足更多的应用场景下的需求，我们做了很多的提升，包括像更长的上下文的支持，大家都知道让一个模型帮你写一个总结报告，你能塞多少东西进去让它去读，这个是一个很关键的因素，ChatGLM2的上下文长度最高扩展到了32倍。我们也做了很多的推理优化，在不改变或不提升算力需求的前提下，让整个推理速度提升42%。大家可以对比这两个动图，整体上能看到效果，右边这个是我们新的推理效果，回答生成速度基本上已经超过大家平均的阅读速度，体验更好。

　　8月31日，我们基于ChatGLM2推出了名为智谱清言的AI助手，目前在各大应用商店都可以下载APP，智谱清言可以协助用户实现生产力的提升，我们提供了数百个使用场景的参考，用户可以根据使用需求去挑选，例如让智谱清言写软文文案，如果生成的文案不满意，可以告诉它需要改进的地方，重新。相信大家能够在日常的生活学习工作中体验到AI助手带来的便利。当然我们面向B端的客户也提供了完整的MaaS 服务（Model as a Service），可以轻松构建自己的私有化大模型，也有多种类型的解决方案，包括调用API等更轻量级的服务，让千亿级的高精度的大模型被更多人使用。

　　最后，我们希望大模型生态能有更多来自底层的支持，所以智谱AI与多家国内硬件厂商、芯片厂商在合作，开展多平台大模型硬件适配，我们启动了一个GLM国产芯片适配计划，面对不同类型的用户不同类型的芯片提供不同等级的认证和测试，希望能够与大家携手，共同打造一个更完善的大模型生态，谢谢。