王士进：有些时候，大模型理解问题会出现“幻觉”_新浪财经

　　“2023中国AIGC产业发展论坛”于9月4日在北京召开。科大讯飞副总裁、研究院常务副院长、认知智能国家重点实验室副主任王士进出席并演讲。

　　以下为演讲实录：

　　大家好，非常高兴能够参加服贸会AIGC论坛。下面我给大家汇报一下科大讯飞在大模型上做的一些技术和应用的创新。

　　人工智能在感知智能领域已经取得很大的进展，对语音识别、图像识别整体能力都已经达到、甚至在很多领域甚至超过人的水平。在认知智能领域，其实原来在一些很多专业领域的小场景里，通过认知和感知技术，也取得一些不错的成绩。但是如果我们希望计算机可以像人一样去理解、去思考，还是有很大的挑战。

　　我们对图像和语义的理解，不同的人看了以后理解不是一样的，让不同的机器看和理解也是不一样的。现在计算机可以通过大规模的模型训练，使得它可以更好理解语言和生成。我们看到这样一些技术发展非常快，比如看到去年11月30号ChatGPT的正式发布，最近两天也被曝出正在训练GPT-5。本质上这和人脑在认知记忆上非常相似，（图）中间是大模型，和人脑的突触很类似。

　　我们看到大模型现在也只是刚刚起步，现在看到它令人惊讶的很多性能，它还有更多的成长空间。同时大模型从文本到图像到视频，到真实或虚拟世界的交互，像动态智能等，都可以基于语义的空间再做进一步的延伸。基于这样的能力持续扩展，我们看到现在越来多的行业或领域里，大模型都在发挥越来越大的价值。

　　从现在的产业来看，大模型还有很多的问题需要克服，很多时候大模型在理解问题的时候经常会出现“幻觉”，或者很多时候不知道什么知识是对的还是错的。其次，模型原来通过不断学习个人数据可以持续优化，现在模型再次训练时间比较长，如何做更好的优化？这块需要克服。第三，模型需要从文本往多模态去迁移，怎么更好地去迁移，最后能不能在某一个模型里去沉淀，这些值得我们去克服。

　　科大讯飞从成立起专注于智能语音技术，之后在计算机视觉、认知智能等领域也拥有深厚积累，承建了语音及语言信息处理国家工程研究中心、认知智能全国重点实验室，以及国家新一代人工智能开放创新平台。在去年12月，我们正式启动了内部大模型的攻关，大模型的体系称之为“1+N”，“1”是要构建大模型不断能力提升的技术底座，“N”是教育、医疗、办公、工业互联网等行业。

　　我们经过半年多的时间，在今年5月6日正式发布科大讯飞星火认知大模型。6月9日进行了V1.5版本升级发布，在开放式知识问答、逻辑推理能力和数学能力、多轮对话能力有了显著突破和提升；8月15日，大概就在两周前我们做了一次比较大的升级，讯飞星火升级V2.0。

　　在多模态能力上，现在大模型无论是对于图片的理解，还是根据文字的描述生成图片，都可以在最新的版本里进行体验，相比于业内很多的大模型讯飞星火拥有了更多特色。

　　第二是代码能力，目前讯飞星火在代码生成、补齐、单元测试样例等方面都有很好的效果，大家可以通过多端的讯飞星火来体验这些功能。

　　在5月6日发布讯飞星火的时候，我们就确定了今年内讯飞星火升级的几个重要节点。

　　再看一下讯飞星火和不同行业结合的应用成果。原来我们在教育领域做非常多的应用是语言学习，有两个非常典型的场景，第一是学生的作文，原来评分很好，对于作文的诊断评语原来只能用套路话来解决，现在用大模型可以实现更精准的层层批改。

　　在办公场景里也是，原来只能把一场会议内容记录下来，现在有了讯飞星火就可以辅助实现一键成稿，把6000、7000字的会议内容自动生成摘要，现在讯飞星火都具备这样的能力。

　　汽车领域也是一样，原来交互是比较单一的，现在结合大模型可以把交互做得更自然。

　　这是我们公司大概2000多名程序员使用大模型代码能力产品的效果——大家知道代码流程是比较长的，从设计到最后的检验，（在使用了大模型代码能力应用产品iFlyCode1.0后）整体的效能提升15%以上，这样的能力会使得整个软件研发效率有更大的提升。

　　在多模态能力上，讯飞星火赋能的讯飞智作2.0可以实现一句话完成视频智能配音，以及一句话完成图文转视频。

　　做完以后，我们对这个领域有一些思考，大模型直接用于行业领域还是有很多挑战，怎么用好可能要关注几大特点。

　　第一是技术可达性，我们做大模型时候也会看，大模型并不是马上能解决你所有的业务所有的问题，一定要判断这个性能的边界在什么地方，基于这个边界逐步做好你的设计。

　　第二是经济实用性，大家知道大模型不断发展，训练成本会非常高，整个产品、业务模型是否能够接受大模型运营成本，也是我们考虑的非常的关键点。