曾毅：从科学与社会视角推进新一代生成式人工智能的发展与治理_新浪财经

股市瞬息万变，投资难以决策？来#A股参谋部#超话聊一聊，[点击进入]

　　2024年1月7日，第二十五届北大光华新年论坛在北京大学百周年纪念讲堂举行，本届论坛的主题为“增长动能中国探索”。中国科学院自动化研究所人工智能伦理与治理中心主任、联合国人工智能高层顾问机构专家曾毅出席论坛并发表题为《从科学与社会视角推进新一代生成式人工智能的发展与治理》的演讲。

　　曾毅在演讲中表示，未来需要推进新一代生成式人工智能的科学突破，目前并没有真正意义的通用人工智能的存在，在有效理解、识别和划分任务方面，尚存在本质性的问题瓶颈。他表示，基于现在人工智能的现状，特别是风险安全伦理方面的发展捉襟见肘，不必使人工智能无所不在，而应在发展中秉持智能向善的理念，负责任的稳健发展和适度的使用，才能够使人工智能扬帆远航。生成式人工智能未来的发展应当聚焦于：从数据驱动的人工智能发展到自然机制驱动的人工智能，从合乎伦理到拥有道德，从人工智能与人类价值观对齐，到人与人工智能的价值协调。

　　以下为发言实录：

　　当代生成式人工智能是工程技术的组合创新，以及在用户体验方面带来了前所未有的显著提升，但它确实尚未形成本质性的科学突破。因为当代生成式人工智能最基本的思想是人工智能领域几十年前奠定的，真正在科学上的突破并不是这几年，当代生成式人工智能憧憬的通用人工智能的科学突破也还尚未到来。面向未来，应当在科学与社会角度来审视和推进生成式人工智能的发展。从科学角度讲，未来需要推进科学意义上的新一代生成式人工智能。从社会角度讲，生成式人工智能未来发展为基础设施的重要组成部分，推进社会发展，那么传统的人工智能研发者就需要加强社会维度的认知。

　　我举例说明，通过文字交互，何谓和谐共生？ChatGPT给出的答案确实是更新了我们传统意义的和谐共生。用它生成的和谐共生的画作看起来也确实抓住了和谐共生的意义，但是当对比文字和图像的时候有一个非常有趣的现象，文字生成的结果并没有缺乏人的因素，但图像生成的结果中并没有人的存在，这不禁引发我们更深入的思考。从这样的案例可以看出我们已经可以受益于技术的进步。

　　然而另外一方面，实际上它还并未形成真正的理解。很多人说生成式人工智能确实有理解，如果没有理解怎么能够做生成的任务，所以我再举一个例子。我们不是所有的场景下都需要生成。大家记得，当最开始生成式人工智能在互联网上为大家提供服务时，用它去查阅参考文献，它给出的参考文献没有一篇是真实存在的，因为输出的所有参考文献的名字都是生成的。在这种情况下，一个生成式人工智能并不能够区分何时不需要生成，这个实际上就是看似智能的信息处理工具实则并不拥有真正的智能所存在的问题。

　　比如说回到和谐共生的例子，如果现在问题变成“生成一张包含和谐共生四个字的楷书作品”，结果却看到，不管是英文的生成式人工智能，还是来自中国的生成式人工智能服务，都没有去抓住需求背后真正的意义。生成出的哪一幅图上都没有“和谐共生”四个字当中的任何一个字，甚至没有可识别出的文字，所以这就是为什么说目前缺乏理解的生成式人工智能，尚需有效理解、识别和划分任务。

　　当代数据驱动的人工智能是输入的数据对应预期的输出，可以发现一种数学优化方法和模型来从数据输入拟合到期望的输出。生成式人工智能系统所期待的给定任务理想化地认为应该是个完全生成的任务，但是真实世界中实际的需求不是这样的。所以人工智能的生成式模型不等于是人工智能的基础模型，而基础模型也不仅仅提供生成式的能力，在很多时候它首先要去区分和划分什么样的任务需要生成，什么样的任务不用生成或进行受限的生成，而从人工智能来看，我们不需要生成的这种判别式的人工智能，还只是人工智能可能输出的一种，可能还有很多其他类型。必须讲到生成式人工智能确实并非通用人工智能的雏形，它更非人工智能的基础模型。所以面向通用人工智能的人工智能基础模型，确实需要能够自主地、有效地识别、理解、划分和解决任务。

　　人工智能诞生之初有关通用问题求解器的研究就指出：一切的问题都能够被形式化为逻辑的话，通用问题求解器可以解决世界上所有的问题。但实际上，将一个问题自主的描述划分为一个可解的问题，在这一部分的进展，60年以来人工智能领域没有任何实质性进展。

　　所以基于现在的人工智能的现状，我们确实不必使人工智能无所不在。人工智能的确存在可能的风险，但是发展当中我们应当秉持智能向善的理念、负责任稳健的发展和适度的使用，才能够使人工智能扬帆远航。

　　什么叫做智能向善，我希望能给大家一些感性的认识。我们研发了类脑生成式人工智能基座“心擎（Mind Engine）”，并在此基础上从不同视角支持“智能向善”理念的实践。第一个例子是数字哲学家。哲学回答人生当中切要问题并给予我们思考的力量，数字哲学家构造了类脑生成式人工智能引擎向这些哲学家去学习，就可以受益于先哲们的智慧，助力我们认识这个世界并与这个世界更好地相处。我们也需负责任地指出这样的AI并不能够被称为是这些先哲的数字版，虽然它可以很有用，它仍然是看似智能的信息处理工具。

　　再比如，我们基于类脑生成式人工智能基座“心擎”构建的心灵对话的平台“心友”。当你心情不好的时候，它用积极心理学去引导你。当你觉得未来无限大好的时候，它也会提醒你人生过程当中可能还会遇到各种各样的挑战，为每一个人创建“心灵之友”。

　　生成式人工智能可以帮助我们更好的认知我们的世界和我们的关系，比如说人类和生态、人类和所有的动物和植物之间的关系。我们融合了不同人工智能技术构建的人与生态的“共生图”就呈现和分析了人类和所有的动植物之间的关系。例如看似蚂蚁与人类相比关系网络相对简单，但是地球上人类和蚂蚁的数量比例却是1：100万，但是当我们问生成式人工智能，蚂蚁和人类之间的关系是什么的时候。我们的搜索和摘要引擎告诉我们“世界上有若干种不同吃蚂蚁的方式”，只有一句话写到“蚂蚁合作的模式是人类合作的典范”。当我们用生成式人工智能来描述它们之间关系的时候，总结的结论就是人类和蚂蚁并不能够很好的相处。看到这样的生成式人工智能输出的时候，我还是感觉到非常沮丧，并希望这样的努力能赋予人类更多的启示和反思。倘若未来超级智能视人类如同人类视蚂蚁，我们是否会从这个观察与反思以及我们对人类现代行为的分析中获得些什么呢？

　　人工智能还可以赋能我们的文化交互，在很多国际交流当中经常被问到一个问题：我们跟你们是如此的不同，我们仍然希望跟你合作。我从来是从第一句话就打断，我非常想知道为什么中国的学者跟你们有如此的不同。人工智能可以用来弥合文化之间误解并促进交流，正是在这个背景下我萌生了创造文化交互引擎这个项目与服务的想法。联合国教科文组织遴选的自然和文化遗产，本来突出的是各个国家遗产相对来说都有各自的特征以区分于其他的自然和文化的遗产，形成对人类文明独特地勾勒。然而这些自然和文化遗产真的只是具有独特性而背后缺乏相关性吗？我们用生成式人工智能的技术可以去发现它们之间的相似点，以及它们的相异点。在它们的相似点上，将所有全球的文化关联在一起，但部分的相异点是我们可以进行文化互鉴的机遇。

　　现在生成式人工智能确实是不完美的，现阶段我们先针对基于传统生成式人工智能大模型做好合乎伦理的研究与服务，从一个看似智能信息处理的工具开始，再同步布局新一代人工智能，使它能真正的有道德，从合乎伦理的人工智能发展到具有道德的人工智能。

　　比如说我们的善智人工智能伦理安全平台体系中“智善·如流”平台用人类和生成式人工智能协作的方式生成数千种不同的场景，然后再让人类和生成式人工智能共同去判断场景中的行为是否道德。可以发现即使现在最强大的生成式人工智能，如果以GPT4来举例，它在伦理道德的输出方面与人类的相近程度，用相似度来匹配的话只有0.64，最强大的大模型跟人类的价值观的差异仍然是非常大的。而且任何一个生成式大模型在伦理道德，价值观的表现方面相当的不稳定的。说的是同一件事情，只要描述方式稍微变一下，它的输出道德的价值判断甚至可以是颠覆性的，这是人不会出现的问题。所以这些看似智能的信息处理工具用人类反馈的强化学习这种方式即使给它做了伦理道德框架，也尚未避免看似并不复杂的问题。

　　未来的生成式人工智能不一定会停留在看似智能的信息处理的工具上，但是如果想让它获得道德，而不仅仅是用规则的方式让它合乎伦理，现在所谓的基于人类反馈的强化学习是完全不够的。人类在进行基于道德的问题求解的时候，道德框架是在外部的，而不是在一个问题求解器上打补丁，所以这样的方式本质上就构成了合乎伦理和具有道德之间在计算原理的本质上的差别。人类获得获得道德的方式首先是基于生物的自我感知、区分自我和他人，有了心理揣测能力和情感共情能力，产生利他并最终形成道德直觉，在此基础上进行道德推理与决策。

　　但是我们现在的生成式人工智能不是这样的，因为你在希望其形成合乎伦理的信息处理，这对于它来说只是让他执行了一个无异于其他分类任务的任务。当采用人类反馈的强化学习，生成式人工智能做一个错误的决定你可以惩罚它，但是也可以有另外十个人同时给它奖励。如果你是一个善人，你去惩罚它，如果给它奖励的另外十个人是恶人的话，生成式人工智能的输出就会跟我们所预期的截然相反。

　　我们希望未来的生成式人工智能是基于这样智能的本质发展出来的，是真正区分于现在通过规则合乎伦理，到从基于自我发展出来的道德直觉，让它具有道德。

　　最后，我认为面对长远的超级智能、人类灾难性的风险、生存风险的隐患，确实需要我们从现在开始做准备。但是，人工智能与人类价值对齐这件事情在未来的超级智能的时代将不成立，因为我们需要的是从价值对齐过渡到人与人工智能价值的协调，协调是双向的，因为在那个时候当人工智能具备反思能力的时候，智能的水平远远超过人类的时候，那么人工智能对于人类也将有价值观方面的诉求和期待。

　　未来社会可能不是一个以人类为中心的社会，我们现在叫做人类文明，但是相信未来一定是共生文明。人工智能是人类的一面镜子，现在人工智能还没有人类强大，但是它却可以照耀到人内心部分的黑暗和人类社会未来应当发展的方向。大家经常说人工智能比人类演化的快，我们既然知道人类的弊端，在人工智能作为一面镜子一样赋予我们反思的时候，人类需要加速反思的过程。超级智能对人类社会产生的风险，人类社会能不能够更快的进化到共生文明，这个问题如果不从现在开始的话就太晚了。

　　新浪声明：所有会议实录均为现场速记整理，未经演讲者审阅，新浪网登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。