最近一轮“AI可能失控甚至毁灭人类”的讨论明显升温。9月初，美国AI企业Anthropic一名资深研究人员离职后公开警告，认为AI可能在十年内导致人类灭绝。
围绕这些警告，舆论形成了明显分歧：支持者认为，随着AI越来越具备自主执行任务、网络操作和自我改进等能力，一旦能力增长速度超过安全机制，可能出现人类难以控制的极端风险；反对者则认为，目前并没有证据表明AI已经具备自主毁灭人类的能力，一些所谓“末日风险”仍属于高度假设性的情景，不能把实验中的异常行为直接等同于现实中的灭绝威胁。
▲浙江大学计算机科学与技术学院研究员、博士生导师郑天航（受访者提供）面对争论，浙江大学计算机科学与技术学院研究员、博士生导师郑天航在接受红星新闻记者专访时表示，过去几年人工智能的发展速度已经多次超出技术研究人员此前的预期。如今，真正值得讨论的已经不只是“AI未来能不能达到通用人工智能（AGI）”“AI能不能发展出自主意识”，而是当越来越强大的AI进入网络系统、物理设备和现实社会之后，人类是否已经准备好了足够的安全防线。
美AI巨头呼吁“减速”
专家：带有现实立场和利益
对于美国AI行业出现罕见的“自我踩刹车”声音，郑天航认为，这些表态都带有现实立场和利益。Anthropic和OpenAI提出暂缓AI模型能力发展背后，是其在进一步发展模型能力之时，需要更便宜的芯片。现在AI硬件的价格太高，这两家公司需要利用公众舆论的声音“打一打价格”，而不一定是真的担忧风险。黄仁勋的反驳，在很大程度上也是出于保护英伟达产品价格和市场的角度进行的表态。
▲Anthropic首席执行官达里奥·阿莫代伊最近呼吁AI行业“放慢速度”郑天航说：“我从来都不相信OpenAI和Anthropic会限制AI的发展，因为这不符合他们自身的利益。”他表示，现在两家公司都尚未上市，相较于上市的英伟达，更有现实基础，来表达暂停AI发展的意见。对于AI的技术发展，郑天航回忆，自己最早接触相关问题时，AI的发展远没有今天这样令人惊讶。随着算力、数据和模型规模不断增长，大语言模型的能力出现了对于专业技术人而言，都难以预料的跃升。在他看来，这种变化让一个重要事实越来越清晰：不能简单用过去的技术发展速度去推测AI未来的发展速度。
对于AGI是否最终会出现，郑天航说：“我现在觉得什么都有可能。”他认为，过去那种根据现有技术能力判断“很多事情短期内不可能发生”的方式，正在变得越来越不可靠。
在郑天航看来，如今最值得人们担心的，是安全防御能力与AI能力的发展之间，可能出现越来越大的鸿沟。他认为监管者和产业界真正需要解决的问题，并不是简单回答“要不要发展AI”，而是如何让安全能力跟上能力增长。
普通人不必过度焦虑
当下风险并不在于“AI是否有自主意识”
未来两三年，什么是最需要关注的AI安全问题？郑天航给出的答案非常具体：网络系统安全。在他看来，AI自动化漏洞挖掘和漏洞利用能力正在快速增强，一旦越来越强大的Agent已经能够自动寻找漏洞、编写利用代码并调用网络工具，传统的网络攻防平衡可能正在发生变化。
在更长一些的时间尺度上，他认为另一个需要关注的方向是物理世界。如果AI Agent与机器人、自动驾驶设备以及其他能够影响现实环境的系统结合，那么AI的错误、越权或者被恶意利用，都可能从数字空间进入现实世界，对人的生命财产安全产生影响。
▲人工智能时代人型机器人关于AI安全，一个经常出现的问题是：如果AI没有真正的自主意识，人类是否真的需要担心它“失控”？
郑天航认为，AI能够造成的破坏力取决于其能力而非其自我意识。即使暂时不讨论AI是否拥有意识，只要一个AI系统拥有足够强的能力，并且能够被人类使用，它就可能被用于攻击网络系统、操纵信息或者实施其他现实行为。
在郑天航看来，互联网时代留下的大量数字化基础设施，实际上为AI时代的攻击提供了巨大的“攻击面”。银行、网站、App、云服务等大量系统都依赖网络运行，而AI Agent已渐渐拥有针对这些系统自动发现漏洞、编写攻击代码、调用工具并执行复杂任务的能力。
▲当地时间2026年9月23日，美国纽约，第81届联合国大会全球议题涵盖人工智能威胁、持续的俄乌冲突与加沙战争等（图据视觉中国）
如果未来AI能力真的远超人类，并进一步获得现实世界的行动能力，郑天航认为，它的可控性取决于技术、治理、使用者以及人类社会本身，普通人对此没有必要过度焦虑。
郑天航表示，普通人真正需要关注的不是一个遥远的“AI突然觉醒”故事，而是AI已经逐渐进入现实生活之后，个人隐私、网络安全、信息操纵、工作方式以及人与技术之间的关系将如何变化。
红星新闻记者 卿滢
编辑 罗天
审核 何先菊
“掌”握科技鲜闻 （微信搜索techsina或扫描左侧二维码关注）
