新智元报道
编辑：乔杨
【新智元导读】前段时间离职后留下公开辞职博客的OpenAI六年元老Miles Brundage最近再发一文，讨论了一个相当热门但棘手的问题：当今的AI发展速度，应该加速、减速还是维持现状？
10月末，OpenAI在政策研究领域方面的6年元老Miles Brundage离职，
10天后，似乎是觉得这篇文章意犹未尽，Brundage再次发文，题为「AI发展是应该加速、放缓，还是保持不变？」
虽然标题是问句，导读的一句话也充满了不可知论色彩，但文章的结论非常明确——谨慎起见，我们应该为全社会的AI发展安装一个「刹车」。
负责托管维基百科的Chris Albon转发了这篇博客并大力赞赏，将Miles Brundage的内容产出与致力于教育领域创业的Andrej Karpathy相提并论。
现在再加上刚离职的Lilian Weng，不得不说，OpenAI的「离职潮」大大丰富了高质量AI博客的创作和产出。
Miles Brundage本科毕业于乔治华盛顿大学，本科期间担任过美国能源部的特别助理，之后前往亚利桑那州立大学攻读博士，研究方向为科技的人类和社会维度，博士后期间曾在牛津大学担任AI政策研究员。
2018年，Miles Brundage加入了刚刚成立3年的OpenAI担任政策方面的研究科学家，之后又在2021年升任研究主管，目前是AGI准备工作的高级顾问。
当今的AI发展
人工智能应该更快、更慢还是保持不变？在回答这个问题之前，我们先简要回顾一下目前的人工智能进步有多快。
2021年出版的一本书——《人工智能简史》（A Brief History of Artificial Intelligence），其中的观点在短短3年后的今天就已经过时了。
比如书中提到，「理解一个故事并回答有关问题」以及「解释照片中发生的事情」，这些任务并没有完全被AI解决；但从GPT、Claude、o1等模型中可以看到，这些方面已经有了很大的进步，甚至很可能超过了人类表现。
举出这些例子并不是为了特意挑刺或抬杠，而是我们要明白一点——严肃的专家经常在人工智能领域犯下严重错误。
虽然某些情况下，人们确实对人工智能的进展过于乐观，但总体而言，近十年来，坚持唱深度学习的反调确实不是一个成功的策略。
计算机已解决和待解决的问题总览，按任务难度排序
另外还有下面这张著名的图表，告诉我们AI的发展如何让各种评估基准越来越快地饱和。
在物理、化学和编码等领域的测试问题上，AI开始超越专家表现，例如基本全新的GPQA问答基准（Google-Proof Question Answering），去年11月刚刚发布，现在却正在被碾压。
在解决谷歌搜索都无法完成的，孤立的、研究生级别的任务上，AI可以比大多数专家做得更好，即使专家有半个小时的时间来解决问题。
在有挑战性的推理基准上，o1大大超过GPT-4o
这种最新的进展的驱动力是AI系统向新范式的过渡，即所谓的「思维链」（chain of thought，CoT），在给出答案之前先思考问题。
GPQA基准仅仅是一个孤立的短期任务，AI系统在需要花费数小时/数天/数周/数年的「长期」任务上还无法超越专家，但科技公司正在积极推动这一点，并极有可能在10年内实现。
这些进步开始与机器人技术相结合，真正智能的AI系统无疑将大大加速机器人技术的发展。
棘手的问题——AI发展的理想配速
尽管在我看来，对AI进步速度的争议会随着时间的推移而减少，但这个问题目前仍然非常模糊，因为能在不同的规模和层面上控制它，比如单个公司、一个国家或一组国家，或全球范围，也区分不同类型。
例如去年发表的一篇文章中，就做出了如下区分：
本文下面的内容主要关注全球范围内AI在纵轴上的扩展/进步，也就是大多数人所理解的AI进步的意思；而且最终我们关心的是全球成果，因此无论人工智能发生在哪里，都应该考虑它的进展。
有些人可能认为这是一个棘手的问题，原因之一是他们认为这是对技术看法的「试金石」，而技术本身就已经是一个很大的争议了。
但事实并非如此。实际上，有很多人总体上支持技术发展，但对人工智能感到担忧。
比如，在这份旨在重视AI风险的倡议书上，不乏各种大力推动技术发展的大佬，比如比尔·盖茨、前OpenAI首席科学家Ilya Sutskever、DeepMind联创兼CEO Demis Hassabis、Anthropic联创兼CEO Dario Amodei、OpenAI CEO Sam Altman等人。
原文链接：https://www.safe.ai/work/statement-on-ai-risk
在本文作者Miles Brundage看来，AI发展的配速之所以成为一个难题，其真正原因在于，即使大家的出发点是一个共同的合理道德前提，例如「不要杀死所有人」和「更多的人 vs. 更少的人应该从技术中受益」，一系列相关的经验问题仍然很难解决。
AI总体发展的理想配速可能取决于以下问题的答案，而每个问题实际上都可以成为一个单独的领域：
类似的问题还有很多。这些问题本身就很难回答，而要将它们整合到一个整体框架中，以得出关于AI理想进展速度的有用结论就更加困难。
我们是否需要刹车
需要澄清的是，本文所指的「刹车」并非用「一刀切」的方式完全停止AI技术的发展。而是基于事实和对上述问题的回答，通过详细定义、分析的技术和政策选项来减缓人工智能的进步。
在Brundage看来，我们应当安装（经过设计和辩论的）「刹车」，因为当前AI的进步明显快于社会能够有效理解和塑造的速度，而且这种情况可能不会很快改变——甚至，二者之间差距可能逐渐扩大。
理想情况下，政策制定者能够掌控一切，但我们不知道最坏的情况是否会发生，所以要为各种情况做好准备。
值得一提的是，去年Brundage曾写过一篇文章，详细分析了他所见的AI进步和社会准备度之间的差距。
原文链接：https://milesbrundage.substack.com/p/scoring-humanitys-progress-on-ai
目前来看，上述定义的「刹车」仍不存在，一部分证据是，我们看到了「科技公司单方面暂停AI开发」这种不切实际的提议。
这类政策不会发生也不会起作用，至少在未来很长一段时间内是这样，因为负责任的AI开发是一个集体行动问题。Brundage仍在OpenAI任职时，他和团队在2019年发表的论文就详细解释了这一点。
原文链接：https://arxiv.org/pdf/1907.04534
大部分人都会担心AI的发展。人们看到问题的存在，之后就会四处寻找答案，并提出一些非常简单的解决方案，但政策制定是困难的，需要远见、辩论和认真的研究。
OpenAI、哈佛肯尼迪学院、牛津、剑桥等机构在今年2月联合发表了一篇论文，讨论安装「刹车」的一种可能性——「算力储备」（compute reserve）。
原文链接：https://arxiv.org/pdf/2402.08797
这类似于设置一个有黄金储备的中央银行，对市场经济的发展进行宏观调控；「算力储备」也是如此，调节AI发展的步伐节奏。
尽管已经有了一篇104页的论文打底，但「算力储备」的方案仍存在很多问题和模糊之处。这不一定是正确的解决方案，但我们确实应该对此和相关想法进行更多讨论，还有人工智能税等等更多场景。
如果需要设计一个刹车的话，我们要不要同步配套一个「油门」？
Brundage认为，这也是必要的，但目前我们看到的是，已经有各种小型的「油门踏板」被踩得很紧。
例如，CHIPS法案将更多资金投入美国半导体制造；初创公司、风投和大型科技公司不断尝试在横轴和纵轴上扩大AI规模；教育机构不断培养研究人员和工程师；消费者们「用钱包投票」，通过为科技公司提供收入来间接支持AI更快地进步。
考虑到减速方面的协调困难，单方面加速比单方面减速更容易。因此，从分配政策研究注意力的角度来看，关注困难的问题更有意义，也就是如何放缓AI的发展。
结论和后续步骤
总而言之，这篇博文着重论证了两点：
1. 对于标题中的这个问题（AI发展应该加速、放缓，还是保持不变？），仍没有人能给出合理且明智的答案
2. 尽管如此，谨慎地安装「刹车」是明智的做法，从而为可能发生的情况做好准备
Brundage表示，目前缺乏「刹车」的情况让他非常担忧，而且在他职业生涯下一阶段关注的主题中，「进展速度」这个问题相当重要。
尽管他表示，「AI监管措施」与「国家竞争力」之间并不存在大多数人所认为的那种联系，但他发表过的一篇推文直言：「与过度监管相比，缺乏监管，特别是与安全+出口管制相关的监管，更有可能导致美国失去AI领域的领先地位」
参考资料：
https://x.com/chrisalbon/status/1852799633380237453
https://milesbrundage.substack.com/p/should-ai-progress-speed-up-slow
VIP课程推荐
APP专享直播
热门推荐
收起
24小时滚动播报最新的财经资讯和视频，更多粉丝福利扫描二维码关注（sinafinance）
