四年、投入20%计算资源，OpenAI成立专门团队构建解决对齐问题的超强AI

OpenAI：人类管不了未来的 AI，我们要构建一个监督模型对齐的新 AI。

随着 ChatGPT、GPT-4、LLaMA 等生成式大模型的爆火，生成式 AI 技术成为一个值得关注和思考的重要话题。一方面，生成式 AI 能够大幅提升生产效率；另一方面，人们也看到了生成式 AI 技术背后隐藏的风险。

今年上半年，机器学习领域的专家、学者已经多次联合发表公开信，呼吁人们重视生成式 AI 的潜在风险，并限制构建生成式 AI 大模型。其中，图灵奖得主 Geoffrey Hinton 更是在 4 月从谷歌离职，警告人们生成式 AI 将「对人类构成威胁」。

OpenAI 作为 ChatGPT、GPT-4 等大模型背后的公司，无疑被推上了风口浪尖。

现在，OpenAI 开始自救，正式宣布成立一个新的研究团队 ——Superalignment 团队，由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。值得注意的是，这个团队的主要任务是构建一个与人类水平相当的、负责模型对齐的「AI 研究员」。也就是说，OpenAI 要用 AI 来监督 AI。

四年投入 20% 算力

OpenAI 认为，人工智能技术正在飞速发展，影响全人类的超级智能（Superintelligence）看似遥远，但极有可能在十年内到来。

超级智能将是一把双刃剑，它可以帮助人类解决世界上许多重要问题，但它也可能导致人类丧失权力，威胁人类安全。

治理这些风险需要建立新的治理机构，并解决 AI 模型的对齐问题。一个显著的问题是：超级智能可能比人类更聪明，如何能让如此强大的 AI 系统遵循人类的意愿？

当前，将模型输出和人类偏好进行对齐最先进的方案是 RLHF，即以强化学习的方式依据人类反馈优化语言模型，本质上讲这种方法仍然依赖于人类监督 AI 的能力，将不适用于超级智能。

因此，OpenAI 宣布投入 20% 的计算资源，花费 4 年的时间全力打造一个解决超级智能对齐问题的超级对齐（Superalignment）系统。

为了构建超级对齐系统，开发团队需要做的工作如下：

1）开发一个可扩展的训练方法：

利用人工智能系统来协助评估其他人工智能系统，并将 AI 模型的监督能力泛化到人类无法监督的任务上。

2）验证系统：

为了验证系统的一致性，开发过程中会自动搜索有问题的行为（稳健性）和有问题的内部结构（可解释性）。

3）对整个对齐管道进行压力测试：

最后，使用未对齐的模型来测试整个流程，确保所提方法可以检测到最严重的未对齐类型（对抗性测试）。

团队信息

前文介绍过，Superalignment 团队由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。从 OpenAI 今天推特公布的信息来看目前也已有多位成员。

Ilya Sutskever 大名想必大家都已经听过。

Sutskever 在多伦多大学获得了计算机科学学士、硕士和博士学位，导师是 Geoffrey Hinton。博士毕业后进入斯坦福大学，成为吴恩达的博士后。后担任 DNNresearch 的联合创始人。2013 年，Ilya Sutskever 与 Hinton 一起加入谷歌大脑团队。他后来离开谷歌加入 OpenAI，成为了联合创始人和首席科学家。

团队另一负责人 Jan Leike，2016 年博士毕业，后加入谷歌做人类反馈强化学习（RLHF）相关研究，2021 年加入 OpenAI 做对齐研究。

去年，Jan Leike 曾在 OpenAI 发博客介绍他们进行对齐研究的相关方法，感兴趣的读者可以详细了解下。

链接：https://openai.com/blog/our-approach-to-alignment-research

OpenAI 这种用 AI 来监督 AI 的方法将是一种新的尝试，我们很难预判这种方法的实际效果，有人发出疑问：「谁来管理这个『AI 监督员』呢？」

但毫无疑问的是，面对超级强大的人工智能模型，我们的确需要新的对齐方法来保证 AI 模型的可控性。OpenAI 的方案如何，我们拭目以待。

参考链接：https://openai.com/blog/introducing-superalignment#JanLeike