我们必须降低当今人工智能技术的风险，但超级智能需要特殊处理和协调。

撰文：Sam Altman、Greg Brockman、Ilya Sutskever，分别为 OpenAI CEO、总裁、首席科学家

编译：元宇宙之心

上周，OpenAI 的首席执行官山姆·阿尔特曼出席美国国会参议院一委员会听证会，呼吁政府加强对人工智能技术监管，他强调，人工智能技术将以不可预测的方式改变社会，甚至给世界带来「严重危害」，因此监管至关重要。

昨日，OpenAI 三位掌舵人——CEO Sam Altman、总裁 Greg Brockman、首席科学家 Ilya Sutskever 又亲自撰文探讨了如何治理超级智能（superintelligence）的问题。

以下是对原文的编译：

现在是开始考虑超级智能治理的好时机——未来的人工智能系统甚至比通用人工智能更强大。

鉴于我们现在所看到的情况，可以想象在未来十年内，人工智能系统将在大多数领域超越专家技能水平，并且进行的生产活动将与今天最大的公司相当。

就潜在的优势和劣势而言，超级智能将比人类过去不得不应对的其他技术更强大。我们可以拥有一个更加繁荣的未来；但我们必须管理风险才能实现目标。鉴于存在风险的可能性，我们不能只是被动反应。核能是具有这种特性的技术的一个常用的历史例子；合成生物学是另一个例子。

我们也必须降低当今人工智能技术的风险，但超级智能需要特殊处理和协调。

起点

有许多想法对我们有很好的机会成功驾驭这一发展很重要；在这里，我们列出了我们对其中三个的初步想法。

首先，我们需要在领先的开发工作之间进行一定程度的协调，以确保超级智能的发展既能维持安全性，又能帮助这些系统与社会的顺利融合。有很多方法可以实现；世界主要政府可以设立一个项目，让许多当前的努力成为其中的一部分，或者我们可以共同同意（在一个新组织的支持下）将前沿人工智能能力的增长速度限制在每年的某个特定速率内。

当然，个别公司应该被要求以极高的标准负责任地行事。

其次，我们可能需要类似于国际原子能机构（IAEA）的机构来监管超级智能的开发；任何超过特定能力（或资源，如计算）阈值的努力都需要接受国际权威机构的审查，该机构可以检查系统、要求审计、测试是否符合安全标准、对部署程度和安全级别施加限制等。跟踪计算和能源使用情况可能会有很长的路要走，并给我们一些希望，这个想法实际上是可以实现的。作为第一步，公司可以自愿同意开始实施此类机构有朝一日可能需要的要素，其次，各个国家可以实施它。重要的是，这样一个机构应该专注于降低存在风险，而不是应该留给个别国家的问题，例如定义人工智能应该被允许说什么。

第三，我们需要确保超级智能安全的技术能力。这是一个开放的研究问题，我们和其他人正在为此付出很多努力。

什么不在范围内

我们认为，重要的是允许公司和开源项目开发低于重要能力阈值的模型，而无需我们在此描述的那种监管（包括繁琐的机制，如许可或审计）。

今天的系统将在世界上创造巨大的价值，虽然它们确实存在风险，但这些风险的水平感觉与其他 Internet 技术相当，社会可能采取的方法似乎是合适的。

相比之下，我们所关心的系统将拥有超越任何现有技术的力量，我们应该小心不要通过将类似的标准应用于远远低于这个标准的技术来淡化对它们的关注。

公众投入和潜力

但是，最强大系统的治理以及有关其部署的决策必须有强有力的公众监督。我们相信世界各地的人们应该民主地决定人工智能系统的界限和默认值。我们还不知道如何设计这样的机制，但我们计划对其开发进行试验。我们仍然认为，在这些广泛的范围内，个人用户应该对他们使用的人工智能的行为方式有很大的控制权。

考虑到风险和困难，值得考虑我们为什么要构建这项技术。

在 OpenAI，我们有两个根本原因。首先，我们相信它将带来一个比我们今天想象的要好得多的世界（我们已经在教育、创造性工作和个人生产力等领域看到了这方面的早期例子）。世界面临许多问题，我们需要更多的帮助来解决；这项技术可以改善我们的社会，每个人使用这些新工具的创造性能力肯定会让我们感到惊讶。经济增长和生活质量的提高将是惊人的。

其次，我们认为阻止超级智能的产生是有风险和困难的。因为好处是如此巨大，建造它的成本每年都在下降，建造它的参与者的数量正在迅速增加，而且它本质上是我们所走的技术道路的一部分，阻止它需要类似全球监视制度的东西，并且即使这样也不能保证有效。所以我们必须把它做好。