3 月 29 日，马斯克和一群人工智能专家和行业高管在一封公开信中呼吁暂停六个月开发比 OpenAI 新推出的 GPT-4 更强大的系统，理由是对社会和人类的潜在风险。

据生命未来研究所官网，3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命。

截至目前，马斯克、苹果联合创始人Steve Wozniak、Stability AI创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。“把实验停下来！”马斯克等超1000人签署公开信。

据悉，未来生命研究所的公开信已有1079人签署。

值得信赖和忠诚

这封信引用了 OpenAI 创始人山姆奥特曼 (Sam Altman) 撰写的博客，他建议“在某些时候，在开始训练未来系统之前获得独立审查可能很重要”。

“我们同意。那这就是现在，”公开信的作者写道。

“因此，我们呼吁所有人工智能实验室立即暂停对比 GPT-4 更强大的人工智能系统的训练至少 6 个月。”

如果公司不同意，他们呼吁政府介入并暂停。

公开信中详细内容如下：

广泛的研究表明，具有与人类竞争智能的人工智能系统可能对社会和人类构成深远的风险，这一观点得到了顶级人工智能实验室的承认。正如广泛认可的“阿西洛马人工智能原则（Asilomar AI Principles，阿西莫夫的机器人三大法则的扩展版本，于2017年由近千名人工智能和机器人专家签署）中所述，高级AI可能代表地球生命史上的深刻变化，应该以相应的关照和资源进行规划和管理。

不幸的是，这种级别的规划和管理并没有发生，尽管最近几个月人工智能实验室陷入了一场失控的竞赛，以开发和部署更强大的数字思维，没有人——甚至他们的创造者——能理解、预测或可靠地控制。

“当代人工智能系统现在在一般任务上变得与人类具有竞争力，我们必须扪心自问：我们是否应该让机器用宣传和谎言充斥我们的信息渠道？我们是否应该自动化所有工作，包括令人满意的工作？我们是否应该发展最终可能比我们更多、更聪明，淘汰并取代我们的非人类思维？我们应该冒险失去对我们文明的控制吗？”这封信写道，“只有当我们确信它们的影响是积极的并且风险是可控的时候，才应该开发强大的人工智能系统。这种信心必须有充分的理由，并随着系统潜在影响的规模而增加。OpenAI最近关于通用人工智能的声明指出，‘在某些时候，在开始训练未来的系统之前进行独立审查可能很重要，并且对于最先进的工作来说，应该同意限制用于创建新模型的计算量增长。’我们同意。那个某些时候就是现在。”

这封信呼吁，所有人工智能实验室立即暂停训练比GPT-4更强大的人工智能系统至少6个月。这种暂停应该是公开的和可验证的，并且包括所有关键参与者。如果不能迅速实施这种暂停，政府应介入并实行暂停。人工智能实验室和独立专家应该利用这次暂停，共同开发和实施一套用于高级人工智能设计和开发的共享安全协议，并由独立的外部专家进行严格审计和监督。这些协议应确保遵守它们的系统是安全的，并且无可置疑。这并不意味着总体上暂停AI开发，只是紧急从奔向不可预测的大型黑盒模型的危险竞赛中收回脚步。

与此同时，信中指出，AI开发人员必须与政策制定者合作，以显著加快开发强大的AI治理系统。至少应包括：建立专门负责AI的有能力的新监管机构；监督和跟踪高性能人工智能系统和大量计算能力；推出标明来源系统和水印系统，以帮助区分真实与合成，并跟踪模型泄漏；强大的审计和认证生态系统；界定人工智能造成的伤害的责任；为人工智能技术安全研究提供强大的公共资金；以资源充足的机构来应对人工智能将造成的巨大经济和政治破坏（尤其是对民主的破坏）。

这封信最后写道，“人类可以享受人工智能带来的繁荣未来。成功创建强大的AI系统后，我们现在可以享受‘AI之夏’，收获回报，设计这些系统以造福所有人，并为社会提供适应的机会。社会已经暂停其他可能对社会造成灾难性影响的技术。我们可以在这个领域也这样做。让我们享受一个漫长的AI之夏，而不是毫无准备地陷入秋天。”

未来生命研究所建立于2014年，是一个非营利组织，由一系列个人和组织资助，使命是引导变革性技术远离极端、大规模的风险，转向造福生活。

截至发稿，这封信已有1079名科技领袖和研究人员签名，除了马斯克、辛顿和AI“大牛”马库斯之外，还包括图灵奖得主约书亚·本希奥（Yoshua Bengio）、《人工智能：现代方法》作者斯图尔特·罗素（Stuart Russell）、 苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）、Stability AI首席执行官埃马德·莫斯塔克（Emad Mostaque）等科技界领袖人物。

OpenAI CEO：“AI确实可能杀死人类”

事实上，最近几天，人工智能风险已引发了多位科技领袖的深切担忧。

首先是被称为“人工智能教父”的杰弗里·辛顿（Geoffrey Hinton），他上周在接受哥伦比亚广播公司采访时表示，人工智能可能发展到对人类构成威胁“并非不可想象”的地步。

随后，AI“大牛”盖瑞·马库斯（Gary Marcus）3月27日发推响应辛顿，28日又发表题为“人工智能风险≠通用人工智能风险”的文章，称超级智能可能会也可能不会迫在眉睫，但在短期内，需要担心“MAI（平庸人工智能）风险”。

27日，推特CEO伊隆·马斯克也加入进来，表达对辛顿和马库斯的赞同。

签名者名单

据澎湃新闻3月28日报道，OpenAI CEO山姆·奥特曼称，并不否认过分强大的AGI“可能杀死人类”这一观点。必须承认，（AI杀死人类）有一定可能性。很多关于AI安全和挑战的预测被证明是错误的，我们必须正视这一点，并尽早尝试找到解决问题的方法。

当前签名者：

作者：场长