OpenAI离职员工发起人工智能警告联名书，杰弗里·辛顿带头签名
关于先进人工智能的争论不止不休。如何监督先进人工智能？
//
1.又一离职员工发声
今年 4 月，我从 OpenAI 辞职，因为我对该公司在构建通用人工智能（即“通常比人类更聪明的 AI 系统”）方面是否会采取负责任的行为失去了信心。
我加入 OpenAI 时希望随着系统功能越来越强大，我们将在安全研究方面投入更多资金，但 OpenAI 从未做出这一转变。人们意识到这一点后开始辞职。我不是第一个也不是最后一个辞职的人。
我离开时，公司要求我签署一份文件，其中包含一项不贬损条款，禁止我发表任何批评公司的话。从文件和我与 OpenAI 的沟通中可以清楚地看出，如果我拒绝签署，我将在 60 天内失去既得股权。
一些文件和电子邮件可见这篇文章：https://www.vox.com/future-perfect/351132/openai-vested-equity-nda-sam-altman-documents-employees
我和妻子仔细思考后决定，我未来言论自由比股权更重要。我告诉 OpenAI 我不能签署，因为我认为这项政策不合道德；他们接受了我的决定，我们分道扬镳。
OpenAI 等实验室正在构建的系统能够带来巨大的好处。但如果我们不小心，它们可能会在短期内造成不稳定，并在长期内造成灾难性后果。
这些系统不是普通的软件；它们是从大量数据中学习的人工神经网络。关于可解释性、对齐和控制的科学文献正在迅速增多，但这些领域仍处于起步阶段。
我们对这些系统的工作原理以及它们在变得越来越智能并可能在所有领域超越人类智能时是否会与人类的利益保持一致还有很多不了解的地方。
与此同时，这项技术几乎没有任何监管。相反，我们依赖开发这些技术的公司进行自治，尽管利润动机和对这项技术的兴奋促使他们“快速行动，打破常规”。
当我们目前是唯一有权警告公众的人时，让研究人员噤声并让他们害怕遭到报复是危险的。
我赞扬 OpenAI 承诺改变这些政策！
令人担忧的是，他们长期采取这些恐吓策略，直到公众压力下才改正。同样令人担忧的是，签署这些政策的领导人声称他们对此并不知情。
公众将首当其冲地承受这些危险，我们有责任做得更好。理性的人可能会对 AGI 是否会很快出现持不同意见，但投入如此少的资源进行准备似乎是愚蠢的。
我们中一些最近从 OpenAI 辞职的人聚集在一起，要求实验室对透明度做出更广泛的承诺（见下文）。
致我以前的同事们，我对你们充满爱和敬意，希望你们继续推动内部透明化。如果您有任何问题或批评，请随时与我联系。
2.《对先进人工智能发出警告的权利》
我们是先进的人工智能公司的现员工和前员工，我们相信人工智能技术有潜力为人类带来前所未有的利益。
我们也了解这些技术带来的严重风险。这些风险包括进一步加剧现有的不平等、操纵和误导信息，以及失去对自主人工智能系统的控制，可能导致人类灭绝。人工智能公司本身已经承认了这些风险，世界各国政府和其他人工智能专家也承认了这些风险。
我们希望，在科学界、政策制定者和公众的充分指导下，这些风险能够得到充分缓解。然而，人工智能公司有强烈的经济动机来逃避有效的监督，我们认为定制的公司治理结构不足以改变这一现状。
人工智能公司掌握着大量非公开信息，包括其系统的能力和局限性、保护措施的充分性以及不同类型伤害的风险水平。然而，它们目前只有很弱的义务向政府分享部分信息，而对民间社会则没有任何义务。我们认为，不能指望它们都自愿分享这些信息。
只要政府对这些公司没有有效的监督，现任和前任员工就是少数可以要求他们向公众负责的人。然而，广泛的保密协议阻止我们表达我们的担忧，除非向那些可能未能解决这些问题的公司表达。普通的举报人保护措施是不够的，因为它们侧重于非法活动，而我们所担心的许多风险尚未受到监管。鉴于整个行业都发生过此类案件，我们中的一些人有理由担心各种形式的报复。我们并不是第一个遇到或谈论这些问题的人。
因此，我们呼吁先进的人工智能公司遵守以下原则：
- 公司不会签订或执行任何禁止因风险相关问题而对公司进行“贬低”或批评的协议，也不会通过妨碍任何既得经济利益来报复与风险相关的批评；
- 公司将为现任和前任员工提供可验证的匿名流程，以便他们向公司董事会、监管机构以及具有相关专业知识的适当独立组织提出与风险相关的担忧；
- 公司将支持公开批评的文化，并允许其现任和前任员工向公众、公司董事会、监管机构或具有相关专业知识的适当独立组织提出对其技术的风险相关担忧，只要商业秘密和其他知识产权利益得到适当保护；
- 公司不会对在其他流程失败后公开分享风险相关机密信息的现任和前任员工进行报复。我们承认，任何报告风险相关问题的努力都应避免不必要地泄露机密信息。因此，一旦存在向公司董事会、监管机构和具有相关专业知识的适当独立组织匿名提出疑虑的适当流程，我们承认最初应通过此类流程提出疑虑。但是，只要不存在这样的流程，现任和前任员工就应保留向公众报告其疑虑的自由。
签名人：
Jacob Hilton，前OpenAI员工
Daniel Kokotajlo，前OpenAI员工
Ramana Kumar，前Google DeepMind员工
Neel Nanda，现Google DeepMind员工，前Anthropic员工
William Saunders，前OpenAI员工
Carroll Wainwright，前OpenAI员工
Daniel Ziegler，前OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，现OpenAI员工
匿名，前OpenAI员工
匿名，前OpenAI员工
赞同者：
Yoshua Bengio（约书亚·本吉奥，图灵奖得主）
Geoffrey Hinton（杰弗里·辛顿，图灵奖得主）
Stuart Russell（斯图尔特·罗素，伯克利教授）