本文主要是介绍新火种AI|摊上事儿了！13名OpenAI与谷歌员工联合发声：AI失控可能导致人类灭绝...，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
作者：小岩
编辑：彩云
2024年，OpenAI的CEO Sam Altman就没有清闲过，他似乎一直走在解决麻烦的路上。最近，他的麻烦又来了。
当地时间6月4日，13位来自OpenAI和Google Deep Mind的现任及前任员工联合发布了一封公开信，引发了外界的广泛关注。这些员工在信中表达了对人工智能技术潜在风险的严重担忧，并呼吁相关公司采取更加透明，更加负责任的措施来应对这些风险。
不夸张的说，这一次，OpenAI和谷歌是被讨伐了。
多位知名人士联合背书，就连AI教父也为其站台。
这封由13名OpenAI和谷歌Deep Mind现任及前任员工联合发出的公开信，一方面揭发了OpenAI的鲁莽和保密文化；另一方面还强调了前沿AI技术的严峻风险，表达了对AI公司在开发和推广AI技术时利益优先，打压异见者以及规避监管等种种行径的担忧。
信中指出，尽管AI技术可能会给人类带来巨大益处，但其带来的风险同样不容忽视，包括加剧社会不平等，操纵和虚假信息传播，以及自主AI系统失控可能导致的人类灭绝等。这些风险绝非空穴来风，不仅得到了人工智能公司本身的确认，也得到了世界各国政府和其他AI专家的认可。
公开信签署者们表示，他们希望在科学界，政策制定者和公众的指导下，能够充分缓解这些风险。他们出现了很强的忧患意思，他们担心，人工智能公司出于强烈的经济动机，可能会避免接受有效的监督，可仅靠现有的公司治理结构，完全不足以解决这一问题。
信中还提到，由于严格的保密协议，员工们在表达对AI风险的担忧时，还要面临着种种限制，目前对于举报人的保护措施也存在着严重不足，很多员工担心因为提出批评而遭遇报复。
值得一提的是，这封信获得了多位知名人士的联名背书，这其中就有被誉为“人工智能教父”的Geoffrey Hinton，还有因开创性AI研究获得图灵奖的Yoshua Bengio，AI安全领域的学者Stuart Russell。
公开信署名人员的诉求和初心：要实验室对透明度做出更广泛的承诺。
那么，在公开信上署名的这些人，他的心声是什么呢？
OpenAI 的前员工Daniel Kokotajlo正是联名信公开署名人员中的一位，他曾在社交平台发文提到，“我们之中，一些最近从 OpenAI 辞职的人聚集在一起，要求实验室对透明度作出更广泛的承诺。”
资料显示，Daniel刚刚从OpenAI 辞职，其中很重要的一个原因在他对OpenAI在构建通用人工智能方面未采取负责任的行为表示失望，并且失去了信心。在Daniel看来，AI系统不是普通的软件，它们是从大量数据中学习的人工神经网络。尽管目前关于可解释性，对齐和控制的科学文献正在迅速增多，但这些领域仍处于起步阶段。如果不小心，可能会在一段时间内造成灾难性后果。Daniel曾对公司提出，他希望其在AI功能越做越强大的同时，也能够在安全研究方面投入更多资金，但OpenAI并未做出相应的调整，这导致多名员工相继辞职。
在Daniel看来，OpenAI等实验室构建的系统的确可以给人类社会带来巨大的好处，但如果不谨慎处理，很可能带来灾难性的后果。更可怕的是，当前的AI技术几乎没有被有效监管，主要是依靠公司在进行自我监管，而这种方式存在巨大的风险。
Daniel还透露，离职时他被要求签署一份“封口协议”，其中包含一项不贬损条款，禁止他发表任何批评公司的话，否则将失去已归属的股权。然而，他在深思熟虑后，依旧决定放弃签署协议。
无独有偶，今年4月，Leopold Aschenbrenner也离开了OpenAI，与Daniel不同的事，他不是主动辞职，而是被OpenAI以泄露公司机密为由开除的。
Aschenbrenner曾是OpenAI前超级对齐部门成员。据知情人士透露，他被开除的真实原因是他给几位董事会成员分享了一份OpenAI安全备忘录，结果招致OpenAI高层的不满。据说，OpenAI当时很清楚地告诉他，开除他的主要原因就是因为这份备忘录。
在此之后，Aschenbrenner上线了一个网站，用165页PDF文件汇总了他在OpenAI工作期间所了解的信息，这份文件被看作是“硅谷最激进的AI研究人员提出的一份未来10年AI发展的纲领性文件”。Aschenbrenner认为，目前深度学习还没有遇到瓶颈，到2030年左右，AGI很有可能会发展出全面超越人类的超级人工智能。对此，人类似乎还没有做好准备。AI所带来的，也绝不仅仅是多数专家所认为的“另一场互联网规模的技术变革”。
安全主管辞职，超级对齐团队解散，多名骨干成员正在“背叛”OpenAI...
事实上，从OpenAI离职的远不止以上两位，很多掌握着核心部门的大佬都相继离开了OpenAI。
其中，最具代表性的当属OpenAI原首席科学家Ilya Sutskever，以及前安全主管，超级对齐团队负责人Jan Leike。
与Aschenbrenner和Deniel一样，Leike在离职后公开批评了OpenAI的管理层，指责其追求华而不实的产品，却忽视了AGI本身存的安全问题。他表示，在过去的几个月里，超级对齐团队一直都是逆风航行，在提升模型安全性的道路上受到公司内部的重重阻碍。
Ilya则在OpenAI的宫斗事件之后一直保持沉默，即便到了最后官宣离职的时候，也没过多的阐述自己的立场和观点。不过，Ilya曾在先前的一段视频中提到，一旦AGI彻底实现，AI未必会仇恨人类，但他们对待人类的方式可能会像人类对待动物一样：人可能无意伤害动物，但如果你想修一条城际高速，你不会征询动物的意见，而是直接去做。当面临这种情况时，AI 可能也会自然而然地做出类似的选择。
去年11月OpenAI爆发宫斗事件，借着宫斗事件的最终走向，我们可以大致看出OpenAl内部存在的大模型安全性问题，以及分化日趋明显的两大阵营。一方阵营是以Sam Altman为代表的“发展派”；另一方，则是以Ilya为代表的“安全派”。两方斗法，如今来看，结局很明显：以Ilya为代表的的安全派基本丧失了话语权，就连昔日备受瞩目的超级对齐团队也被连根拔起。
在这种情况下，未来的一切都成了未知数。我们无法预判Sam Altman所代表的激进发展派是否会一路长虹的前进。如果事实真是这样，未来人类该如何平衡与生成式AI之间的关系，也会成为巨大的未知数。
这篇关于新火种AI|摊上事儿了！13名OpenAI与谷歌员工联合发声：AI失控可能导致人类灭绝...的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
