Bengio担任一作,联手一众图灵奖得主,预防AI失控,扛起AI监管大旗

本文主要是介绍Bengio担任一作,联手一众图灵奖得主,预防AI失控,扛起AI监管大旗,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图灵奖得主最近都在关心些什么呢?Yoshua Bengio,深度学习的奠基人之一,前几天他担任一作,联合多位大佬,发文探讨了如何在人工智能(AI)快速发展的时代管控相关风险,共同寻求当下生成式人工智能迅速发展时期的潜在风险管理措施。

论文题目:
Managing AI Risks in an Era of Rapid Progress

论文链接:
https://arxiv.org/abs/2310.17688

在本文中,作者审视了人工智能广泛的社会危害和恶意用途,以及人类对自主 AI 系统失去控制的不可逆性损失。鉴于生成式人工智能领域的快速和持续发展,作者提出了其研发和治理的紧迫优先事项。

高速进步的人工智能

2019 年,GPT-2 还无法可靠地数到十。然而,仅仅过去了四年,AI 系统就已经能编程、提供知识话题的建议,以及结合语言和图像来操控机器人。随着系统规模的逐渐扩大,将不再需要明确的编程指令,系统便会自发展现出意想不到的能力。

人工智能的发展在达到人类水平后不会停滞不前。目前,人工智能已经在蛋白质折叠和策略游戏等狭窄领域超越了人类能力。与人类相比,AI 系统的动作更快、学习更多知识、通信速度更快。

目前各大公司正竞相开发通用 AI 系统,致力于在多数认知工作上达到甚至超过人类能力。科技公司海量资源的投入使得人工智能研发领域持续增长,自动化技术不断进步。因此,我们必须认真对待这一可能:近 20 年内,通用 AI 系统可能在许多关键领域超越人类的能力。

图片

▲AI 模型算力的变化历程

那么,这将会造成什么影响?

  • 如果管理得当且公平,人工智能可以提供巨大机会:先进的 AI 系统可以帮助人类治愈疾病、提高生活水平和保护生态。

  • 然而,也带来了大规模风险:人类正在大规模地投入资源开发更强大的 AI 系统,然而,在确保这些系统的安全性和减轻潜在危害方面的投入却相对有限。为了确保人工智能真正造福人类,仅一味提升人工智能的能力还远远不够,我们必须重视安全性和风险管理。

我们已经落后一步了,必须预见目前危害的扩大和新风险,并在它们到来前做好准备。就好比气候变化经过几十年才被认可和应对,但对于人工智能来说,几十年可能太长了

广泛的社会风险

作者还表达了对自主 AI 系统可能带来广泛社会风险的担忧。指出如果不谨慎地开发和部署,则可能会出现以下一系列问题和风险:

  • 不公正和破坏社会稳定:如果自主 AI 系统没有经过精心设计,可能会加剧社会不公正、破坏社会稳定,甚至削弱人们对现实的共同理解。这些问题可能会损害社会的基础,导致大规模犯罪或恐怖活动。

  • 增加全球不平等:如果自主 AI 系统在少数强大的执行者手中,可能导致自动化战争、定制化大规模操纵和广泛的监视等问题,进一步加大全球社会和经济的不平等。

  • 追求不良目标:AI 系统可能被故意设计成追求有害目标,或者无意中构建出不符合价值观的系统,这可能导致系统的行为不受人类控制。

  • 不受人类控制的行为:自主 AI 系统的行为可能无法被控制,因为它们可以自主地制定策略,从而影响关键决策,甚至控制计算机系统等。

  • 广泛部署和担任重要角色:AI 系统可能会被广泛部署,甚至承担关键的社会角色,这可能导致人类失去对它们的控制。

综合来看,如果不进行管控与约束,自主 AI 系统可能带来严重的风险和问题,可能会导致灾难性后果。因此,作者呼吁采取行动来规划和管理自主 AI 系统的发展,以确保它们不会对社会和人类造成不可逆转的危害。

挑战及解决方案

如果现在开发高级的自主 AI 系统,我们将面临两个主要问题。

  1. 不知道如何确保这些系统的安全性,因为目前没有足够的知识和方法来测试和验证其安全性。

  2. 政府缺乏适当的机构来防止潜在滥用和确保这些系统的安全性。

当前,我们面临着在创造具有安全和道德目标的人工智能方面的技术挑战,这些挑战需要我们进行深入研究和突破。这些挑战包括:

  • 监督与诚实性:更强大的 AI 系统可能会更好地利用监督和测试中的弱点,例如产生虚假但令人信服的输出。

  • 鲁棒性:AI 系统面对新的上下文可能会表现出不可预测性(在分布转移或对抗性输入下)。

  • 可解释性:人工智能决策的不透明性。目前,我们只能通过反复试验来测试大型模型,我们需要学习理解它们的内部运作方式。

  • 风险评估:前沿 AI 系统可能在训练过程中或甚至在部署后才会发展出意想不到的能力,这需要更好的评估来更早地检测有害能力。

  • 应对新兴挑战:更强大的未来 AI 系统可能会表现出可能会出现一些复杂的异常行为。例如,可能学会伪装服从,或利用我们的安全目标和关闭机制的漏洞来推进特定目标。

鉴于这些挑战,作者呼吁,我们应将至少三分之一的人工智能研发预算用于确保安全和道德使用,该比例应与用于提升人工智能能力的资金相当。解决这些问题和考虑强大未来系统的发展,必须成为人工智能领域的核心任务,以确保人工智能技术的发展有益于人类与社会。

紧迫的治理措施

在其他技术领域(如制药、金融和核能等),社会各界已认识到需要有效的治理措施来减少潜在风险。然而,在人工智能领域,尚不存在类似的治理框架。如果没有这些治理框架,那么公司和国家可能会通过竞争来推动人工智能的能力提升,而不考虑其他问题,这就好比制造商为了节省成本而将废物排放到河流中,让社会来承受后果。

国家机构需要具备强大的技术能力和迅速采取行动的权力,同时避免制定过于僵化的法律法规。为了应对国际竞争,需要具备促进国际协议和合作伙伴关系的能力。

此外,还应避免对小型和可预测的人工智能模型设置不必要的障碍。当前最紧迫的监管工作应集中在前沿的 AI 系统上,这些系统通常在价值数十亿美元的超级计算机上进行训练,最具危险和不可预测的能力。

为了实现有效监管,政府需要全面了解人工智能的发展情况,需要制定一系列与其风险程度相匹配的治理机制和安全标准。此外,前沿人工智能开发者和所有者应对其模型造成的伤害承担法律责任,以便预防潜在的危害并创造安全投资的激励机制。

对于具有危险能力的 AI 系统,我们需要一系列与其风险程度相匹配的治理机制。

  1. 国家和国际安全标准:监管机构应该制定这些标准,让 AI 模型根据能力和潜在风险的区别受到不同监管。

  2. 法律责任:前沿开发者和所有者需要对其 AI 系统的行为和潜在危害负法律责任,并需要采取措施来防止可能出现的问题。

  3. 开发许可:政府应准备好在出现令人担忧的 AI 能力时,对其开发进行许可或暂停。这将确保出现潜在风险时可以采取及时行动,以保护公众和社会的利益。

  4. 信息安全措施:为了保护 AI 系统免受国家级黑客的攻击,政府应要求实施严格的信息安全措施,以确保这些系统不会被滥用或受到恶意攻击。

最后,为了弥补法规制定前的时间差,主要的人工智能公司应该制定明确的“如果-就”承诺:如果他们的人工智能系统触碰了红线,他们将采取哪些具体的安全措施,这些承诺应详细且经过单独审核。

总结

人工智能可能是塑造本世纪的技术。本文强调了确保人工智能安全和伦理的重要性,以及寻找解决方案的紧迫性。作者们提出了两个关键举措:

  1. 需要在人工智能安全和伦理方面进行研究突破

  2. 需要建立有效的政府监管机制

尽管人工智能的能力正在迅速提升,但在确保安全性和建立有效治理方面的进展相对滞后。如果没有适当的治理措施,人工智能的发展可能会导致一些不可控的风险和问题。

因此,为了引导人工智能朝着积极的方向发展,远离可能出现的灾难,我们需要重新审视和调整当前的方法。这包括加强对人工智能的监管和治理,以确保其发展是安全和受控的。如果我们能够明智地选择和实施这些措施,就有一条负责任的道路来引导人工智能的未来发展,从而使其对社会和人类产生积极的影响。

事物的发展都需要一些约束,而非不受限制地肆意生长

这篇关于Bengio担任一作,联手一众图灵奖得主,预防AI失控,扛起AI监管大旗的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/385916

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

AI绘图怎么变现?想做点副业的小白必看!

在科技飞速发展的今天,AI绘图作为一种新兴技术,不仅改变了艺术创作的方式,也为创作者提供了多种变现途径。本文将详细探讨几种常见的AI绘图变现方式,帮助创作者更好地利用这一技术实现经济收益。 更多实操教程和AI绘画工具,可以扫描下方,免费获取 定制服务:个性化的创意商机 个性化定制 AI绘图技术能够根据用户需求生成个性化的头像、壁纸、插画等作品。例如,姓氏头像在电商平台上非常受欢迎,

从去中心化到智能化:Web3如何与AI共同塑造数字生态

在数字时代的演进中,Web3和人工智能(AI)正成为塑造未来互联网的两大核心力量。Web3的去中心化理念与AI的智能化技术,正相互交织,共同推动数字生态的变革。本文将探讨Web3与AI的融合如何改变数字世界,并展望这一新兴组合如何重塑我们的在线体验。 Web3的去中心化愿景 Web3代表了互联网的第三代发展,它基于去中心化的区块链技术,旨在创建一个开放、透明且用户主导的数字生态。不同于传统

AI一键生成 PPT

AI一键生成 PPT 操作步骤 作为一名打工人,是不是经常需要制作各种PPT来分享我的生活和想法。但是,你们知道,有时候灵感来了,时间却不够用了!😩直到我发现了Kimi AI——一个能够自动生成PPT的神奇助手!🌟 什么是Kimi? 一款月之暗面科技有限公司开发的AI办公工具,帮助用户快速生成高质量的演示文稿。 无论你是职场人士、学生还是教师,Kimi都能够为你的办公文

Andrej Karpathy最新采访:认知核心模型10亿参数就够了,AI会打破教育不公的僵局

夕小瑶科技说 原创  作者 | 海野 AI圈子的红人,AI大神Andrej Karpathy,曾是OpenAI联合创始人之一,特斯拉AI总监。上一次的动态是官宣创办一家名为 Eureka Labs 的人工智能+教育公司 ,宣布将长期致力于AI原生教育。 近日,Andrej Karpathy接受了No Priors(投资博客)的采访,与硅谷知名投资人 Sara Guo 和 Elad G

AI hospital 论文Idea

一、Benchmarking Large Language Models on Communicative Medical Coaching: A Dataset and a Novel System论文地址含代码 大多数现有模型和工具主要迎合以患者为中心的服务。这项工作深入探讨了LLMs在提高医疗专业人员的沟通能力。目标是构建一个模拟实践环境,人类医生(即医学学习者)可以在其中与患者代理进行医学

AI行业应用(不定期更新)

ChatPDF 可以让你上传一个 PDF 文件,然后针对这个 PDF 进行小结和提问。你可以把各种各样你要研究的分析报告交给它,快速获取到想要知道的信息。https://www.chatpdf.com/

【北交大信息所AI-Max2】使用方法

BJTU信息所集群AI_MAX2使用方法 使用的前提是预约到相应的算力卡,拥有登录权限的账号密码,一般为导师组共用一个。 有浏览器、ssh工具就可以。 1.新建集群Terminal 浏览器登陆10.126.62.75 (如果是1集群把75改成66) 交互式开发 执行器选Terminal 密码随便设一个(需记住) 工作空间:私有数据、全部文件 加速器选GeForce_RTX_2080_Ti

AI Toolkit + H100 GPU,一小时内微调最新热门文生图模型 FLUX

上个月,FLUX 席卷了互联网,这并非没有原因。他们声称优于 DALLE 3、Ideogram 和 Stable Diffusion 3 等模型,而这一点已被证明是有依据的。随着越来越多的流行图像生成工具(如 Stable Diffusion Web UI Forge 和 ComyUI)开始支持这些模型,FLUX 在 Stable Diffusion 领域的扩展将会持续下去。 自 FLU

AI基础 L9 Local Search II 局部搜索

Local Beam search 对于当前的所有k个状态,生成它们的所有可能后继状态。 检查生成的后继状态中是否有任何状态是解决方案。 如果所有后继状态都不是解决方案,则从所有后继状态中选择k个最佳状态。 当达到预设的迭代次数或满足某个终止条件时,算法停止。 — Choose k successors randomly, biased towards good ones — Close