注意!GenAI 模型存在接管风险

2024-04-07 20:20

本文主要是介绍注意!GenAI 模型存在接管风险,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近日,云安全提供商 Wiz 发现上传到 Hugging Face 的生成式 AI 模型存在两个关键的架构缺陷。

在最新发表的一篇博文中,Wiz Research 描述了这两个缺陷及其可能给 AI 即服务提供商带来的风险。

  • 共享推理基础设施接管风险
  • 共享持续集成和持续部署(CI/CD)接管风险

共享推理基础设施接管风险

在分析上传到 Hugging Face 上的几个 AI 模型时,Wiz 的研究人员发现其中一些模型在共享推理基础设施。

在生成式 AI 中,推理指的是根据先前训练的模型和输入数据进行预测或决策的模型。

推理基础设施允许执行 AI 模型,可以是 "边缘"(如 Transformers.js)、通过应用编程接口(API)或按照推理即服务(Inference-as-a-Service)模式(如 Hugging Face 的推理端点)。

Wiz 研究人员发现,推理基础设施经常运行使用 'pickle' 格式的不受信任的、潜在恶意的模型。'pickle' 格式的 AI 模型是使用 Python pickle 模块保存的训练模型的序列化压缩版本,比存储原始训练数据更紧凑、占用空间更少。

但是,恶意的 pickle 序列化模型可能包含远程代码执行有效载荷,使攻击者的权限升级并跨租户访问其他客户的模型。

共享持续集成和持续部署(CI/CD)接管风险

持续集成和持续部署(CI/CD)管道是一种自动化软件开发工作流程,可简化应用程序的构建、测试和部署过程。

它实质上是将原本需要手动完成的步骤自动化,从而加快发布速度并减少错误。

Wiz 研究人员发现,攻击者可能会试图接管 CI/CD 管道本身,并发起供应链攻击。

来源:Wiz

AI基础设施风险的潜在利用方式

在这篇博文中,Wiz 还描述了攻击者可能利用这两种风险的一些方法,包括:

  • 利用输入使模型产生错误预测(例如,adversarial.js)
  • 使用产生正确预测结果的输入,但这些预测结果却在应用程序中被不安全地使用(例如,产生会导致数据库 SQL 注入的预测结果)
  • 使用特制的、pickle 序列化的恶意模型执行未经授权的活动,如远程代码执行 (RCE)

Wiz 研究人员还通过利用 Hugging Face 上的已命名基础设施漏洞展示了对云中使用的生成式AI模型的攻击。

来源:Wiz

Wiz 研究人员发现,Hugging Face 平台上的生成式 AI 模型在收到恶意预设关键词(后门)时会执行命令。

缺乏检查 AI 模型完整性的工具

Wiz 解释称,目前只有极少数工具可用于检查特定模型的完整性,并验证其确实没有恶意行为。不过,Hugging Face 提供的 Pickle Scanning 可以帮助验证 AI 模型。

另外,开发人员和工程师在下载模型时必须非常谨慎。使用不受信任的 AI 模型可能会给应用程序带来完整性和安全风险,相当于应用程序中包含不受信任的代码。

Wiz 研究人员强调,这些风险并非 Hugging Face 所独有,它们代表了许多 AI 即服务公司将面临的租户分离挑战。考虑到这些公司运行客户代码和处理大量数据的模式,它们的增长速度超过以往任何行业,安全界应该与这些公司密切合作,确保建立安全基础设施和防护措施,同时不会阻碍公司迅速增长。

参考来源:Wiz Discovers Flaws in GenAI Models Enabling Customer Data Theft - Infosecurity Magazine (infosecurity-magazine.com)

这篇关于注意!GenAI 模型存在接管风险的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/883578

相关文章

Java的IO模型、Netty原理解析

《Java的IO模型、Netty原理解析》Java的I/O是以流的方式进行数据输入输出的,Java的类库涉及很多领域的IO内容:标准的输入输出,文件的操作、网络上的数据传输流、字符串流、对象流等,这篇... 目录1.什么是IO2.同步与异步、阻塞与非阻塞3.三种IO模型BIO(blocking I/O)NI

MySQL INSERT语句实现当记录不存在时插入的几种方法

《MySQLINSERT语句实现当记录不存在时插入的几种方法》MySQL的INSERT语句是用于向数据库表中插入新记录的关键命令,下面:本文主要介绍MySQLINSERT语句实现当记录不存在时... 目录使用 INSERT IGNORE使用 ON DUPLICATE KEY UPDATE使用 REPLACE

基于Flask框架添加多个AI模型的API并进行交互

《基于Flask框架添加多个AI模型的API并进行交互》:本文主要介绍如何基于Flask框架开发AI模型API管理系统,允许用户添加、删除不同AI模型的API密钥,感兴趣的可以了解下... 目录1. 概述2. 后端代码说明2.1 依赖库导入2.2 应用初始化2.3 API 存储字典2.4 路由函数2.5 应

C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)

《C#集成DeepSeek模型实现AI私有化的流程步骤(本地部署与API调用教程)》本文主要介绍了C#集成DeepSeek模型实现AI私有化的方法,包括搭建基础环境,如安装Ollama和下载DeepS... 目录前言搭建基础环境1、安装 Ollama2、下载 DeepSeek R1 模型客户端 ChatBo

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型的操作流程

《0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeekR1模型的操作流程》DeepSeekR1模型凭借其强大的自然语言处理能力,在未来具有广阔的应用前景,有望在多个领域发... 目录0基础租个硬件玩deepseek,蓝耘元生代智算云|本地部署DeepSeek R1模型,3步搞定一个应

Deepseek R1模型本地化部署+API接口调用详细教程(释放AI生产力)

《DeepseekR1模型本地化部署+API接口调用详细教程(释放AI生产力)》本文介绍了本地部署DeepSeekR1模型和通过API调用将其集成到VSCode中的过程,作者详细步骤展示了如何下载和... 目录前言一、deepseek R1模型与chatGPT o1系列模型对比二、本地部署步骤1.安装oll

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

如何在本地部署 DeepSeek Janus Pro 文生图大模型

《如何在本地部署DeepSeekJanusPro文生图大模型》DeepSeekJanusPro模型在本地成功部署,支持图片理解和文生图功能,通过Gradio界面进行交互,展示了其强大的多模态处... 目录什么是 Janus Pro1. 安装 conda2. 创建 python 虚拟环境3. 克隆 janus

本地私有化部署DeepSeek模型的详细教程

《本地私有化部署DeepSeek模型的详细教程》DeepSeek模型是一种强大的语言模型,本地私有化部署可以让用户在自己的环境中安全、高效地使用该模型,避免数据传输到外部带来的安全风险,同时也能根据自... 目录一、引言二、环境准备(一)硬件要求(二)软件要求(三)创建虚拟环境三、安装依赖库四、获取 Dee