(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述

本文主要是介绍(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 Memorization in deep learning: A survey

公和众和号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 

目录

0 摘要

1 引言


0 摘要

深度神经网络(DNNs)驱动的深度学习(DL)已经在各个领域引发了革命性变化,但理解 DNN 决策和学习过程的复杂性仍然是一个重大挑战。最近的研究发现了一个有趣的记忆现象,即 DNN 倾向于记住示例中的具体细节,而不是学习一般图样(pattern),这会影响模型的泛化能力、安全性和隐私性。这引发了关于 DNN 泛化性质及其易受安全漏洞影响的关键问题。在本次调查中,我们提出了一个系统的框架,根据泛化和安全/隐私领域组织记忆的定义,并总结了在示例和模型级别的记忆评估方法。通过全面的文献回顾,我们探讨了 DNN 记忆行为及其对安全和隐私的影响。我们还介绍了由记忆引起的隐私漏洞以及遗忘现象,并探索其与记忆的联系。此外,我们重点介绍了利用记忆和遗忘机制的各种应用,包括噪声标签学习、隐私保护和模型增强。本次调查首次提供了对 DNN 记忆的理解,提供了有关其挑战和机遇的见解,以在增强 AI 发展的同时解决关键的伦理问题。 

1 引言

迄今为止,许多论文发现了神经网络在使用梯度下降训练过程中可能记住一些训练数据的记忆效应[9],[10],[8],[11],[12]。当前的记忆研究主要集中在两个领域:标准训练中的行为和安全/隐私风险。我们基于泛化和安全/隐私领域总结了文献中的显式记忆定义。然而,缺乏广泛采用的记忆定义,使得描述和讨论记忆概念变得具有挑战性。许多相关工作提供了不一致,有时甚至是相互矛盾的记忆定义。尤其是,许多工作直接将 “记忆” 一词作为 “学习” 和 “拟合” 的同义词使用。因此,我们采用以下术语来促进讨论:记忆学习(Memorization Learning)指的是 DNN 学习示例的具体细节或特定特征,而常见的图样学习(Pattern Learning)表示 DNN 学习数据分布的常见模式或泛化特征。在图 1a 中,我们使用大型语言模型来说明记忆学习和图样学习。我们使用 “泛化” 一词来定义模型在新的、未见过的数据上的表现。如果没有额外解释,所有类似 “记忆”、“记忆效应” 和 “记忆现象” 的术语都指记忆学习。此外,我们认为模式学习和记忆学习共同构成了 DNN 的学习路径。

此外,记忆是一个复杂的概念,需要我们在各种层次上考虑它。在我们看来,记忆学习和图样学习在特征层次上运作。然而,直接理解神经网络的特征对人类来说极其困难。因此,我们主要在示例级别和模型级别上研究记忆,如图 1b 所示。

直观上,示例记忆和模型记忆表示研究对象是示例和模型。因此,不同层次的记忆概念激发了不同的记忆评估方法。示例记忆评估尝试确保一个示例是否被记住,包括差分评估(differential evaluation)和概率评估。另一方面,模型记忆评估衡量模型记住的程度或模型的记忆能力。我们将各种方法总结为三种主要方法:有噪标签评估、重复性评估和提取评估(noisy label evaluation, recurrence evaluation, and extraction evaluation)

在定义和评估方法之后,我们系统性地回顾了相关文献。对于标准训练中的记忆行为,现有研究调查了记忆效应与训练数据、训练阶段、模型架构、过拟合、正则化和其他因素之间的关系。一项研究 [13],[11] 得出了一个有趣的结论,即记忆学习提高了模型的泛化能力,因为记忆罕见和非典型示例实际上有助于类似罕见子群体的泛化表现,这与一些早期观点相悖。此外,一些证据 [14],[15],[16] 显示,过拟合并不是记忆的原因。记忆是训练中的一个持续过程。对于安全/隐私风险,被记住的特定特征成为多种风险来源,如成员推断风险和提取风险,使攻击者能够利用记忆机制侵犯隐私和违反 DNN 的安全规则。相比之下,一些风险,如对抗攻击风险,与记忆机制并无明显关系。

在相关方面,遗忘现象与记忆效应密切相关。因此,我们还讨论并回顾了遗忘效应。我们探讨了有用的遗忘定义和评估方法,并总结了相关的遗忘现象研究。

这篇关于(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1051982

相关文章

MySQL 8 中的一个强大功能 JSON_TABLE示例详解

《MySQL8中的一个强大功能JSON_TABLE示例详解》JSON_TABLE是MySQL8中引入的一个强大功能,它允许用户将JSON数据转换为关系表格式,从而可以更方便地在SQL查询中处理J... 目录基本语法示例示例查询解释应用场景不适用场景1. ‌jsON 数据结构过于复杂或动态变化‌2. ‌性能要

Python实现MQTT通信的示例代码

《Python实现MQTT通信的示例代码》本文主要介绍了Python实现MQTT通信的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一... 目录1. 安装paho-mqtt库‌2. 搭建MQTT代理服务器(Broker)‌‌3. pytho

Java中Arrays类和Collections类常用方法示例详解

《Java中Arrays类和Collections类常用方法示例详解》本文总结了Java中Arrays和Collections类的常用方法,涵盖数组填充、排序、搜索、复制、列表转换等操作,帮助开发者高... 目录Arrays.fill()相关用法Arrays.toString()Arrays.sort()A

MySQL进行数据库审计的详细步骤和示例代码

《MySQL进行数据库审计的详细步骤和示例代码》数据库审计通过触发器、内置功能及第三方工具记录和监控数据库活动,确保安全、完整与合规,Java代码实现自动化日志记录,整合分析系统提升监控效率,本文给大... 目录一、数据库审计的基本概念二、使用触发器进行数据库审计1. 创建审计表2. 创建触发器三、Java

MySQL 主从复制部署及验证(示例详解)

《MySQL主从复制部署及验证(示例详解)》本文介绍MySQL主从复制部署步骤及学校管理数据库创建脚本,包含表结构设计、示例数据插入和查询语句,用于验证主从同步功能,感兴趣的朋友一起看看吧... 目录mysql 主从复制部署指南部署步骤1.环境准备2. 主服务器配置3. 创建复制用户4. 获取主服务器状态5

Spring Boot中的路径变量示例详解

《SpringBoot中的路径变量示例详解》SpringBoot中PathVariable通过@PathVariable注解实现URL参数与方法参数绑定,支持多参数接收、类型转换、可选参数、默认值及... 目录一. 基本用法与参数映射1.路径定义2.参数绑定&nhttp://www.chinasem.cnbs

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

PostgreSQL中rank()窗口函数实用指南与示例

《PostgreSQL中rank()窗口函数实用指南与示例》在数据分析和数据库管理中,经常需要对数据进行排名操作,PostgreSQL提供了强大的窗口函数rank(),可以方便地对结果集中的行进行排名... 目录一、rank()函数简介二、基础示例:部门内员工薪资排名示例数据排名查询三、高级应用示例1. 每

使用Python删除Excel中的行列和单元格示例详解

《使用Python删除Excel中的行列和单元格示例详解》在处理Excel数据时,删除不需要的行、列或单元格是一项常见且必要的操作,本文将使用Python脚本实现对Excel表格的高效自动化处理,感兴... 目录开发环境准备使用 python 删除 Excphpel 表格中的行删除特定行删除空白行删除含指定

SpringBoot线程池配置使用示例详解

《SpringBoot线程池配置使用示例详解》SpringBoot集成@Async注解,支持线程池参数配置(核心数、队列容量、拒绝策略等)及生命周期管理,结合监控与任务装饰器,提升异步处理效率与系统... 目录一、核心特性二、添加依赖三、参数详解四、配置线程池五、应用实践代码说明拒绝策略(Rejected