(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述

本文主要是介绍(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 Memorization in deep learning: A survey

公和众和号:EDPJ(进 Q 交流群:922230617 或加 VX:CV_EDPJ 进 V 交流群) 

目录

0 摘要

1 引言


0 摘要

深度神经网络(DNNs)驱动的深度学习(DL)已经在各个领域引发了革命性变化,但理解 DNN 决策和学习过程的复杂性仍然是一个重大挑战。最近的研究发现了一个有趣的记忆现象,即 DNN 倾向于记住示例中的具体细节,而不是学习一般图样(pattern),这会影响模型的泛化能力、安全性和隐私性。这引发了关于 DNN 泛化性质及其易受安全漏洞影响的关键问题。在本次调查中,我们提出了一个系统的框架,根据泛化和安全/隐私领域组织记忆的定义,并总结了在示例和模型级别的记忆评估方法。通过全面的文献回顾,我们探讨了 DNN 记忆行为及其对安全和隐私的影响。我们还介绍了由记忆引起的隐私漏洞以及遗忘现象,并探索其与记忆的联系。此外,我们重点介绍了利用记忆和遗忘机制的各种应用,包括噪声标签学习、隐私保护和模型增强。本次调查首次提供了对 DNN 记忆的理解,提供了有关其挑战和机遇的见解,以在增强 AI 发展的同时解决关键的伦理问题。 

1 引言

迄今为止,许多论文发现了神经网络在使用梯度下降训练过程中可能记住一些训练数据的记忆效应[9],[10],[8],[11],[12]。当前的记忆研究主要集中在两个领域:标准训练中的行为和安全/隐私风险。我们基于泛化和安全/隐私领域总结了文献中的显式记忆定义。然而,缺乏广泛采用的记忆定义,使得描述和讨论记忆概念变得具有挑战性。许多相关工作提供了不一致,有时甚至是相互矛盾的记忆定义。尤其是,许多工作直接将 “记忆” 一词作为 “学习” 和 “拟合” 的同义词使用。因此,我们采用以下术语来促进讨论:记忆学习(Memorization Learning)指的是 DNN 学习示例的具体细节或特定特征,而常见的图样学习(Pattern Learning)表示 DNN 学习数据分布的常见模式或泛化特征。在图 1a 中,我们使用大型语言模型来说明记忆学习和图样学习。我们使用 “泛化” 一词来定义模型在新的、未见过的数据上的表现。如果没有额外解释,所有类似 “记忆”、“记忆效应” 和 “记忆现象” 的术语都指记忆学习。此外,我们认为模式学习和记忆学习共同构成了 DNN 的学习路径。

此外,记忆是一个复杂的概念,需要我们在各种层次上考虑它。在我们看来,记忆学习和图样学习在特征层次上运作。然而,直接理解神经网络的特征对人类来说极其困难。因此,我们主要在示例级别和模型级别上研究记忆,如图 1b 所示。

直观上,示例记忆和模型记忆表示研究对象是示例和模型。因此,不同层次的记忆概念激发了不同的记忆评估方法。示例记忆评估尝试确保一个示例是否被记住,包括差分评估(differential evaluation)和概率评估。另一方面,模型记忆评估衡量模型记住的程度或模型的记忆能力。我们将各种方法总结为三种主要方法:有噪标签评估、重复性评估和提取评估(noisy label evaluation, recurrence evaluation, and extraction evaluation)

在定义和评估方法之后,我们系统性地回顾了相关文献。对于标准训练中的记忆行为,现有研究调查了记忆效应与训练数据、训练阶段、模型架构、过拟合、正则化和其他因素之间的关系。一项研究 [13],[11] 得出了一个有趣的结论,即记忆学习提高了模型的泛化能力,因为记忆罕见和非典型示例实际上有助于类似罕见子群体的泛化表现,这与一些早期观点相悖。此外,一些证据 [14],[15],[16] 显示,过拟合并不是记忆的原因。记忆是训练中的一个持续过程。对于安全/隐私风险,被记住的特定特征成为多种风险来源,如成员推断风险和提取风险,使攻击者能够利用记忆机制侵犯隐私和违反 DNN 的安全规则。相比之下,一些风险,如对抗攻击风险,与记忆机制并无明显关系。

在相关方面,遗忘现象与记忆效应密切相关。因此,我们还讨论并回顾了遗忘效应。我们探讨了有用的遗忘定义和评估方法,并总结了相关的遗忘现象研究。

这篇关于(2024,示例记忆,模型记忆,遗忘,差分评估,概率评估)深度学习中的记忆:综述的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1051982

相关文章

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

C++20管道运算符的实现示例

《C++20管道运算符的实现示例》本文简要介绍C++20管道运算符的使用与实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧... 目录标准库的管道运算符使用自己实现类似的管道运算符我们不打算介绍太多,因为它实际属于c++20最为重要的

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

ModelMapper基本使用和常见场景示例详解

《ModelMapper基本使用和常见场景示例详解》ModelMapper是Java对象映射库,支持自动映射、自定义规则、集合转换及高级配置(如匹配策略、转换器),可集成SpringBoot,减少样板... 目录1. 添加依赖2. 基本用法示例:简单对象映射3. 自定义映射规则4. 集合映射5. 高级配置匹

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现