【pytorch】tensor.detach()和tensor.data的区别

2024-02-25 06:52

本文主要是介绍【pytorch】tensor.detach()和tensor.data的区别,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

        • 序言
        • 相同点
        • 不同点
        • 测试实例
        • 应用

序言
  • .detach()和.data都可以用来分离tensor数据,下面进行比较
  • pytorch0.4及之后的版本,.data仍保留,但建议使用.detach()
相同点
  • x.detach()和x.data返回和x相同数据的tensor,这个新的tensor和原来的tensor共用数据,一者改变,另一者也会跟着改变
  • 新分离得到的tensor的requires_grad = False, 即不可求导的
不同点
  • (1) .data是一个属性,.detach()是一个方法
  • (2) x.data不能被autograd追踪求微分,即使被改了也能错误求导;x.detach()也不能被autograd追踪求微分,被改了会直接报错,避免错误的产生
  • (3) .data是不安全的,.detach()是安全的
测试实例
  • .data测试

    import torcha = torch.tensor([1 ,2 ,3.], requires_grad = True)  # float类型,支持求导
    out = a.sigmoid()
    print(out)    # 输出(0.0, 1.0)结果
    b = out.data  # 分离tensor
    b.zero_()     # 改变b的值,原来的out也会改变
    print(b.requires_grad)  # .data后requires_grad=False
    print(b)                # 归0后的值 tensor([0., 0., 0.])
    print(out.requires_grad)    # out的requires_grad=True
    print(out)                  # b的值改变了out也变了 tensor([0., 0., 0.])
    print("----------------------------------------------")out.sum().backward()  # 对原来的out求导
    print(a.grad)         # 不会报错,但结果不正确
    
    • 更改分离之后的变量值b,导致原来的张量out的值也跟着改变
    • 但是这种改变对于autograd是没有察觉的,它依然按照求导规则来求导,导致得出完全错误的导数值却浑然不知
    • 它的风险性就是如果我再任意一个地方更改了某一个张量,求导的时候也没有通知我已经在某处更改了,导致得出的导数值完全不正确
  • .detach()测试

    import torcha = torch.tensor([4, 5, 6.], requires_grad=True)
    out = a.sigmoid()
    print(out)
    c = out.detach()
    c.zero_()               # 改变c的值,原来的out也会改变
    print(c.requires_grad)  # detach后requires_grad=False
    print(c)                # 已经归0
    print(out.requires_grad)    # 输出为True
    print(out)
    print("----------------------------------------------")out.sum().backward()  # 对原来的out求导,
    print(a.grad)         # 此时会报错: 梯度计算所需要的张量已经被“原位操作inplace”所更改了# RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation
    
    • 更改分离之后的变量值c,导致原来的张量out的值也跟着改变
    • 这个时候如果依然按照求导规则来求导,由于out已经更改了,所以不会再继续求导了,而是报错,这样就避免了得出错误的求导结果
应用
  • forward时使用.data或.detach(),不进行梯度计算和梯度跟踪
  • backward时梯度回传,不能使用.detach()或.data,比如loss信息被detach的话就无法进行梯度回传更新参数,会导致模型无法收敛

 


【参考文章】
[1]. .detach和.data的区别和作用
[2]. .detach和.data的区别
[3]. .detach和.data求导时的区别

created by shuaixio, 2024.02.24

这篇关于【pytorch】tensor.detach()和tensor.data的区别的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/744703

相关文章

分辨率三兄弟LPI、DPI 和 PPI有什么区别? 搞清分辨率的那些事儿

《分辨率三兄弟LPI、DPI和PPI有什么区别?搞清分辨率的那些事儿》分辨率这个东西,真的是让人又爱又恨,为了搞清楚它,我可是翻阅了不少资料,最后发现“小7的背包”的解释最让我茅塞顿开,于是,我... 在谈到分辨率时,我们经常会遇到三个相似的缩写:PPI、DPI 和 LPI。虽然它们看起来差不多,但实际应用

GORM中Model和Table的区别及使用

《GORM中Model和Table的区别及使用》Model和Table是两种与数据库表交互的核心方法,但它们的用途和行为存在著差异,本文主要介绍了GORM中Model和Table的区别及使用,具有一... 目录1. Model 的作用与特点1.1 核心用途1.2 行为特点1.3 示例China编程代码2. Tab

Nginx指令add_header和proxy_set_header的区别及说明

《Nginx指令add_header和proxy_set_header的区别及说明》:本文主要介绍Nginx指令add_header和proxy_set_header的区别及说明,具有很好的参考价... 目录Nginx指令add_header和proxy_set_header区别如何理解反向代理?proxy

Java中&和&&以及|和||的区别、应用场景和代码示例

《Java中&和&&以及|和||的区别、应用场景和代码示例》:本文主要介绍Java中的逻辑运算符&、&&、|和||的区别,包括它们在布尔和整数类型上的应用,文中通过代码介绍的非常详细,需要的朋友可... 目录前言1. & 和 &&代码示例2. | 和 ||代码示例3. 为什么要使用 & 和 | 而不是总是使

使用PyTorch实现手写数字识别功能

《使用PyTorch实现手写数字识别功能》在人工智能的世界里,计算机视觉是最具魅力的领域之一,通过PyTorch这一强大的深度学习框架,我们将在经典的MNIST数据集上,见证一个神经网络从零开始学会识... 目录当计算机学会“看”数字搭建开发环境MNIST数据集解析1. 认识手写数字数据库2. 数据预处理的

C++中函数模板与类模板的简单使用及区别介绍

《C++中函数模板与类模板的简单使用及区别介绍》这篇文章介绍了C++中的模板机制,包括函数模板和类模板的概念、语法和实际应用,函数模板通过类型参数实现泛型操作,而类模板允许创建可处理多种数据类型的类,... 目录一、函数模板定义语法真实示例二、类模板三、关键区别四、注意事项 ‌在C++中,模板是实现泛型编程

Spring中@RestController和@Controller的使用及区别

《Spring中@RestController和@Controller的使用及区别》:本文主要介绍Spring中@RestController和@Controller的使用及区别,具有很好的参考价... 目录Spring中@RestController和@Controller使用及区别1. 基本定义2. 使

Pytorch微调BERT实现命名实体识别

《Pytorch微调BERT实现命名实体识别》命名实体识别(NER)是自然语言处理(NLP)中的一项关键任务,它涉及识别和分类文本中的关键实体,BERT是一种强大的语言表示模型,在各种NLP任务中显著... 目录环境准备加载预训练BERT模型准备数据集标记与对齐微调 BERT最后总结环境准备在继续之前,确

Qt 中 isHidden 和 isVisible 的区别与使用小结

《Qt中isHidden和isVisible的区别与使用小结》Qt中的isHidden()和isVisible()方法都用于查询组件显示或隐藏状态,然而,它们有很大的区别,了解它们对于正确操... 目录1. 基础概念2. 区别清见3. 实际案例4. 注意事项5. 总结1. 基础概念Qt 中的 isHidd

Spring、Spring Boot、Spring Cloud 的区别与联系分析

《Spring、SpringBoot、SpringCloud的区别与联系分析》Spring、SpringBoot和SpringCloud是Java开发中常用的框架,分别针对企业级应用开发、快速开... 目录1. Spring 框架2. Spring Boot3. Spring Cloud总结1. Sprin