【已解决】RuntimeError: Trying to backward through the graph a second time (or directly access saved tens

本文主要是介绍【已解决】RuntimeError: Trying to backward through the graph a second time (or directly access saved tens,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 问题描述


Traceback (most recent call last):
  File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 281, in <module>
    main(args)
  File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 200, in main
    loss, Matrix = train(encoder_model, args, data, optimizer, epoch)
  File "/home/sysu/qfy/project/GCL/GCL/Main.py", line 153, in train
    loss.backward()
  File "/home/sysu/qfy/anaconda3/envs/gclv1/lib/python3.8/site-packages/torch/_tensor.py", line 487, in backward
    torch.autograd.backward(
  File "/home/sysu/qfy/anaconda3/envs/gclv1/lib/python3.8/site-packages/torch/autograd/__init__.py", line 200, in backward
    Variable._execution_engine.run_backward(  # Calls into the C++ engine to run the backward pass
RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). Saved intermediate values of the graph are freed when you call .backward() or autograd.grad(). Specify retain_graph=True if you need to backward through the graph a second time or if you need to access saved tensors after calling backward.

解决办法 

        1、解决方法直出

        为什么会报这个错,这个错翻译成白话文就是说:当我们第二次backward的时候,计算图的结构已经被破坏了(buffer的梯度被释放了),这也是pytorch动态图的机制,可以节省内存。

        在pytorch的计算图中,其实只有两种元素:tensor和function,function就是加减乘除、开方、幂指对、三角函数等可求导运算,而tensor可细分为两类:叶子节点(leaf node)和非叶子节点。使用backward()函数反向传播计算tensor的梯度时,并不计算所有tensor的梯度,而是只计算满足这几个条件的tensor的梯度:1.类型为叶子节点、2.requires_grad=True、3.依赖该tensor的所有tensor的requires_grad=True。

        而报这个错的原因很简单,就是在进行训练的时候,由于是在下一次循环的时候前一次的计算图已经被释放了,所以下次计算就会出现问题,那怎么办呢?就把计算图保留下来就可以了

 .backward()
改为
 .backward(retain_graph=True)

        这个时候就不会再出错了  

        2、示例程序:在占用较少缓存情况下进行更新        
def train(t0,t1,z0,z1,z2):for i in range(10):        #迭代10次sum = 0optimizer.zero_grad()     #梯度清零z1 = cal(t0,z0,t1,z1.data,z2)   #调用函数计算z1#z1 = relu(torch.mm(t0, z0) - torch.mm(torch.t(t1), relu(torch.mm(t1, z1.data)) - z2))loss=cri(out,z1)            #计算反向传播的losssum+=loss.item()            #loss值计算print(loss)        loss.backward(torch.ones_like(out))    #反向传播,里面参数设置可以自行查阅optimizer.step()        #梯度更新print(t0.grad,t1.grad)    #打印需要更新的参数的梯度————————————————
版权声明:本文为CSDN博主「toroxy」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/toro12306/article/details/121094110

        很明显可以看出来,再循环中是要对z1进行更新的

        z1是通过  z1 = cal(t0,z0,t1,z1,z2) 得到的,这里z1是已经定义了的变量,但是经过这个公式又把z1更新覆盖了,虽然说这个错误可以在最后loss.backward()函数里加上retain_graph=Ture,即loss.backward(retain_graph=Ture)解决,但是这会增加显存的使用,明显当任务需要较大的计算量时,这是不合理的,所以这种方案并不是最优的。

        而我的解决方案是对 z1 = cal(t0,z0,t1,z1,z2) 进行了简单的修改,只需要在我们需要更新的参数,这里是z1,后面加上 .data 即可,此时这句变为了 z1 = cal(t0,z0,t1,z1.data,z2),这样不会报错,并且显存占用也很少,这样做的原因我觉得和with torch.no_grad()类似,这里进行计算的z1.data数据是不存在梯度的,在整个计算过程中也是不存在梯度的,而这里的z1本身又是中间变量,没有梯度,也不需要求梯度,所以此方法可行。

        发现可以收敛,参数正常更新,也不会报错。       

其他建议

        这个错误表明在你的代码中尝试对计算图进行第二次反向传播,或者在计算图中的某些保存的中间值已经被释放后,再次尝试访问它们。这通常是由于没有正确处理计算图的释放或者多次反向传播导致的。

        以下是一些建议来解决这个问题:

        1、确保只调用一次 backward:

        在你的代码中,确保只调用了一次 loss.backward()。如果你在训练循环中多次调用了 backward,这可能导致问题。

        2、检查是否需要 retain_graph:

        如果你在训练循环中有多个优化步骤,确保你在每个步骤中都使用了新的输入,或者使用了 retain_graph=True 参数来保留计算图,以便多次反向传播。loss.backward(retain_graph=True)

请注意,使用 retain_graph=True 可能会导致 GPU 内存占用增加,因此要小心使用。

        3、释放不再需要的变量:

        在训练循环结束时,确保释放不再需要的中间变量,可以使用 del 关键字或者将其设置为 None。

# 释放不再需要的变量 intermediate_result = None

        4、检查模型和优化器的状态:

        在训练循环结束时,确保你的模型和优化器都处于正确的状态。你可能需要在每个训练步骤之前调用 optimizer.zero_grad() 来清除梯度。optimizer.zero_grad()

        5、使用 PyTorch 内置调试工具:

        使用 torch.autograd.detect_anomaly() 来捕捉异常的计算图操作。这有助于定位导致问题的操作。原理可参考下图

完结撒花

        如果总和一个经常闹矛盾的人打交道,两个人中至少有一个不正常!

这篇关于【已解决】RuntimeError: Trying to backward through the graph a second time (or directly access saved tens的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/778120

相关文章

如何解决线上平台抽佣高 线下门店客流少的痛点!

目前,许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流,但其费用昂贵。鉴于此,众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台,但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下,商家之间的合作网络逐渐成为一种有效的解决方案,通过资源和客户基础的共享,实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例,该平台融合了环保消费积分系统,在短

pip-tools:打造可重复、可控的 Python 开发环境,解决依赖关系,让代码更稳定

在 Python 开发中,管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等,都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools? pip-tools 是一组命令行工具,旨在简化 Python 依赖关系的管理,确保项目环境的稳定性和可重复性。它主要包含两个核心工具:pip-compile 和 pip

【VUE】跨域问题的概念,以及解决方法。

目录 1.跨域概念 2.解决方法 2.1 配置网络请求代理 2.2 使用@CrossOrigin 注解 2.3 通过配置文件实现跨域 2.4 添加 CorsWebFilter 来解决跨域问题 1.跨域概念 跨域问题是由于浏览器实施了同源策略,该策略要求请求的域名、协议和端口必须与提供资源的服务相同。如果不相同,则需要服务器显式地允许这种跨域请求。一般在springbo

速盾高防cdn是怎么解决网站攻击的?

速盾高防CDN是一种基于云计算技术的网络安全解决方案,可以有效地保护网站免受各种网络攻击的威胁。它通过在全球多个节点部署服务器,将网站内容缓存到这些服务器上,并通过智能路由技术将用户的请求引导到最近的服务器上,以提供更快的访问速度和更好的网络性能。 速盾高防CDN主要采用以下几种方式来解决网站攻击: 分布式拒绝服务攻击(DDoS)防护:DDoS攻击是一种常见的网络攻击手段,攻击者通过向目标网

Jenkins 插件 地址证书报错问题解决思路

问题提示摘要: SunCertPathBuilderException: unable to find valid certification path to requested target...... 网上很多的解决方式是更新站点的地址,我这里修改了一个日本的地址(清华镜像也好),其实发现是解决不了上述的报错问题的,其实,最终拉去插件的时候,会提示证书的问题,几经周折找到了其中一遍博文

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据,由于缓存中没有命中,会去数据库中查询,而数据库中也没有该数据,并且每次查询都不会命中缓存,从而每次请求都直接打到了数据库上,这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器(Bloom Filter)是一种空间效率很高的随机数据结构,它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置,并将这些位置的值置

linux 下Time_wait过多问题解决

转自:http://blog.csdn.net/jaylong35/article/details/6605077 问题起因: 自己开发了一个服务器和客户端,通过短连接的方式来进行通讯,由于过于频繁的创建连接,导致系统连接数量被占用,不能及时释放。看了一下18888,当时吓到了。 现象: 1、外部机器不能正常连接SSH 2、内向外不能够正常的ping通过,域名也不能正常解析。

proxy代理解决vue中跨域问题

vue.config.js module.exports = {...// webpack-dev-server 相关配置devServer: {host: '0.0.0.0',port: port,open: true,proxy: {'/api': {target: `https://vfadmin.insistence.tech/prod-api`,changeOrigin: true,p

解决Office Word不能切换中文输入

我们在使用WORD的时可能会经常碰到WORD中无法输入中文的情况。因为,虽然我们安装了搜狗输入法,但是到我们在WORD中使用搜狗的输入法的切换中英文的按键的时候会发现根本没有效果,无法将输入法切换成中文的。下面我就介绍一下如何在WORD中把搜狗输入法切换到中文。

【Python报错已解决】AttributeError: ‘list‘ object has no attribute ‘text‘

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一、问题描述1.1 报错示例1.2 报错分析1.3 解决思路 二、解决方法2.1 方法一:检查属性名2.2 步骤二:访问列表元素的属性 三、其他解决方法四、总结 前言 在Python编程中,属性错误(At