pytorch 中detach() 和 with torch.no_grad()和eval()

本文主要是介绍pytorch 中detach() 和 with torch.no_grad()和eval()，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

detach() 和 torch.no_grad() 都可以实现相同的效果，只是前者会麻烦一点，对每一个变量都要加上，而后者就不用管了:

- detach() 会返回一个新的Tensor对象，不会在反向传播中出现，是相当于复制了一个变量，将它原本requires_grad=True变为了requires_grad=False

- torch.no_grad() 通常是在推断(inference)的时候，用来禁止梯度计算，仅进行前向传播。在训练过程中，就像画了个圈，来，在我这个圈里面跑一下，都不需要计算梯度，就正向传播一下。
 

而model.eval()和torch.no_grad()两者都用，因为两者有着不同的作用：

- torch.no_grad()：在autograd中禁用梯度跟踪

- model.eval()：更改所调用模块的forward()行为。例如，它禁用dropout，并使用测试时bn norm

这篇关于pytorch 中detach() 和 with torch.no_grad()和eval()的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---