torch.nn.CrossEntropyLoss

2023-11-02 04:48
文章标签 torch nn crossentropyloss

本文主要是介绍torch.nn.CrossEntropyLoss,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

1.说明

交叉熵损失函数是神经网路中比较有用的函数,作用是为了计算出初始化的 y 和实际标签 label 的差别。

torch.nn.CrossEntropyLoss(weight=None, size_average=None, ignore_index=- 100, reduce=None, reduction='mean', label_smoothing=0.0)
  • 公式:
    l ( x , y ) = L = { l 1 , . . . , l N } T (1) l(x,y)=L=\{l_1,...,l_N\}^T\tag{1} l(x,y)=L={l1,...,lN}T(1)
    l n = − w y n log ⁡ exp ⁡ ( x n , y n ) ∑ c = 1 C exp ⁡ ( x n , c ) ⋅ 1 { y n ≠ i g n o r _ i n d e x } (2) l_n=-w_{yn}\log{\frac{\exp(x_{n,yn})}{\sum_{c=1}^C\exp(x_{n,c})}}·1\{y_n ≠ignor\_index\}\tag{2} ln=wynlogc=1Cexp(xn,c)exp(xn,yn)1{yn=ignor_index}(2)
    在这里插入图片描述
  • mean : 求得损失的均值
  • sum : 求得损失的和
  • none: 求得损失

2. 代码

# -*- coding: utf-8 -*-
# @Project: zc
# @Author: zc
# @File name: CrossEntropyLoss_Test
# @Create time: 2022/1/3 10:07# 1. 导入相关数据库
import torch
from torch.nn import functional as F# 2.定义一个初始化的 y_out
y_out = torch.Tensor([[1, 2, 3], [3, 4, 1]])# 3.定义一个目标张量 target
target = torch.LongTensor([0, 1])# 4.定义交叉熵损失,reduction用默认的,reduction='mean',
# 返回交叉熵损失的均值,最后得到一个张量 (L1+L2)/2
loss_defaut = F.cross_entropy(y_out, target)# 5.定义交叉熵损失,reduction='mean',返回交叉熵损失的均值,最后得到一个张量 (L1+L2)/2
loss_mean = F.cross_entropy(y_out, target, reduction='mean')# 6.定义交叉熵损失,reduction='sum',返回交叉熵损失的和,最后得到一个张量L1+L2
loss_sum = F.cross_entropy(y_out, target, reduction='sum')# 7.定义交叉熵损失,reduction='none',返回交叉熵损失,一个元祖(L1,L2)
loss_none = F.cross_entropy(y_out, target, reduction='none')
print(f'y_out={y_out}')
print(f'target={target}')
print(f'loss_defaut={loss_defaut}')
print(f'loss_mean={loss_mean}')
print(f'loss_sum={loss_sum}')
print(f'loss_none={loss_none}')

3. 结果

y_out=tensor([[1., 2., 3.],[3., 4., 1.]])
target=tensor([0, 1])
loss_defaut=1.3783090114593506
loss_mean=1.3783090114593506
loss_sum=2.756618022918701
loss_none=tensor([2.4076, 0.3490])

这篇关于torch.nn.CrossEntropyLoss的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/328225

相关文章

Nn criterions don’t compute the gradient w.r.t. targets error「pytorch」 (debug笔记)

Nn criterions don’t compute the gradient w.r.t. targets error「pytorch」 ##一、 缘由及解决方法 把这个pytorch-ddpg|github搬到jupyter notebook上运行时,出现错误Nn criterions don’t compute the gradient w.r.t. targets error。注:我用

pytorch torch.nn.functional.one_hot函数介绍

torch.nn.functional.one_hot 是 PyTorch 中用于生成独热编码(one-hot encoding)张量的函数。独热编码是一种常用的编码方式,特别适用于分类任务或对离散的类别标签进行处理。该函数将整数张量的每个元素转换为一个独热向量。 函数签名 torch.nn.functional.one_hot(tensor, num_classes=-1) 参数 t

torch.nn 与 torch.nn.functional的区别?

区别 PyTorch中torch.nn与torch.nn.functional的区别是:1.继承方式不同;2.可训练参数不同;3.实现方式不同;4.调用方式不同。 1.继承方式不同 torch.nn 中的模块大多数是通过继承torch.nn.Module 类来实现的,这些模块都是Python 类,需要进行实例化才能使用。而torch.nn.functional 中的函数是直接调用的,无需

torch.backends.cudnn.benchmark和torch.use_deterministic_algorithms总结学习记录

经常使用PyTorch框架的应该对于torch.backends.cudnn.benchmark和torch.use_deterministic_algorithms这两个语句并不陌生,在以往开发项目的时候可能专门化花时间去了解过,也可能只是浅尝辄止简单有关注过,正好今天再次遇到了就想着总结梳理一下。 torch.backends.cudnn.benchmark 是 PyTorch 中的一个设置

力士乐驱动主板CSB01.1N-SE-ENS-NNN-NN-S-N-FW

力士乐驱动主板CSB01.1N-SE-ENS-NNN-NN-S-N-FW ‌力士乐驱动器的使用说明主要涉及软件安装、参数配置、PID调节等方面。‌  ‌软件安装‌:安装过程涉及多个步骤,首先需要打开安装文件夹中的CD1,双击setup.exe进行安装。在安装过程中,需要选择语言、接受许可协议、输入安装名称、选择安装目录等。整个安装过程可能需要10多分钟,取决于电脑性能。安装完成后,需要重启计算

【稀疏矩阵】使用torch.sparse模块

文章目录 稀疏矩阵的格式coocsrcsc Construction of Sparse COO tensorsConstruction of CSR tensorsLinear Algebra operations(稀疏与稠密之间混合运算)Tensor methods and sparse(与稀疏有关的tensor成员函数)coo张量可用的tensor成员函数(经实测,csr也有一些可以用

【PyTorch】深入解析 `with torch.no_grad():` 的高效用法

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 引言一、`with torch.no_grad():` 的作用二、`with torch.no_grad():` 的原理三、`with torch.no_grad():` 的高效用法3.1 模型评估3.2 模型推理3.3

【PyTorch常用库函数】torch.add():张量的加法操作

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 前言一 、torch.add()函数的基本用法二、示例演示示例1:两个相同形状的一维张量相加示例2:两个不同形状的一维张量相加(错误示例)示例3:使用alpha参数进行加权加法 结尾 前言 PyTorch作为一

PyTorch常用库函数:torch.acos()的详解实战使用

🎬 鸽芷咕:个人主页  🔥 个人专栏: 《C++干货基地》《粉丝福利》 ⛺️生活的理想,就是为了理想的生活! 文章目录 引言一、函数简介1.2 函数语法1.3 参数说明 二、 示例代码2.1 注意事项 总结 引言 PyTorch 是一个流行的深度学习框架,它提供了丰富的库函数,用于处理张量(多维数组)的各种操作。在科学计算和深度

Tensorflow 中train和test的batchsize不同时, 如何设置: tf.nn.conv2d_transpose

大家可能都知道, 在tensorflow中, 如果想实现测试时的batchsize大小随意设置, 那么在训练时, 输入的placeholder的shape应该设置为[None, H, W, C]. 具体代码如下所示: # Placeholders for input data and the targetsx_input = tf.placeholder(dtype=tf.float32, s