深度学习代码|MSE损失的代码实现

2024-04-01 04:12

本文主要是介绍深度学习代码|MSE损失的代码实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 一、MSE代码手动实现
    • (一)导入相关库
    • (二)计算均方误差损失函数
    • (三)示例使用
  • 二、Pytorch中MSELoss函数的接口
    • (一)参数
    • (二)使用示例
    • (三)反向传播


一、MSE代码手动实现

(一)导入相关库

NumPy 是 Python 语言的一个第三方库,支持大量高维度数组与矩阵运算。此外,NumPy 也针对数组运算提供大量的数学函数。机器学习涉及到大量对数组的变换和运算,NumPy 就成了必不可少的工具之一。

import numpy as np

(二)计算均方误差损失函数

参数:

  • y_true:真实值的数组,可以是一维或多维
  • y_pred:预测值的数组,形状应与y_true相同

返回:

  • loss:计算得到的loss值
def mse_loss(y_true,y_pred):#计算真实值和预测值之间的差异diff=y_true-y_pred#计算差值的平方sq_diff=np.square(diff)#计算均方误差,即平方差的平均值#使用np.mean计算平均值,axis=0表示沿着第一个轴(通常是样本维度)计算loss=np.mean(sq_diff,axis=0)return loss

(三)示例使用

y_true=np.arrray([1,2,3,4])
y_pred=np.array([1.5,2.1,2.9,4.2])loss=mse_loss(y_true,y_pred)
print("MSE Loss:",loss)

二、Pytorch中MSELoss函数的接口

该函数默认用于计算两个输入对应元素差值平方和的均值。具体地,在深度学习中,可以使用该函数用来计算两个特征图的相似性。

torch.nn.MSELoss(size_average=None, reduce=None, reduction=‘mean’)

(一)参数

  • 当reduce=True时,若size_average=True,则返回一个batch中所有样本损失的均值,结果为标量。注意,对于MESLoss函数来说,首先对该batch中的所有样本损失进行逐元素均值操作,然后对得到N个值再进行均值操作即得到返回值(假设批大小为N,即该batch中共有N个样本)
  • 当reduce=True时,若size_average=False,则返回一个batch中所有样本损失的和,结果为标量。注意,对于MESLoss函数来说,首先对该batch中的所有样本损失进行逐元素求和操作,然后对得到N个值再进行求和操作即得到返回值(假设批大小为N,即该batch中共有N个样本)
  • 当reduce=False时,则size_average参数失效,即无论size_average参数为False还是True,效果都是一样的。此时,函数返回的是一个batch中每个样本的损失,结果为向量。
  • reduction参数包含了reduce和size_average参数的双重含义,这也是为什么reduce和size_average参数将在后续版本中被弃用的原因。

(二)使用示例

首先假设有三个数据样本分别经过神经网络运算,得到三个输出与其标签分别是:

y_pre = torch.Tensor([[1, 2, 3],[2, 1, 3],[3, 1, 2]])y_label = torch.Tensor([[1, 0, 0],[0, 1, 0],[0, 0, 1]])

当reduction=‘none’时,相当于reduce=False;

criterion1 = nn.MSELoss(reduction="none")
loss1 = criterion1(x, y)
print(loss1)

输出结果为:

tensor([[0., 4., 9.],
[4., 0., 9.],
[9., 1., 1.]])

当reduction=‘sum’时,相当于reduce=True且size_average=False;

criterion2 = nn.MSELoss(reduction="mean")
loss2 = criterion2(x, y)
print(loss2)

输出结果为:

tensor(4.1111)

当reduction=‘mean’时,相当于reduce=True且size_average=True;

criterion3 = nn.MSELoss(reduction="sum")
loss3 = criterion3(x, y)
print(loss3)

输出结果为:

tensor(37.)

(三)反向传播

一般在反向传播时,都是先求loss,再使用loss.backward()求loss对每个参数 w_ij和b的偏导数(也可以理解为梯度)。但是只有标量才能执行backward()函数,因此在反向传播中reduction不能设为"none"。

  • 若设置为"sum",则有Loss=loss_1+loss_2+loss_3,表示总的Loss由每个实例的loss_i构成,在通过Loss求梯度时,将每个loss_i的梯度也都考虑进去了。
  • 若设置为"mean",则相比"sum"相当于Loss变成了Loss*(1/i),这在参数更新时影响不大,因为有学习率a的存在。

如果只想在batch上做平均,可以这样写:

loss_fn = torch.nn.MSELoss(reduction="sum")
loss = loss_fn(pred, y) / pred.size(0)

参考:
手撕算法面试二,手撕MSE损失
pytorch官网介绍
【PyTorch】MSELoss的详细理解(含源代码)

这篇关于深度学习代码|MSE损失的代码实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/866178

相关文章

Python Transformers库(NLP处理库)案例代码讲解

《PythonTransformers库(NLP处理库)案例代码讲解》本文介绍transformers库的全面讲解,包含基础知识、高级用法、案例代码及学习路径,内容经过组织,适合不同阶段的学习者,对... 目录一、基础知识1. Transformers 库简介2. 安装与环境配置3. 快速上手示例二、核心模

python实现svg图片转换为png和gif

《python实现svg图片转换为png和gif》这篇文章主要为大家详细介绍了python如何实现将svg图片格式转换为png和gif,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录python实现svg图片转换为png和gifpython实现图片格式之间的相互转换延展:基于Py

Python利用ElementTree实现快速解析XML文件

《Python利用ElementTree实现快速解析XML文件》ElementTree是Python标准库的一部分,而且是Python标准库中用于解析和操作XML数据的模块,下面小编就来和大家详细讲讲... 目录一、XML文件解析到底有多重要二、ElementTree快速入门1. 加载XML的两种方式2.

Java的栈与队列实现代码解析

《Java的栈与队列实现代码解析》栈是常见的线性数据结构,栈的特点是以先进后出的形式,后进先出,先进后出,分为栈底和栈顶,栈应用于内存的分配,表达式求值,存储临时的数据和方法的调用等,本文给大家介绍J... 目录栈的概念(Stack)栈的实现代码队列(Queue)模拟实现队列(双链表实现)循环队列(循环数组

C++如何通过Qt反射机制实现数据类序列化

《C++如何通过Qt反射机制实现数据类序列化》在C++工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作,所以本文就来聊聊C++如何通过Qt反射机制实现数据类序列化吧... 目录设计预期设计思路代码实现使用方法在 C++ 工程中经常需要使用数据类,并对数据类进行存储、打印、调试等操作。由于数据类

Python实现图片分割的多种方法总结

《Python实现图片分割的多种方法总结》图片分割是图像处理中的一个重要任务,它的目标是将图像划分为多个区域或者对象,本文为大家整理了一些常用的分割方法,大家可以根据需求自行选择... 目录1. 基于传统图像处理的分割方法(1) 使用固定阈值分割图片(2) 自适应阈值分割(3) 使用图像边缘检测分割(4)

Android实现在线预览office文档的示例详解

《Android实现在线预览office文档的示例详解》在移动端展示在线Office文档(如Word、Excel、PPT)是一项常见需求,这篇文章为大家重点介绍了两种方案的实现方法,希望对大家有一定的... 目录一、项目概述二、相关技术知识三、实现思路3.1 方案一:WebView + Office Onl

C# foreach 循环中获取索引的实现方式

《C#foreach循环中获取索引的实现方式》:本文主要介绍C#foreach循环中获取索引的实现方式,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、手动维护索引变量二、LINQ Select + 元组解构三、扩展方法封装索引四、使用 for 循环替代

Spring Security+JWT如何实现前后端分离权限控制

《SpringSecurity+JWT如何实现前后端分离权限控制》本篇将手把手教你用SpringSecurity+JWT搭建一套完整的登录认证与权限控制体系,具有很好的参考价值,希望对大家... 目录Spring Security+JWT实现前后端分离权限控制实战一、为什么要用 JWT?二、JWT 基本结构

Java实现优雅日期处理的方案详解

《Java实现优雅日期处理的方案详解》在我们的日常工作中,需要经常处理各种格式,各种类似的的日期或者时间,下面我们就来看看如何使用java处理这样的日期问题吧,感兴趣的小伙伴可以跟随小编一起学习一下... 目录前言一、日期的坑1.1 日期格式化陷阱1.2 时区转换二、优雅方案的进阶之路2.1 线程安全重构2