【易混区分】 tensor张量 Numpy张量的各种矩阵乘法、点积的函数对比 (dot, multiply,*,@matmul)

本文主要是介绍【易混区分】 tensor张量 Numpy张量的各种矩阵乘法、点积的函数对比 (dot, multiply,*,@matmul),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 1 矩阵运算基本概念
    • 1.1 点积
    • 1.2 矩阵乘法
  • 2 dot()
  • 3 multiply() 和 *
  • 4 matmul和@

1 矩阵运算基本概念

1.1 点积

又称为数量积、标量积(scalar product)或者内积(inner product)

它是指实数域中的两个向量运算得到一个实数值标量的二元运算。也就是对应元素的位置相乘

举例:

对于向量 a = ( x 1 , y 1 ) 和 b = ( x 2 , y 2 ) ,他们的点积就是 a ⋅ b = x 1 x 2 + y 1 y 2 a=(x_1,y_1)和b=(x_2,y_2),他们的点积就是a·b=x_1x_2+y_1y_2 a=(x1,y1)b=(x2,y2),他们的点积就是ab=x1x2+y1y2

1.2 矩阵乘法

两个运算的矩阵需要满足矩阵乘法规则,即需要前一个矩阵的列和后一个矩阵的行相等

一般我们用矩阵运算

就是Numpy的ndarray和torch的tensor张量 两种矩阵形式进行运算

他们大体相同,有一些小的差异,比如numpy的dot可以实现高维度的矩阵乘法但是torch的dot不可以

下表详细比较了他们之间的差异

运算形式实现结果返回结果
dot函数numpy.dot(a,b) torch.dot(a,b)numpy的dot 可以实现一维度点积及高唯度的矩阵乘法,而torch的dot只能实现一维度点积,不能实现高维度矩阵乘法(报错RuntimeError: 1D tensors expected, but got 2D and 2D tensors)对应位置会加起来,往往返回会是一个数字
multiply()函数 等价于 *numpy.multiply(a,b) torch.multiply(a,b) a*b点乘(和dot不同的是乘完之后不会加起来)返回往往是一个矩阵,两个矩阵必须形状一致对应位置乘完之后不会加起来,往往返回是一个矩阵
matmul()函数等价于@numpy.matmul(a,b) torch.matmul(a,b) 或者torch.mm(a,b) a@b矩阵乘法往往返回是一个矩阵

具体看下面的例子

2 dot()

numpy和torch的dot 可以用在一维的数组相乘,此时相当于两个数组的点积。

例1

import numpy as np
a=np.array([1,2,3])
b=np.array([2,3,4])
print(np.dot(a,b))

输出

20

numpy的dot也可以用在多维数组的相乘,此时是矩阵乘法,所以需要满足矩阵乘法的运算规则,需要前一个矩阵的列和后一个矩阵的行相等

例2

import numpy as np
a=np.array([[1,2,3],[1,2,3]])
b=np.array([[2,3],[3,4],[5,6]])
print(np.dot(a,b))

输出

[[23 29]
[23 29]]

但是torch的dot就会报错

例3

a=torch.tensor([[1,2,3,4],[1,2,3,4]])
b=torch.tensor([[5,6],[7,8],[5,6],[7,8]])
print(a.ndim,b.ndim)
print(torch.dot(a,b))

输出

RuntimeError: 1D tensors expected, but got 2D and 2D tensors

3 multiply() 和 *

两个运算都是相当于点乘,可以实现一维或高维度的点积,参与运算的两个矩阵必须形状一致

(和dot不同的是乘完之后不会加起来)返回往往是一个矩阵

import numpy as np
a=np.array([[1,2,3],[1,2,3]])
b=np.array([[2,3,4],[3,4,5]],)
print("multiply:")
print(np.multiply(a,b))
print("*:")
print(a*b)

输出

multiply:
[[ 2 6 12]
[ 3 8 15]]
*:
[[ 2 6 12]
[ 3 8 15]]

4 matmul和@

matmul 是matrix multiply的缩写,专门用于矩阵乘法,需要满足矩阵乘法的运算规则,需要前一个矩阵的列和后一个矩阵的行相等

import numpy as np
a=np.array([[1,2,3],[1,2,3]])
b=np.array([[2,3],[3,4],[5,6]])
print("matmul:")
print(np.matmul(a,b))
print("@:")
print(a@b)

输出

matmul:
[[23 29]
[23 29]]
@:
[[23 29]
[23 29]]

注意这里的行向量可以列向量,比如

a=np.array([[1,2,3],
[1,2,3]])
b=np.array([2,3,4])

我们如果把b看做1行3列的矩阵,则运算不符合运算规则,但是如果看做3行1列的矩阵,则它是正确的,即2*3 × 3 * 1=2 * 1 即最后会输出一维的向量

import numpy as np
a=np.array([[1,2,3],[1,2,3]])
b=np.array([2,3,4])
print("matmul:")
print(np.matmul(a,b))

输出

matmul:
[20 20]

在PyTorch中,有几种执行矩阵乘法的方式,包括torch.matmultorch.mm@运算符。这些方法之间有一些区别,让我们逐个解释它们:

  1. torch.matmul:

    • torch.matmul是PyTorch中用于执行矩阵乘法的通用函数。
    • 它支持广播(broadcasting),可以处理不同形状的输入矩阵。
    • 对于两个二维矩阵,torch.matmul等效于矩阵乘法。
    • 对于高维张量,torch.matmul会在合适的维度上进行广播,以进行张量间的乘法。
    import torchA = torch.tensor([[1, 2], [3, 4]])
    B = torch.tensor([[5, 6], [7, 8]])result = torch.matmul(A, B)
    
  2. torch.mm:

    • torch.mm是专门用于两个二维矩阵相乘的函数,不支持广播。
    • 输入的两个矩阵必须是二维的,并且符合矩阵乘法的规则。
    import torchA = torch.tensor([[1, 2], [3, 4]])
    B = torch.tensor([[5, 6], [7, 8]])result = torch.mm(A, B)
    
  3. @运算符:

    • @运算符在PyTorch中被重载,用于执行矩阵乘法。
    • 类似于torch.matmul,它支持广播操作。
    import torchA = torch.tensor([[1, 2], [3, 4]])
    B = torch.tensor([[5, 6], [7, 8]])result = A @ B
    

总结:

  • 如果你希望使用通用的矩阵乘法函数,并且想要支持广播,可以使用torch.matmul@运算符。
  • 如果你知道你的输入是二维矩阵且不需要广播,可以使用torch.mm
  • 通常来说,推荐使用torch.matmul@运算符,因为它们更通用,而torch.mm仅限于二维矩阵。

这篇关于【易混区分】 tensor张量 Numpy张量的各种矩阵乘法、点积的函数对比 (dot, multiply,*,@matmul)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/642413

相关文章

hdu1171(母函数或多重背包)

题意:把物品分成两份,使得价值最接近 可以用背包,或者是母函数来解,母函数(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v)(1 + x^v+x^2v+.....+x^num*v) 其中指数为价值,每一项的数目为(该物品数+1)个 代码如下: #include<iostream>#include<algorithm>

hdu 4565 推倒公式+矩阵快速幂

题意 求下式的值: Sn=⌈ (a+b√)n⌉%m S_n = \lceil\ (a + \sqrt{b}) ^ n \rceil\% m 其中: 0<a,m<215 0< a, m < 2^{15} 0<b,n<231 0 < b, n < 2^{31} (a−1)2<b<a2 (a-1)^2< b < a^2 解析 令: An=(a+b√)n A_n = (a +

C++操作符重载实例(独立函数)

C++操作符重载实例,我们把坐标值CVector的加法进行重载,计算c3=c1+c2时,也就是计算x3=x1+x2,y3=y1+y2,今天我们以独立函数的方式重载操作符+(加号),以下是C++代码: c1802.cpp源代码: D:\YcjWork\CppTour>vim c1802.cpp #include <iostream>using namespace std;/*** 以独立函数

函数式编程思想

我们经常会用到各种各样的编程思想,例如面向过程、面向对象。不过笔者在该博客简单介绍一下函数式编程思想. 如果对函数式编程思想进行概括,就是f(x) = na(x) , y=uf(x)…至于其他的编程思想,可能是y=a(x)+b(x)+c(x)…,也有可能是y=f(x)=f(x)/a + f(x)/b+f(x)/c… 面向过程的指令式编程 面向过程,简单理解就是y=a(x)+b(x)+c(x)

免费也能高质量!2024年免费录屏软件深度对比评测

我公司因为客户覆盖面广的原因经常会开远程会议,有时候说的内容比较广需要引用多份的数据,我记录起来有一定难度,所以一般都用录屏工具来记录会议内容。这次我们来一起探索有什么免费录屏工具可以提高我们的工作效率吧。 1.福晰录屏大师 链接直达:https://www.foxitsoftware.cn/REC/  录屏软件录屏功能就是本职,这款录屏工具在录屏模式上提供了多种选项,可以选择屏幕录制、窗口

hdu 6198 dfs枚举找规律+矩阵乘法

number number number Time Limit: 2000/1000 MS (Java/Others)    Memory Limit: 32768/32768 K (Java/Others) Problem Description We define a sequence  F : ⋅   F0=0,F1=1 ; ⋅   Fn=Fn

利用matlab bar函数绘制较为复杂的柱状图,并在图中进行适当标注

示例代码和结果如下:小疑问:如何自动选择合适的坐标位置对柱状图的数值大小进行标注?😂 clear; close all;x = 1:3;aa=[28.6321521955954 26.2453660695847 21.69102348512086.93747104431360 6.25442246899816 3.342835958564245.51365061796319 4.87

OpenCV结构分析与形状描述符(11)椭圆拟合函数fitEllipse()的使用

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C++11 算法描述 围绕一组2D点拟合一个椭圆。 该函数计算出一个椭圆,该椭圆在最小二乘意义上最好地拟合一组2D点。它返回一个内切椭圆的旋转矩形。使用了由[90]描述的第一个算法。开发者应该注意,由于数据点靠近包含的 Mat 元素的边界,返回的椭圆/旋转矩形数据

Unity3D 运动之Move函数和translate

CharacterController.Move 移动 function Move (motion : Vector3) : CollisionFlags Description描述 A more complex move function taking absolute movement deltas. 一个更加复杂的运动函数,每次都绝对运动。 Attempts to

✨机器学习笔记(二)—— 线性回归、代价函数、梯度下降

1️⃣线性回归(linear regression) f w , b ( x ) = w x + b f_{w,b}(x) = wx + b fw,b​(x)=wx+b 🎈A linear regression model predicting house prices: 如图是机器学习通过监督学习运用线性回归模型来预测房价的例子,当房屋大小为1250 f e e t 2 feet^