本文主要是介绍到底什么是L2 Norm,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
最近复现论文有这么一个结构:
池化之后有一个l2-norm
。norm
是normalization
的缩写。Ok,看看这是啥:
标准化?正规化?归一化?…
正确答案
L2归一化:将一组数变成0-1之间。pytorch
调用的函数是F.normalize
。文档是这样写的:
对于L2来说,p=2,分母就是 ( x 1 2 + x 2 2 + . . . + x n 2 ) \sqrt{( x_1^2 + x_2^2 + ... +x_n^2)} (x12+x22+...+xn2),分子是 x i x_i xi。所以如果有一个tensor长这样:
20.2 20. 2 2 + 30. 3 2 = 0.5547001962252291 \frac{20.2}{\sqrt{20.2^2+30.3^2}}=0.5547001962252291 20.22+30.3220.2=0.5547001962252291
30.3 20. 2 2 + 30. 3 2 = 0.8320502943378437 \frac{30.3}{\sqrt{20.2^2+30.3^2}}=0.8320502943378437 20.22+30.3230.3=0.8320502943378437
40.4 40. 4 2 + 50. 5 2 = 0.6246950475544243 \frac{40.4}{\sqrt{40.4^2+50.5^2}}=0.6246950475544243 40.42+50.5240.4=0.6246950475544243
50.5 40. 4 2 + 50. 5 2 = 0.7808688094430304 \frac{50.5}{\sqrt{40.4^2+50.5^2}}=0.7808688094430304 40.42+50.5250.5=0.7808688094430304
现在我们来验证一下:
嘻嘻,666!
这篇关于到底什么是L2 Norm的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!