最近复现论文有这么一个结构:

池化之后有一个l2-norm。norm是normalization的缩写。Ok,看看这是啥:

标准化?正规化?归一化?…

<>正确答案

L2归一化:将一组数变成0-1之间。pytorch调用的函数是F.normalize。文档是这样写的:

对于L2来说,p=2,分母就是 ( x 1 2 + x 2 2 + . . . + x n 2 ) \sqrt{( x_1^2 + x_2^2 + ...
+x_n^2)}(x12​+x22​+...+xn2​) ​,分子是 x i x_i xi​。所以如果有一个tensor长这样:

20.2 20. 2 2 + 30. 3 2 = 0.5547001962252291
\frac{20.2}{\sqrt{20.2^2+30.3^2}}=0.554700196225229120.22+30.32 ​20.2​=0.5547001
962252291
30.3 20. 2 2 + 30. 3 2 = 0.8320502943378437
\frac{30.3}{\sqrt{20.2^2+30.3^2}}=0.832050294337843720.22+30.32 ​30.3​=0.8320502
943378437
40.4 40. 4 2 + 50. 5 2 = 0.6246950475544243
\frac{40.4}{\sqrt{40.4^2+50.5^2}}=0.624695047554424340.42+50.52 ​40.4​=0.6246950
475544243
50.5 40. 4 2 + 50. 5 2 = 0.7808688094430304
\frac{50.5}{\sqrt{40.4^2+50.5^2}}=0.780868809443030440.42+50.52 ​50.5​=0.7808688
094430304
现在我们来验证一下:

嘻嘻,666!

技术
今日推荐
下载桌面版
GitHub
百度网盘(提取码:draw)
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:[email protected]
QQ群:766591547
关注微信