Norm

深度学习正则化(L1 norm/L2 norm)以及dropout理解

正则化知识其实是深度学习领域较为基础的知识点，初入此门的时候受限于正则化三个字的逼格，一直不求甚解；后期虽然了解但也仅限于L1和L2范数而已。恰巧上周在谢毅博士的课上旁听，讲到多拟合相关知识，后续和捷文讨论transformer内部的dropout为何还广泛使用，由此总结下正则化相关内容。1、...
2022-05-20 14:09 阅读数 160

到底什么是L2 Norm

最近复现论文有这么一个结构：池化之后有一个l2-norm。norm是normalization的缩写。ok，看看这是啥标准化？正规化？归一化？…正确答案L2归一化：将一组数变成0-1之间。pytorch调用的函数是F.normalization。文档是这样写的：对于L2来说，p=2，分母就是(...
2019-01-18 19:31 阅读数 244
技术
下载桌面版
GitHub
百度网盘（提取码：draw）
Gitee
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱：[email protected]
QQ群：766591547
关注微信
©2020-2024 ioDraw All rights reserved, Privacy Policy