©2020-2024 ioDraw All rights reserved,
Privacy Policy
MobileNetV3是通过结合硬件感知网络架构搜索(NAS)和NetAdapt算法设计改进而来，这里不讨论网络自动搜索，我们详细解读mobilenetV3的网络结构和代码实现。
深度可分离卷积将标准化卷积分解为逐深度卷积（depthwise convolution）和逐点1x1卷积（pointwise
convolution）。对于MobileNets，逐个深度卷积将单个滤波器应用到每一个输入通道。然后，逐点卷积用1x1卷积来组合不同深度卷积的输出。深度可分离卷积将其分成两层，一层用于滤波，一层用于组合。这种分解过程能极大减少计算量和模型大小。
1.depth-wise convolution (DWconv)
逐深度卷积DWconv是按深度（channel数）逐层卷积获得一个个新的feature map，但是这些新的feature
map并没有空间信息，因为逐深度卷积使用二维卷积对输入每个通道的特征进行卷积，通道与通道是阻断的。为了将空间信息重新注入feature
map，DWconv利用1×1卷积将这些新的feature
map重新组合，由反向BP重新获取空间信息。为了让大家更好的理解，我们从知乎R.JD的文章中截取图片进行讲解。
首先，标准卷积过程从图中可见，输入12×12×3经过5×5×3的卷积得到8×8×1的feature，然后存在256个5×5×3的卷积，所以自然得到8×8×256的feature
map。
我们再来看看DWconv，首先DWconv先将原来的输入12×12×3拆分成12×12×1的单层，这个过程需要用的conv中group参数，后面我们在代码中介绍。然后将5×5×3的kernel也拆分成5×5×1，这样逐层进行卷积可以获得3个8×8×1的feature，可见这3个feature并不具备空间信息。这样的操作只能维持通道数，并不能丰富空间信息。
现在我们已经获取了3个8×8×1的feature，利用3个1×1×1的卷积，可以将feature融合一个8×8×1的新feature，这个新的feature具有原来的3层空间信息，当我们用256个1×1的卷积获也取256个8×8的feature时，也就得到我们图中的8×8×256的feature
map，与标准卷积一样，DWconv也获取了相同规模的feature
map，但过程是完全不同的。DWconv的操作减少了大量的计算与参数，同时它与标准卷积获取的信息量从理解上应该是差不多的。
下面，我们来看看这两种卷积的参数量与计算量。
标准卷积，它的kernel size 是Dk×Dk×M，有N个这样的kernel。所以它的参数量是：
经过卷积后，获得了Dw×Dh×N的feature map，我们知道Dw×Dh中的每个像素都要经过Dk×Dk×M次相乘相加，所以标准卷积的计算量就是：
再来看看DWconv的参数与计算量。DWconv分为两部，第一步是拆分后获取单层feature，很显然，参数量是Dk×Dk×M，计算量是Dk×Dk×M×Dw×Dh。第二步是1×1升维，参数量，因为有N个1×1×M的卷积，所以就是M×N，计算量，M×N×Dw×Dh。
2.激活函数
这个激活函数是从swish改进而来，主要是为了简化swish的计算成本，并最大程度完成swish的功能。有实验来看是有一定的效果的。
3.SE结构
SE block的思想：从空间信息的权重出发，利用feature map经过一系列conv操作获取BP优化后的各层权重。过程：从H×W×C的feature
map经过averagepool变成1×1×C的向量，这个操作过于简单粗暴，但从性能和速度来看却达到了平衡，再经过两次1×1的卷积后，获得1×1×C的权重。最后将原来的feature
map逐层与该向量相乘，获得最终的结果。
4.block
从上图我们可以看到，mobilenet V3 block由以下组成：
1：膨胀，由1×1卷积将原来的feature map膨胀。
2：深度可分离卷积，由3×3卷积核逐层卷积每层特征，在经过1×1卷积融合程新的feature map。
3：se，获取新的feature map后，利用se的注意力机制获取空间权重来优化性能
4：residual，利用残差结构
代码理解
class Block(nn.Module): '''expand + depthwise + pointwise''' def __init__(self,
kernel_size, in_size, expand_size, out_size, nolinear, semodule, stride): super
(Block, self).__init__() self.stride = stride self.se = semodule self.conv1 = nn
.Conv2d(in_size, expand_size, kernel_size=1, stride=1, padding=0, bias=False)
self.bn1 = nn.BatchNorm2d(expand_size) self.nolinear1 = nolinear self.conv2 = nn
.Conv2d(expand_size, expand_size, kernel_size=kernel_size, stride=stride,
padding=kernel_size//2, groups=expand_size, bias=False) self.bn2 = nn.
BatchNorm2d(expand_size) self.nolinear2 = nolinear self.conv3 = nn.Conv2d(
expand_size, out_size, kernel_size=1, stride=1, padding=0, bias=False) self.bn3
= nn.BatchNorm2d(out_size) self.shortcut = nn.Sequential() if stride == 1 and
in_size!= out_size: self.shortcut = nn.Sequential( nn.Conv2d(in_size, out_size,
kernel_size=1, stride=1, padding=0, bias=False), nn.BatchNorm2d(out_size), ) def
forward(self, x): out = self.nolinear1(self.bn1(self.conv1(x))) out = self.
nolinear2(self.bn2(self.conv2(out))) out = self.bn3(self.conv3(out)) if self.se
!= None: out = self.se(out) out = out + self.shortcut(x) if self.stride==1 else
outreturn out
我们主要根据上面讲的Block结构来分析代码如何实现的。self.conv1很显然是膨胀操作，将原来的feature
map膨胀到指定通道数，self.nolinear1 =
nolinear，nolinear是激活函数，是由形参传入可以是hswish与hsigmoid。self.conv2进行逐层卷积，大家看到group这个参数，group=膨胀通道数，意味着将H×W×C分成了C个H×W×1来分别进行卷积，这样才能实现深度可分离的操作。self.conv3实现空间重组，与此同时加入se机制。然后再stride=1的条件下做残差。
关于速度的思考
在速度方面，经过大量实验，发现在算力足够的GPU平台上，MobileNet不会带来任何速度上的提升（有时甚至是下降的），然而在计算能力有限的平台上，MobileNet能让速度提升三倍以上。
那么，为什么GPU上表现乏力的GPU，到CPU上反而一骑绝尘了呢？我们要了解几个概念，计算量与访存量以及计算强度。
计算量： 指的是输入单个样本（对于CNN而言就是一张图像），模型进行一次完整的前向传播所发生的浮点运算个数，也即模型的时间复杂度。单位是 #FLOP or
FLOPs。也就是我们上面计算的浮点计算数。
访存量：
指的是输入单个样本，模型完成一次前向传播过程中所发生的内存交换总量，也即模型的空间复杂度。在理想情况下（即不考虑片上缓存），模型的访存量就是模型各层权重参数的内存占用（Kernel
Mem）与每层所输出的特征图的内存占用（Output Mem）之和。单位是Byte。由于数据类型通常为float32 ，因此需要乘以四。
计算强度：
由计算量除以访存量就可以得到模型的计算强度，它表示此模型在计算过程中，每Byte内存交换到底用于进行多少次浮点运算。单位是FLOPs/Byte。可以看到，模计算强度越大，其内存使用效率越高。
Mobilenet计算量与访存量都很小，相较于VGG等模型，他的计算强度较低，当采用GPU算力高的机器计算时，Mobilenet会处于Memory-bound区域，即GPU的访存跟不上，导致算力无法充分发挥。而CPU算力有限（每秒提供的FLOPS有限），配合CPU的访存量，Mobilenet可以达到CPU算力理论峰值。因此，Mobilenet在CPU端可以运行得更快。