Greedy pruning of deep neural networks fused with probability distribution
Jun Hu, Qipeng Huang, Jiaxin Liu, Wei Liu, Huai Yuan, Hong Zhao · Journal of Image and Graphics · 2021
目的深度学习在自动驾驶环境感知中的应用，将极大提升感知系统的精度和可靠性，但是现有的深度学习神经网络模型因其计算量和存储资源的需求难以部署在计算资源有限的自动驾驶嵌入式平台上。因此为解决应用深度神经网络所需的庞大计算量与嵌入式平台有限的计算能力之间的矛盾，提出了一种基于权重的概率分布的贪婪网络剪枝方法，旨在减少网络模型中的冗余连接，提高模型的计算效率。方法引入权重的概率分布，在训练过程中记录权重参数中较小值出现的概率。在剪枝阶段，依据训练过程中统计的权重概率分布进行增量剪枝和网络修复，改善了目前仅以权重大小为依据的剪枝策略。结果经实验验证，在Cifar10数据集上，在各个剪枝率下本文方法相比动态网络剪枝策略的准确率更高。在ImageNet数据集上，此方法在较小精度损失的情况下，有效地将AlexNet、VGG（visual geometry group）16的参数数量分别压缩了5.9倍和11.4倍，且所需的训练迭代次数相对于动态网络剪枝策略更少。另外对于残差类型网络ResNet34和ResNet50也可以进行有效的压缩，其中对于ResNet50网络，在精度损失增加较小的情况下，相比目前最优的方法HRank实现了更大的压缩率（2.1倍）。结论基于概率分布的贪婪剪枝策略解决了深度神经网络剪枝的不确定性问题，进一步提高了模型压缩后网络的稳定性，在实现压缩网络模型参数数量的同时保证了模型的准确率。