Convolution network pruning based on the evaluation of the importance of characteristic attributions
彪 ZHANG, 朋波 YANG, 基韬 SANG, 剑 YU · Scientia Sinica Informationis · 2020
近几年, 深度模型在诸多任务中取得了巨大成功, 但是深度模型需要大量的存储和计算资源实现精确决策, 研究者为了将深度模型应用到资源受限的终端设备中, 设计了模型压缩的优化策略来降低模型占存和计算量. 本文基于剪枝压缩框架, 从卷积核重要度评价的角度提出了两种模型剪枝算法. (1)由于每个卷积核都可以学习到其独有特征信息, 因此本文提出了一种归因评价机制用于评价卷积核所学特征与因果特征的相关度, 将模型中与因果特征相关度较低的卷积核进行裁剪, 以实现模型压缩的目的, 同时也能够保留原模型的归因特征, 称此算法为归因剪枝. (2)第2种剪枝算法基于迭代优化剪枝框架, 采用卷积通道和梯度中正相关特征评价相应卷积核重要度, 以便于提高剪枝冗余卷积核的精准度, 称为Taylor-guided 剪枝算法. 本文在 VGGNet 和 ResNet 两种网络架构上进行实验验证, 结果表明: 归因剪枝算法可以极大地保留原模型的归因特征; 并且两种剪枝算法能够取得比当前主流剪枝算法更优异的压缩效果.