Action recognition using ensembling of different distillation-trained spatial-temporal graph convolution models
Qingshan Yang, Tai‐Jiang Mu · Journal of Image and Graphics · 2022
目的基于深度学习的动作识别方法识别准确率显著提升，但仍然存在很多挑战和困难。现行方法在一些训练数据大、分类类别多的数据集以及实际应用中鲁棒性较差，而且许多方法使用的模型参数量较大、计算复杂，提高模型准确度和鲁棒性的同时对模型进行轻量化仍然是一个重要的研究方向。为此，提出了一种基于知识蒸馏的轻量化时空图卷积动作识别融合模型。方法改进最新的时空卷积网络，利用分组卷积等设计参数量较少的时空卷积子模型; 为了训练该模型，选取两个现有的基于全卷积的模型作为教师模型在数据集上训练，在得到训练好的教师模型后，再利用知识蒸馏的方法结合数据增强技术训练参数量较少的时空卷积子模型; 利用线性融合的方法将知识蒸馏训练得到的子模型融合得到最终的融合模型。结果在广泛使用的NTU RGB + D数据集上与前沿的多种方法进行了比较，在CS(cross-subject)和CV(cross-view)两种评估标准下, 本文模型的准确率分别为90.9 %和96.5 %，与教师模型2s-AGCN(two-stream adaptive graph convolutional networks for skeleton-based action)相比，分别提高了2.4 %和1.4 %; 与教师模型DGNN(directed graph neural network)相比，分别提高了1.0 %和0.4 %; 与MS-AAGCN(multi-stream attention-enhanced adaptive graph convolutional neural network)模型相比，分别提高了0.9 %和0.3 %。结论本文提出的融合模型，综合了知识蒸馏、数据增强技术和模型融合的优点，使动作识别更加准确和鲁棒。