Gesture recognition by combining spatio-temporal mask and spatial 2D position encoding
Gansen Deng, Wenwen Ding, Chao Yang, Chongyang Ding · Journal of Image and Graphics · 2024
目的在动态手势序列特征提取时，忽略了不同动态手势手指间的相关性，是造成手势识别率不高的重要原因。针对此问题，提出了时空位置编码和掩码的方法进行手势识别，是首次对手部关节点进行空间二维位置编码。方法首先，根据手部关节序列构造时空图，利用关节点平面坐标生成空间二维编码，并与时间轴的一维编码器融合，生成关节点的时空位置编码，可以有效处理空间上的异常姿态同时避免时间上的乱序问题；然后，将时空图按照人体手部生物结构进行分块，通过空间自注意力和空间掩码，获取手指与手指之间的潜在信息。采用时间维度扩张的策略，通过时间自注意力和时间掩码，捕获长时间手指序列动态演变信息。结果在DHG-14/28（dynamic hand gesture 14/28）数据集上，该算法比HPEV（hand posture evolution volume）算法平均识别率高出4.47%，比MS-ISTGCN （multi-stream improved spatio-temporal graph convolutional network）算法平均识别率高出2.71%；在SHREC’17 track数据集上，该算法比HPEV算法平均识别率高出0.47%，利用消融实验证明了本文策略的合理性。结论通过大量实验评估，验证了基于分块和时空位置编码构造出来的模型很好地解决了上述问题，提高了手势识别率。