A dataset of three-dimensional motion for Dunhuang Dance based on human pose estimation
Yuezhou ZHANG, Xiangzhen He, Xiang‐He Meng, Shuaishuai LI, Jiaxin Wang, Xue BAI, Mengdi Ma, Zhenjie Liu, Ning Chen, Hao Henry Wang, Lindong WU, Xihong Luo · China Scientific Data · 2025
敦煌舞是中华民族传统文化的艺术瑰宝, 它来源于敦煌壁画, 是敦煌文化的重要组成元素, 它的数字化保存、展示与研究具有重要意义。为推进敦煌舞的数字化进程与发展, 本研究提出将敦煌舞与三维人体姿态估计技术相结合, 设计了一个敦煌舞三维人体姿态估计网络(DunHuangDancePoseEstimation, DHD-PE), 构建了一个敦煌舞三维动作数据集。敦煌舞蹈方面, 将敦煌舞按人物形象划分、编排与采集, 构建了敦煌舞视频动作数据集；姿态估计方面, 以AMASS(Archive of Motion Capture as Surface Shapes)大规模三维人体运动捕捉数据集为基础作生成对抗训练, 用ResNet提取图像特征, 门控循环网络作为时间编码器, 参数回归器回归出SMPL参数模型, 用注意力机制来放大序列不同帧的贡献程度, 以人体真实运动AMASS为基础, 给出估计姿态是真或假的概率, 进而构建敦煌舞三维动作数据集。本数据集将敦煌舞划分为7个主题, 83个基础动作, 16个长动作。在定量、定性、人工评估和双向随机遮挡敏感性分析方法中取得了较好的结果, 为敦煌舞的保存、应用与发展奠定了基础；为敦煌文化的研究、弘扬与传承提供了新思路。后续利用本数据集可应用于生成式人工智能、敦煌舞文化数字展览与表演、敦煌舞的教育与研究、敦煌舞的数字媒体与娱乐等。