《一种基于多模态协同自注意力网络的运动行为识别方法》

技术简介：

本发明涉及计算机视觉技术领域,尤其涉及一种基于多模态协同自注意力网络的运动行为识别方法,包括：利用骨骼序列数据和协同空间向量算法构建运动协同空间特征序列集；将运动协同空间特征序列集输入基于Transfomer网络的骨骼自注意力子网络；利用深度图像数据通过整合注意力机制的深度自注意力子网络进行训练并通过Softmax分类器进行分类；将骨骼序列分类与深度图像分类融合,得到融合后分类结果。本发明在transformer模型基础上使用深度数据与骨骼数据,综合各关节点信息的运动协同空间特征,反映人体运动的整体性与协同性,同时对各关节点参与运动的贡献程度提出了量化标准。

研发人员：侯振杰;钟卓锟;施海勇;尤凯军