《一种超关节与多模态网络及其在行为识别方法》

技术简介：

本发明涉及神经网络技术领域,尤其涉及一种超关节与多模态网络及其在行为识别方法,包括：采集人体深度图,利用DMMS流对深度图进行特征提取,并计算深度数据预测分数；采集人体骨架序列,分别提取原始关节和超关节数据,结合超关节和普通关节构建骨架信息,送入结构化时空特征学习模型,得到静态和动态关节数据流、静态和动态超关节数据流,并将原始关节和超关节的数据流进行自适应权重融合,分别得到关节数据预测分数和超关节预测分数；将DMMS流和骨架流的分类预测分数相加生成最终的预测分数。本发明从深度图中学习人体部位在空间中丰富的纹理信息,从骨架序列中学习运动姿态变化中丰富的时空特征。

研发人员：侯振杰;施海勇;钟卓锟;尤凯军