《一种跨模态三维点云序列时空特征网络的行为识别方法》

技术简介：

本发明涉及神经网络技术领域,尤其涉及一种跨模态三维点云序列时空特征网络的行为识别方法,包括：通过坐标转换将深度图跨模态转换成点云序列；将每一帧点云序列输入由时空建模模块和时空信息注入模块构成的跨模态三维点云序列时空特征网络,得到带有时序信息的特征向量序列和空间结构信息特征向量序列,进行拼接作为全连接层的输入,并通过分类器进行人类行为识别。本发明通过抽象操作中加入了通道注意力和空间注意力层；并设计了时空建模模块和时空信息注入模块；通过时空信息注入模块为特征序列注入时间和空间特征信息以此加强时空维度的信息表征来弥补FPS带来的信息损失。

研发人员：侯振杰;尤凯军;钟卓锟;施海勇