科创中国

电子信息技术,计算机及网络技术

本发明涉及计算机视觉技术领域,尤其涉及一种基于多模态协同自注意力网络的运动行为识别方法,包括:利用骨骼序列数据和协同空间向量算法构建运动协同空间特征序列集;将运动协同空间特征序列集输入基于Transfomer网络的骨骼自注意力子网络;利用深度图像数据通过整合注意力机制的深度自注意力子网络进行训练并通过Softmax分类器进行分类;将骨骼序列分类与深度图像分类融合,得到融合后分类结果。

本发明在transformer模型基础上使用深度数据与骨骼数据,综合各关节点信息的运动协同空间特征,反映人体运动的整体性与协同性,同时对各关节点参与运动的贡献程度提出了量化标准。

发明人：侯振杰 钟卓锟 施海勇 尤凯军 常州大学坐落于经济发达、人文荟萃的江南历史文化名城——江苏省常州市。学校始建于1978年，原名为南京化工学院无锡分院、常州分院，是一所在我国改革开放之初创办的省属全日制本科院校。1981年经国务院批准，正式定名为江苏化工学院。1984年实行江苏省人民政府和中国石油化工总公司联合办学机制，1992年正式成为中国石油化工集团公司（原中国石油化工总公司）管理的部属院校，并更名为江苏石油化工学院。2000年起，学校实行中央与地方共建、以江苏省管理为主的管理体制，2002年更名为江苏工业学院。2010年，经教育部批准更名为常州大学。2011年，江苏省人民政府与中国石油天然气集团公司、中国石油化工集团公司、中国海洋石油总公司签署共建常州大学协议。历经三十六年的建设和发展，学校成为一所以工学、理学、管理为主、多学科协调发展、具有“产学研”合作办学特色的普通高等院校