一种基于多层次时空特征融合增强的双流网络行为识别方法。该方法采用了一种基于时空双流网络的网络架构,称作多层次时空特征融合增强网络。针对传统双流网络仅仅在最后层融合两个流的类别概率分布导致浅层特征的作用被忽视以及双流网络的互补特点无法被充分利用的问题,本发明提出多层次时空特征融合模块,在双流不同深度层级通过时空特征融合模块捕获多深度级别的混合特征以充分利用双流网络。此外,在网络中,平等地对待所有特征会削弱那些对分类贡献大的特征的作用。本发明在网络中提出分组增强注意力模块,自动增强特征上的有效区域以及通道的显著性。最终本发明通过汇集双流网络以及特征融合的分类结果,进一步提高了行为识别模型的鲁棒性。

基于时间网络Nt计算时间类别概率分布OT:将步骤五构建的时间网络的输入分别送入时间网络Nt提取特征，时间网络Nt基于InceptionV3[ChristianSzegedy,Vincent Vanhoucke,Sergey Ioffe,Jonathon Shlens,# ComputerVision&Pattern Recognition,2016.]网络构建，再经过全局平均池化操作和全连接操作得到时间类别概率分布其中表示步骤三中第i个光流图分段OPTi对应的时间类别概率；基于双流融合网络NTSFF计算特征融合类别概率分布OF：使用多层次时空特征融合模块将时空特征融合模块STFF分别嵌入至空间网络Ns和时间网络Nt的InceptionV3的多个子模块中以融合提取多深度级别混合特征，然后通过分组增强注意力模块对提取的特征进一步提炼，最后通过全局平均池化操作和全连接操作得到特征融合类别概率分布其中表示步骤三的第i个RGB帧分段RGBi和第i个光流图分段OPTi对应的特征融合类别概率分布；

动作识别已成为计算机视觉界的活跃领域，并广泛应用于视频监视，暴力检测，人机交互等各个领域。视频动作识别是为了挖掘可以表达视频所代表的目标动作的关键特征，相比于静态图像，它包含了丰富的运动信息，然而动作场景的多样性仍使得有效特征的提取具有挑战性。因此，本发明以视频为研究对象，针对网络提取视频中的空间和时间特征所面临的问题，提出独特的特征融合方法和注意力方法来有效地提取辨别性特征用于行为识别。

目前，面向视频的行为识别主要使用双流网络，并且发展趋势十分良好。在双流网络中，双流架构通过在外观上和光流堆上分别训练各自的卷积网络来捕获外观信息和运动信息，最后使用分数融合两个卷积网络的分类结果。但是传统双流网络仍旧面临以下问题：(1)如何有效利用两个流分别捕获的信息？(2)网络中平等的对待特征的每个区域与通道会削弱那些对分类有用的区域与通道的作用，如何有效地对捕获特征进行提炼？(3)如何有效地融合获取的空间信息和时间信息？

基于以上考虑，本发明提出一个基于多层次时空特征融合增强的双流网络行为识别方法。首先，使用提出的时空特征融合模块对双流网络不同深度层模块的特征进行融合来提取多深度级别混合特征。其次，利用提出的分组增强注意力模块对提取的混合特征进一步提炼，使网络自动关注特征中对于分类有作用的区域与通道。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

1.在双流的不同深度层进行特征融合获取多深度级别的时空混合特征，充分利用了浅层特征以及双流互补的特点。

2.双流特征融合网络提出了分组增强注意力模块对提取的混合特征进行进一步提炼局部信息以及全局信息，有效提升了行为识别精度。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。