本发明公开了一种基于排序损失约束的双分支尺度感知人群计数方法及系统,包括了一个双分支尺度感知网络,该网络由两大部分组成:VGG16的前10层作为基础主干网络,双分支网络作为网络的第二部分。浅层网络分支通过一个浅层全卷积网络提取低层信息(颜色、边缘、形状等),深层网络分支通过一个深层全卷积网络提取高层上下文特征(头部、人脸和身体等);将两个分支提取的不同尺度特征融合,生成预测密度图;并且基于原始图必定包含比任意子图更多或相等的人的事实,提出了利用图像内部约束关系的排序损失函数;并将排序损失与欧氏距离损失结合起来作为最终损失函数,并且进行训练,提高了计数的准确度,解决了密集人群场景下的人群计数问题。

一种基于排序损失和双分支网络的人群计数系统，包括图像采集模块，用于采集人群图像数据和待检测图像信息；基础特征提取模块，能够接收所述图像采集模块信息，用于利用VGG骨干网提取图像中的基础特征；多层特征提取模块，能够接收所述基础特征提取模块，并用于双分支网络提取浅层和深层特征；特征融合模块，能够接收所述多层特征提取模块的浅层特征和深层特征并进行特征融合，得到融合特征；密度图获取模块，能够接收所述特征融合模块所得到的融合特征进行转化，得到人群密度图；人数计数模块由人群密度图计算得到图像中的人数。

随着世界人口指数式增长，人群计数问题在实际生活中应用场景越来越多，例如节假日出游，体育赛事，政治集会等，得到准确的人数信息是解决密集场景下人群拥挤问题的关键。此外，人数信息对于很多行业都有重要的意义。

早期的一些方法通过检测的方法来解决人群计数问题，使用一个滑动窗口检测器来检测场景中人群，并统计相应的人数或者基于手工提取的头部或身体的特征(如Haar小波和HOG)来估计人数。然而严重的遮挡使得检测出每一个行人很困难。为了克服遮挡问题，提出了基于回归的方法，这种方式首先提取多种手工特征用于生成低层信息，再将计数问题转换成回归问题，学习一个回归模型，用线性回归，分段线性回归，岭回归和高斯过程回归等方法学习裁剪的图像块到人数的映射关系。尽管如此，基于回归的方式还是难以处理高密集的人群场景。

近年来，GPU计算能力的提升和许多大型数据库的出现促使深度学习在许多计算机视觉领域取得了十分优异的性能。研究者开始将深度学习方法应用到图片人群计数领域，通过CNN去学习人群图片和密度图之间非线性表达。这使得图片人群计数的准确度取得了一个质的飞跃，尤其是在高密集人群场景下。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

针对在人群计数领域中存在由于尺度多变造成的计数误差问题，本发明提供一种基于排序损失约束的双分支尺度感知人群计数算法，在双分支尺度感知网络中，结合深浅不同的双分支网络，提取不同尺度目标的特征，能解决由于人群图片中尺度多变问题；设计了一种排序函数，利用图片本身的内部约束关系，得到更加准确的预测密度图；在网络的第二部分引入了空洞卷积操作，与普通的卷积操作相比，在不增加计算量的同时增加感受野，提高人群计数的准确度。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。