科创中国
用于在移动终端中跟踪视频图像中的物体的方法
成果类型：: 发明专利
发布时间: 2022-11-09 10:08:46
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 门松 | 2022-11-09 16:23:22
提供一种用于在移动终端中跟踪视频图像中的物体的方法，包括：(A)实时地获取视频图像的视频帧；(B)识别视频帧中是否存在具有预定特征的可疑物体；(C)将首次识别出的存在具有预定特征的可疑物体的视频帧作为触发帧，将触发帧中的可疑物体进行标记并将触发帧发送给服务器；(D)当从服务器接收到所述可疑物体是目标物体的指示时，从服务器接收触发帧中的目标物体的物体特征点和标记位置特征点，从所述候选帧中确定用于对目标物体进行定位跟踪的参考帧，基于接收的触发帧中的目标物体的物体特征点和标记位置特征点，对参考帧进行目标物体位置标记。根据所述方法，能够有效地提高物体定位跟踪的实时性和准确性。
(D1)将所述候选帧转换为灰度图；(D2)利用转换的灰度图按照时间顺序获取每两个时间相邻的候选帧的帧间差分，以形成候选帧的帧间差分序列；(D3)采用多种划分方式将所述帧间差分序列划分为多个子序列组；(D4)提取每个子序列组中所包括的元素之和为最大值的子序列；(D5)从提取出的子序列中确定包括的元素之和为最小值的子序列；(D6)将确定的子序列所在的子序列组中相邻的子序列的各自作为端点的帧间差分都对应的候选帧作为参考帧。
随着电子技术的飞速发展，各种移动终端(例如，手机，平板电脑等)实现的功能越来越多，相应地，人们常常倾向于用移动终端替代计算机来满足各种需求，例如，通过移动终端实现对视频图像中的物体(例如，行人、车辆、路标等)的识别和跟踪。
目前，在移动终端中实现对视频图像中的物体进行识别(例如，物体检测、特征提取、物体识别等)和跟踪等处理需要2-4秒，比在一般的服务器上进行处理慢了11-21倍，此外，在移动终端中实现对视频图像中的物体进行识别和跟踪处理在实时性和准确性方面也具有局限性，例如，由于图像处理识别和网络延迟的存在，以及智能手机的帧间物体跟踪计算的速度与帧率的不匹配，使得无法实时地实现对当前视频帧中物体的定位跟踪，如果丢弃部分视频帧进行计算，虽然加快了对缓存区中视频帧的处理并且及时地实现了对当前帧中物体的定位跟踪，但是使得定位跟踪的准确性降低，另一方面，在移动终端中进行上述处理不仅占用了内存资源还消耗了移动终端的电量。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
在根据本发明示例性实施例的用于在移动终端中跟踪视频图像中的物体的方法中，能够在移动终端中连续地、实时地对视频图像中的物体进行识别和跟踪，有效地提高物体定位跟踪的实时性和准确性，同时减少了对内存空间的占用。由于图像处理识别和网络延迟的存在，以及智能手机的视频帧间物体跟踪计算的速度与帧率的不匹配，使得无法实时地实现对当前视频帧中物体的定位跟踪，如果丢弃部分视频帧进行计算，虽然加快了对缓存区中视频帧的处理并且及时地实现了对当前帧中物体的定位跟踪，但是使得定位跟踪的准确性降低，因此，为了平衡定位跟踪的实时性和准确性，可以选取候选帧中目标物体运动位移相对较大的视频帧作为用于对目标物体进行定位跟踪的参考帧来进行目标物体位置跟踪。
技术合作
综上所述，在根据本发明示例性实施例的用于在移动终端中跟踪视频图像中的物体的方法中，能够在移动终端中连续地、实时地对视频图像中的物体进行识别和跟踪，有效地提高物体定位跟踪的实时性和准确性，同时减少了对内存空间的占用。
虽然已表示和描述了本发明的一些示例性实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改。
下载app