科创中国
无人机航拍视频去抖技术
成果类型：: 新技术
发布时间: 2022-11-07 15:27:30
科技成果产业化落地方案
方案提交机构：“科创中国”智能技术体系化应用专业科技服务团| 毕光元 | 2022-11-09 09:49:37
无人机因为具有机动性强、视野广、飞行路线不受地形限制等优点，而被广泛应用于测绘、航拍、交通监控等领域。两轴和三轴稳定云台的应用消除了航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动问题，但在很多应用场景，如无人机高速路交通监控，由于无人机不具有智能识别道路的能力，造成无人机的飞行前进方向与道路方向的夹角时刻变化，从而造成航拍图像中道路抖动的问题，这种抖动不论是对地面人员通过图像监控交通态势，还是对基于图像处理方法进行交通参数提取都带来了很大的障碍。因此，发明智能道路航拍图像去抖方法就显得尤其重要。
目前，航拍图像的图像去抖方法主要有机械去抖和配准方法去抖两种方式。硬件去抖，即将图像采集设备安装于具有自增稳功能的机械云台上，这种方式消除的是航拍图像由于无人机姿态调整、外部条件(阵风)等造成的图像抖动。图像配准方法，通过跟踪图像中的特征点获取图像背景的运动，从而通过仿射变换方法消除抖动，这类去抖需要提前选取基础配准帧。
无人机航拍视频去抖技术，包括：
步骤1：道路航拍图像预处理。对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像转换为灰度图；
步骤2：基于航拍图像提取直线。采用Canny边缘检测算子处理上步中的灰度图获取边缘轮廓图，基于霍夫变换检测边缘轮廓图，获取直线；
步骤3：计算直线方向直方图。计算上步中检测到的直线的角度，然后计算直线相对角度直方图。提取直方图中最大的峰值点对应的角度，该角度即为该帧航拍图像中道路的方向；
步骤4：航拍图像校正去抖。将道路航拍图像顺时针旋转上步中获得的角度的大小，即可将航拍图像中朝向不同的道路一致调整为水平方向，从而实现道路航拍图像去抖。
该技术利用无人机航拍道路图像检测提取出的直线大多与道路方向平行的特点，建立直线相对角度直方图，通过检测直方图最大的峰值点对应的角度，可得到航拍图像中道路的方向，根据该角度旋转图像将道路调整为水平方向，实现航拍图像去抖。
本技术基于图像处理技术，通过智能感知道路方向并旋转航拍图像，从而实现无人机道路航拍图像的去抖。
本发明属于图像处理技术领域，涉及一种无人机航拍视频去抖方法，特别是涉及 一种基于图像边缘检测与霍夫变换的直线提取方法与基于直线角度直方图的道路方向检 测方法和基于道路方向旋转图像的校正方法，以实现图像去抖的目的。
【背景技术】
无人机因为具有机动性强、视野广、飞行路线不受地形限制等优点，而被广泛应用 于测绘、航拍、交通监控等领域。两轴和三轴稳定云台的应用消除了航拍图像由于无人机姿 态调整、外部条件(阵风)等造成的图像抖动问题，但在很多应用场景，如无人机高速路交通 监控，由于无人机不具有智能识别道路的能力，造成无人机的飞行前进方向与道路方向的 夹角时刻变化，从而造成航拍图像中道路抖动的问题，这种抖动不论是对地面人员通过图 像监控交通态势，还是对基于图像处理方法进行交通参数提取都带来了很大的障碍。
北航工研院相关研发团队
针对现有图像去抖方法无法智能消除无人机道路航拍图像中道路抖动的问题，本 发明提出了基于道路方向直方图的图像去抖方法，采用基于道路方向直方图的方法进行道 路航拍图像去抖。本发明为基于道路方向直方图的道路航拍图像去抖方法，首先通过道路 方向直方图检测提取道路方向，然后基于道路方向旋转图像，实现道路航拍图像去抖。本发 明的图像去抖方法能够智能感知道路方向，从而实现现有方法所不能实现的图像去抖。
本发明以全新的研究着入点，提出一种可以普遍适用的道路航拍图像去抖办法， 通过下述步骤实现：
步骤1:道路航拍图像预处理
对无人机航拍视频进行解帧，获取单帧RGB彩色道路航拍图像，并将RGB彩色图像 转换为灰度图；
步骤2:基于航拍图像提取直线
采用Canny边缘检测算子处理上步中的灰度图获取边缘轮廓图，基于霍夫变换检 测边缘轮廓图，获取直线；
步骤3:计算直线方向直方图
计算上步中检测到的直线的角度，然后计算直线相对角度直方图。提取直方图中 最大的峰值点对应的角度，该角度即为该帧航拍图像中道路的方向。
步骤4:航拍图像校正去抖
将道路航拍图像顺时针旋转上步中获得的角度的大小，即可将航拍图像中朝向不 同的道路一致调整为水平方向，从而实现道路航拍图像去抖。
本成果可支持技术转让，技术合作，技术咨询等方式合作
下载app