基于CPU/GPU协同处理的遥感数据快速入库方法
成果类型:: 发明专利
发布时间: 2022-05-19 14:14:06
本发明公开一种基于CPU/GPU协同处理的遥感数据快速入库方法。首先调用CPU对影像进行入库预处理;其次调用GPU构建影像金字塔;最后调用GPU和CPU协同对影像金字塔数据进行压缩。本发明为包含主机端和客户端的多机系统,使得构建影像金字塔和数据压缩能够并行工作,从而提高了遥感影像数据入库的速度。
在该系统中,主机端和设备端以一个CPU核为控制核,其他CPU核为计算核,其中控制核主要负责主机端和设备端之间的数据传输、CPU和GPU之间的数据传输、核函数执行参数配置、核函数启动等工作。而计算核主要参与数据入库中计算密集的部分。设备端的计算核主要是用来处理遥感影像入库中的影像金字塔构建(主要包括分配内存、拷贝数据)和影像预处理步骤。主机端的计算核则用来参与影像数据压缩步骤(主要包括影像压缩预处理、tier-1算法、tier-2算法)。
自20世纪60年代航天遥感技术兴起以来,遥感数据的获取技术日趋完善,一个立体、多角度、全方位、全天候的对地观测网正在形成。特别是近些年,随着国内外亚米级高分辨率遥感卫星的商业推广、航空有人/无人遥感作业的增多、地面移动遥感设备的普及,以及计算机、网络、通信等技术的快速发展,推动了遥感数据生产的爆发式增长。成像方式的多样化以及遥感数据获取能力的增强,导致遥感数据的多元化和海量化。为了在各种遥感应用系统中及时有效地利用这些规模庞大的数据,首先必须对其进行有序的组织和管理。目前基于空间数据库管理是遥感数据的主流管理方式,面对不断产生的海量多源异构遥感数据,如何在第一时间快速、精准地将数据处理入库就成为一个迫切需要解决的问题。遥感数据入库通常包括遥感数据预处理(如投影变换、坐标变换、匀光、色彩均匀化等操作)、构建影像金字塔、遥感数据压缩等步骤。其中包含大量对遥感影像的计算密集型操作。传统的入库方法采用的是使用CPU进行串行运算处理,或者基于原有串行算法的多CPU并行运算处理,在海量遥感数据的环境下,该方法的效率并不能满足实际需求。GPU作为通用大规模并行处理器,具有运算密集、高度并行、体积小和性价比高等特点,将GPU的处理能力融入到系统中,形成一种系统化的处理能力,可为遥感数据入库处理提供高效的技术手段。
发明人有黄杰、朱丰炜、万健、贾刚勇、司华友。贾刚勇,男,1987年2月生,现任职于杭州电子科技大学计算机学院。万健,男,汉族,1968年02月生,江苏海安人,在职研究生,管理学博士,副研究员,1991年05月加入中国共产党,1991年08月参加工作。现任江苏海事职业技术学院院长。司华友,男,博士,杭州电子科技大学计算机学院讲师。
1、构建影像金字塔主要耗费的时间是在对数据进行重采样,本发明中CPU主要负责程序中串行执行的部分以及对任务进行调度,而GPU作为协处理器,主要负责数据并行计算密集的部分,从而充分发挥CPU和GPU各自的运算优势。同时,本发明增加了一个设备端专门用来构建影像金字塔,当主机端对接收到的遥感影像数据进行压缩处理时,设备端则可以构建下一幅影像的金字塔,从而实现了不同影像处理步骤之间的同步执行,加快了遥感数据入库的速度。 2、在对遥感影像进行基于JPEG2000算法的压缩操作过程中,主要耗费的时间是在tier-1算法。现有的基于GPU的算法是用CPU处理tier-1算法,然后用GPU处理tier-1算法,但是由于一方面tier-1算法的计算量较大,会占用较多的CPU资源,影响其他类型操作的执行速度;另一方面量化、小波变化占用的GPU资源较少,造成了GPU空闲的状况,因此,导致CPU和GPU协同处理遥感数据快速入库时资源分配利用不合理。为了解决上述问题,本发明提供了一种根据CPU、GPU的工作状态以及影像分辨率三个因素来更加合理的分配GPU和CPU资源,从而加快遥感数据压缩的速度。 3、本发明在主机端采用线程之间并行,线程块之间并行的方法,克服了现有技术中采用中央处理器CPU并行度不高的缺点,使得本发明能够同时处理多幅影像,提高了影像的压缩并行度。
技术入股,本发明涉及遥感数据的处理和管理技术领域,涉及一种利用计算机CPU/GPU协同计算方式来提高遥感数据入库效率的方法,即一种基于CPU/GPU协同处理的遥感数据快速入库方法。 本发明要解决的技术问题是在海量遥感数据的环境下,如何合理有效利用GPU和CPU资源,提高遥感影像入库的速度。技术合作,遣派学者专家到国外或者其他地区的高校,研究机构或者生产企业与对方的学者,专家合作进行研究设计,或者双方学者,专家轮流到对方学校,研究机构或者企业进行研究。