您所在的位置: 成果库 基于多智能体联邦强化学习的无人机部署优化方法

基于多智能体联邦强化学习的无人机部署优化方法

成果类型:: 发明专利

发布时间: 2023-12-27 17:27:56

科技成果产业化落地方案
方案提交机构:成果发布人| 黄哲芬 | 2023-12-27 17:27:56

本发明涉及一种基于多智能体联邦强化学习(K MAFRL)的大规模无人机部署优化方法,通过优化多无人机的实时部署位置,实现系统平均任务响应时间的最小化。首先,每台UAV被建模为一个智能体,并且可以根据局部信息独立地进行部署决策。接着,利用K MAFRL算法对决策模型进行训练,通过与环境交互训练各智能体的本地模型,并将模型参数联邦聚合以生成全局模型,然后将其模型参数传输回所有的智能体以更新其本地网络。最后,通过反馈控制和多无人机协同,逐步找到有效的大规模无人机部署方案。本发明实现高效且自适应的大规模无人机部署。

一种基于多智能体联邦强化学习的无人机部署优化方法,包括以下步骤:步骤S1:将多UAV辅助的MEC系统的每台UAV建模为一个智能体,每台UAV根据运行时环境中收集到的局部信息进行独立决策,并通过设计状态空间、行动空间、转换函数和奖励函数,将UAV的动态部署问题建模为马尔可夫问题模型;步骤S2:采用K-MAFRL算法训练无人机部署操作的Q值预测联邦模型,步骤S3:在执行阶段,每台UAV使用步骤S2中得到的无人机部署操作Q值预测联邦模型,根据其运行时环境中的局部信息预测不同部署操作的Q值,并通过比较Q值来选择合适的无人机部署操作,并通过反馈控制和多无人机协同,逐步找到有效的大规模无人机部署方案。

无人机(UnmannedAerial Vehicles,UAV)可以与移动边缘计算(Mobile EdgeComputing,MEC)联合组成一个无人机辅助网络,以解决移动设备计算资源短缺的问题。它通过在网络边缘部署边缘服务器的方式将云中心的计算能力下沉到网络边缘,利用边缘服务器较为丰富的计算资源弥补了移动设备(Mobile Devices,MD)计算能力的不足。此外,无人机辅助MEC网络还特别适用于高密度公共应急、特别紧急情况和其他按需服务。在动态变化的运行时环境中,无人机的部署方案需要及时调度已获得理想的性能。本节将回顾和分析在无人机辅助MEC系统中无人机部署优化问题的相关工作。目前针对无人机自适应部署问题主要包含基于启发式和基于学习的部署优化方法。

现有的关于无人机部署优化问题的研究大多采用启发式算法。然而,无人机部署方案的选择面临着组合爆炸的问题,而这些启发式算法无法在短时间内解决这一问题。由于需要大量的迭代来获得一个近似最优解,基于启发式的方法通常不适用于动态环境中实时的MEC应用。为了解决这个问题,一些基于深度强化学习(DRL)的方法被应用到了无人机调度策略中。这些方法一般采用集中式方式将所有无人机建模为一个单一的代理,这意味着需要一个控制中心来收集全局信息和控制所有代理。这种方法是难以扩展的,因为系统状态和动作空间的大小随着UAV或MD的数量呈指数级增长,并且在执行阶段需要高度的通信开销。将单代理DRL应用于多代理场景的另一种方法是简单地使用DRL方法对每个代理进行独立的训练,该方法会由于每个代理的策略随着训练的进行而变化,从而产生一个非稳定的环境。因此,分布式的DRL方法更适用于动态环境下的大规模无人机辅助MEC通信系统。然而,现有的分布式方法一般较少考虑无人机部署优化和时延约束。此外,智能体之间需要进行大量的通信和交互,可能会增加数据安全和隐私方面的风险。联邦学习可以使智能体能够在本地训练数据,只收集和分配神经网络的参数从而保护智能体的数据安全;

考虑到系统中无人机和移动设备的数量规模较大,传统的集中式算法将所有UAV建模为一个智能体,这导致了模型不可扩展和额外通信开销的问题,难以有效实现大规模无人机的自适应部署。。

发明人:陈星 傅德泉 郑龙海福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。

本发明与现有技术相比具有以下有益效果:

本发明使用强化学习结合联邦学习方法,面向动态环境下大规模的MEC场景研究无人机的部署优化问题,从而实现高效且自适应的无人机部署,以最小化系统平均任务响应时间。

当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。