成果介绍
本发明涉及一种基于多智能体联邦强化学习(K MAFRL)的大规模无人机部署优化方法,通过优化多无人机的实时部署位置,实现系统平均任务响应时间的最小化。首先,每台UAV被建模为一个智能体,并且可以根据局部信息独立地进行部署决策。接着,利用K MAFRL算法对决策模型进行训练,通过与环境交互训练各智能体的本地模型,并将模型参数联邦聚合以生成全局模型,然后将其模型参数传输回所有的智能体以更新其本地网络。最后,通过反馈控制和多无人机协同,逐步找到有效的大规模无人机部署方案。本发明实现高效且自适应的大规模无人机部署。
成果亮点
一种基于多智能体联邦强化学习的无人机部署优化方法,包括以下步骤:
步骤S1:将多UAV辅助的MEC系统的每台UAV建模为一个智能体,每台UAV根据运行时环境中收集到的局部信息进行独立决策,并通过设计状态空间、行动空间、转换函数和奖励函数,将UAV的动态部署问题建模为马尔可夫问题模型;
步骤S2:采用K-MAFRL算法训练无人机部署操作的Q值预测联邦模型,步骤S3:在执行阶段,每台UAV使用步骤S2中得到的无人机部署操作Q值预测联邦模型,根据其运行时环境中的局部信息预测不同部署操作的Q值,并通过比较Q值来选择合适的无人机部署操作,并通过反馈控制和多无人机协同,逐步找到有效的大规模无人机部署方案。
团队介绍
发明人:陈星 傅德泉 郑龙海
福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
成果资料
产业化落地方案