基于分层微分博弈的多智能体系统编队策略
成果类型:: 发明专利
发布时间: 2023-12-28 15:34:54
本发明涉及一种基于分层微分博弈的多智能体系统编队策略:首先,利用图论,建立智能体之间的通信拓扑结构,并建立智能体模型和障碍物环境模型;其次,针对未知障碍物环境,在策略层,将带有已知障碍物约束的多智能体编队问题转化为分布式微分博弈,并为博弈参与人设计成本函数,建立博弈模型;利用庞特里亚金最小值原理,分析局部纳什均衡解的存在性以及唯一性,并求解局部纳什均衡解的表达形式,给出了局部纳什均衡解全局收敛性条件;在规划层,利用基于滚动优化的二次规划模型实时修改来自策略层的局部纳什均衡解,最后形成混合编队策略;其在理论上保证了智能体成功避开未知障碍物后,混合编队策略能够收敛到局部纳什均衡解。
本发明解决其技术问题具体采用的技术方案是:
一种基于分层微分博弈的多智能体系统编队策略,包括以下步骤:
步骤S1:利用图论,建立多智能体系统中智能体之间的通信关系:建立一阶线性积分器作为智能体的模型;设定其中一个智能体为领导者,其余智能体为跟随者;只有领导者知道期望终点位置,其余跟随着与领导者保持期望的编队距离;定义智能体的工作环境区域,并将环境中存在的障碍物视作椭球体;
步骤S2:在策略层,针对环境中存在的已知障碍物,将参与任务的所有智能体看作博弈参与人,将带有障碍物约束的多智能体系统的编队问题建模为分布式微分博弈,博弈模型中包括运行成本函数以及控制成本;参与人与邻居参与人满足收敛到局部纳什均衡;
步骤S3:在规划层,针对环境中的未知障碍物,利用基于滚动优化的二次规划模型实时修改来自策略层的局部纳什均衡解,形成混合编队策略。
多智能体协调控制是多智能体系统领域的热门话题,需要每个智能体通过通信,协作和竞争来完成指定的系统任务。特别地,多智能体系统的编队控制在协调控制中起着重要的角色,例如,集群灯光表演,协作搬运货物以及围捕追踪等。在上述场景中,多智能体系统通常会受到通信和任务约束,因此,有必要研究该分布式编队问题,即设计某种分布式机制来处理多智能体系统的有限通信能力以解决带有障碍物约束额编队问题。
在分布式编队控制问题中,有很多解决方法,例如基于行为结构的方法,模型预测控制,强化学习等。然而这些方法都没有充分发挥智能体之间的动态交互特性。博弈论量化智能体之间的决策过程,以此保证智能体总是可以选择最佳行为来实现个体或集体目标。尤其是,微分博弈量化智能体之间的动态冲突过程,其经常被用于求解协调控制问题,例如,追逃问题以及编队问题等。
为了解决所述两个问题,文献(Lin W,Li C,Qu Z,***-loop Nash strategy[J].Automatica,2019,106:266-273.)提出滚动微分博弈方法,用于解决编队控制中环境动态变化问题,即,在每一时间步长,开环纳什均衡中的第一个控制输入用于控制智能体,在下一个时间步长,重复上述过程。滚动编队策略可以补偿离线纳什均衡的时间不一致性。基于该原因,滚动微分博弈成为处理动态环境下编队控制问题的流行手段。然而,该方法由于在每个时间步长都需要重新博弈,所以不仅具有教高的计算代价以及较差的实时性,而且在理论上难以保证均衡解的存在性,导致系统性能下降。
发明人:黄捷 薛文艳 陈楠 王武 陈宇韬 占思远 黄景丽福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
与现有技术相比,本发明及其优选方案针对带有未知障碍物约束的编队控制问题,采用滚动优化以及微分博弈的方法,提出一种分层微分博弈的多智能体系统编队策略,相较于现有的需要再每个时间步长重新博弈的滚动微分博弈方法,该方法可以在不影响博弈参与人均衡解的情况下,仅改变需要避开未知障碍物的智能体的策略,减少计算代价。并在理论上保证了局部纳什均衡解的唯一存在性以及全局收敛性。此外,能够减少系统完成期望编队的运行时间。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。