一种基于分层滚动优化的自动驾驶多任务协调决策方法
成果类型:: 发明专利
发布时间: 2023-12-25 15:48:23
本发明涉及一种基于分层滚动优化的自动驾驶多任务协调决策方法,利用自动驾驶车辆环境状态信息作为强化学习决策框架的输入,将驾驶目标规划为多个驾驶任务的衔接,以实现多任务间的协调;将各个驾驶任务分别具体化为控制动作,但仅执行第一个驾驶任务的控制动作;然后滚动向前进入下一时间步,基于更新的自动驾驶车辆环境状态信息再次进行规划和控制动作的执行;如此反复进行规划,实现滚动优化决策。该方法能够进行多驾驶任务协调,适用于复杂驾驶场景中的自动驾驶长期决策
本发明采用的技术方案是:一种基于分层滚动优化的自动驾驶多任务协调决策方法,利用自动驾驶车辆环境状态信息作为强化学习决策框架的输入,将驾驶目标规划为多个驾驶任务的衔接,以实现多任务间的协调;将各个驾驶任务分别具体化为控制动作,但仅执行第一个驾驶任务的控制动作;然后滚动向前进入下一时间步,基于更新的自动驾驶车辆环境状态信息再次进行规划和控制动作的执行;如此反复进行规划,实现滚动优化决策。
智能驾驶正处于飞速发展的时期,各种控制决策方法层出不穷。经典控制方法由于其稳定性和成熟的实践经验得到了广泛的应用,并不断改善自身适应日益增长的技术需求。然而当经典方法覆盖了大部分的控制场景时,剩下的极端场景却是经典方法无法解决的领域。此时强化学习展现出强大的生命力,并不断在各个场景和功能中取代原有的经典控制方法。
在强化学习蓬勃发展的同时,也面临着难以投入实际使用的现实问题。强化学习或者深度学习难以迁移到训练场景或者数据意外的情形,这限制了其广泛的应用。同时对于训练场景的设置和训练数据的需求比较严格,依赖于人对于数据的筛选和标注。
专利CN114170488A公开了一种基于条件模仿学习和强化学习的自动驾驶方法,解决了随机初始化导致的强化学习探索效率低下的问题,但是模仿学习的应用没有解决算法对于标签数据的依赖性。专利CN115629608A公开了一种基于深度预测网络和深度强化学习的自动驾驶车辆控制方法,进一步考虑了车辆之间的交互对车辆轨迹预测的影响。然而更加复杂的驾驶场景中需要长期决策,并且端到端的控制损失了可解释性。专利CN114013443B公开了一种基于分层强化学习的自动驾驶车辆换道决策控制方法,将整个自动驾驶任务划分为决策和控制两层。分阶段的驾驶任务规划使得自动驾驶控制具有可解释性,然而该方案的可迁移性有待讨论验证。
发明人:林歆悠 陈千炼 张彪 黄强 叶锦泽
福州大学(Fuzhou University),简称福大,位于福建省福州市,创建于1958年,是国家“双一流”建设高校,国家“211工程”建设高校,国家教育部、国家国防科技工业局与福建省人民政府共建高校,福建省三所重点建设的高水平大学之一,福建省一流大学建设高校,入选国家建设高水平大学公派研究生项目、教育部首批“卓越工程师教育培养计划”高校、新工科研究与实践项目、数据中国“百校工程”项目、国家“111计划”、“高校国际化示范学院推进计划”、国家级大学生创新创业训练计划、全国首批深化创新创业教育改革示范高校、中国政府奖学金来华留学生接收院校、全国专业学位研究生教育综合改革试点单位、国家集成电路人才培养基地、首批高等学校科技成果转化和技术转移基地、高校国家知识产权信息服务中心。
与现有技术相比,本发明具有以下有益效果:本发明提出了一种基于分层滚动优化的自动驾驶多任务协调决策方法,解决了现有强化学习应用于自动驾驶时的可迁移性问题、可解释性问题和复杂场景下决策和控制的问题。对于强化学习输入信息的预处理能够使得决策控制器在虚拟环境中训练并快速迁移运用到实际环境,缩小了和实际场景应用时的差距。多任务串行以及动作串行使得控制器能够进行长效规划,极大提高自动驾驶对于复杂场景下的驾驶决策能力。分层规划控制也能够克服端到端的弊端,类似于人类先有驾驶决策,后进行细致的控制的驾驶行为。更进一步的,类似于人类驾驶员进行未来一段时间内的驾驶规划,然而最终执行的只是下一步的操作,然后根据新的状态重新规划,本发明亦只将驾驶任务串行中的第一任务所对应的动作串行实际应用执行,完成一次决策控制,而后进行下一轮决策控制。基于此,本发明提出的基于强化学习的多任务协调决策方法能够获得更加安全、稳定、高效的决策,控制器能够不断学习适应新环境,而非限制于虚拟场景或者训练过的场景。
当前专利未经权利人许可不得实施,希望将科技成果转让给研发实力雄厚的企业,由受让人对科技成果实施转化。交易的是科技成果中的知识产权,可以包括专利权、专利申请权、技术秘密等。科技成果转让后,转让方获得转让费,不再是科技成果的所有人;受让方向转让方支付转让费,并成为科技成果的新的所有人。