科创中国
一种基于深度强化学习的移动机器人视觉导航方法及装置
成果类型：: 发明专利
发布时间: 2023-10-30 16:37:45
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-09 10:06:17
本发明涉及机器视觉导航领域，具体涉及一种基于深度强化学习的移动机器人视觉导航方法及装置，本发明方法基于深度强化学习方法，以图像、深度图像、目标位置为输入，可实现在多种场景混合的大空间下进行导航，提升了基于深度强化学习的移动机器人视觉导航技术的导航能力；此外，本发明通过设计移动机器人速度及移动机器人与目标距离相关的奖励函数，使深度强化学习模型的训练能够快速收敛；本发明可提高深度强化学习方法在复杂大场景下的导航能力，解决奖励稀疏问题，加快模型收敛速度，提高在复杂大场景下的导航性能。
一种基于深度强化学习的移动机器人视觉导航方法，其特征在于，包括以下步骤：
构建具有多种场景的场景地图；
移动机器人在所述场景地图中移动，并在所述场景地图中收集当前观测到的图像以及目标点位置信息，将当前观测到的所述图像以及目标点位置信息，设计卷积神经网络并提取出图像特征；
在所述场景地图中的单场景中构建深度强化学习模型，将所述图像特征及目标点位置输入所述深度强化学习模型，并通过设计奖励函数进行所述深度强化学习模型的训练，输出所述移动机器人连续的线速度以及角速度；
将各个所述单场景中所述移动机器人学习到的动作存储到数据库中，在穿越多种场景时对应使用，将各所述单场景的连通位置作为中间目标点，导航所述移动机器人到达目标位置。
自主导航： 这种方法可以应用于自主导航场景，例如无人机、自动驾驶汽车、移动机器人等，使它们能够在未知或动态环境中安全、高效地导航。
室内定位和导航： 在室内环境中，这种技术可用于帮助机器人或机械设备定位、寻找目标位置，如自动仓库中的货物搬运机器人或室内定位服务机器人。
环境监测和勘察： 移动机器人可以被用于进行环境监测和勘察任务，如探测危险区域、搜索和救援操作或环境污染检测。
服务机器人： 这种技术可以应用于服务机器人领域，如酒店、医院和餐厅中的机器人，以提供导航、物品递送、信息提供等服务。
农业和农业机器人： 移动机器人可以用于农业领域，用于自主巡视农田、监测农作物、施肥、喷洒农药等任务。
工业自动化： 在工业生产中，这种技术可以用于自主机器人导航和自动化操作，提高生产效率和安全性。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
感知和感知处理： 移动机器人装备有视觉传感器（例如摄像头），用于捕捉环境中的视觉信息。这些数据经过预处理和特征提取，用于构建环境地图和识别障碍物。
深度强化学习： 机器人使用深度强化学习算法，如深度Q网络（DQN）或强化学习神经网络（RLNN），来学习如何在环境中导航。这种学习方法允许机器人根据其当前状态和感知信息选择动作，以最大化预期的长期奖励。
动作执行： 机器人根据学到的策略执行动作，如移动、转向或停止，以在环境中导航。
技术转让
基于深度强化学习的移动机器人视觉导航方法及装置能够在各种应用领域中提高自主导航的效率和精度，减少人工干预，提供更智能、自主的机器人解决方案。
下载app