本发明提供一种基于语义SLAM方法的语音控制型移动机器人,其能够实现未知复杂环境的感知与理解,且更准确的识别语音信息,使移动机器人能够更灵活的适用于不同的应用场景。一其包括控制器、远程服务器、视觉采集模块、语音采集模块;视觉采集模块、语音采集模块与控制器通信连接,远程服务器包括语义SLAM模块、语音识别模块;控制器与远程服务器通信连接;控制器基于语义SLAM模块计算所得的位姿估计结果、三维语义地图,按照语音识别模块计算所得的语音控制命令,规划机器人的行为轨迹,并控制机器人执行动作。

所述视觉采集模块获取环境的彩色信息和深度信息后发送给所述控制器，所述控制器实时地将彩色信息和深度信息以RGB图像序列和深度图像序列发送到远程服务器；所述远程服务器中的所述语义SLAM模块采用基于深度学习的语义SLAM方法，进行计算得到机器人的位姿估计结果，并构建出环境的三维语义地图，然后将所述位姿估计结果、所述三维语义地图反馈给所述控制器；

所述语音采集模块采集输入语音后发送给所述控制器，所述控制器将语音序列发送到所述远程服务器；所述远程服务器中的所述语音识别模块采用基于深度卷积神经网络的语音控制方法，对语音序列进行识别，将识别出来的语音文字反馈给所述控制器；所述控制器将所述语音文字与预设控制指令进行对比识别，识别出语音控制命令；

所述控制器基于所述位姿估计结果、所述三维语义地图，按照所述语音控制命令，规划机器人的行为轨迹，并控制机器人执行动作。

随着科学技术的发展，移动机器人开始越来越多地进入寻常百姓的日常生活，在未知复杂环境下完成各项智能服务任务，大大减轻人类的工作负担。

现有的移动机器人技术中，为了构建出工作环境的高精度地图，移动机器人通常采取同时定位与地图构建(simultaneous localization and mapping，SLAM)技术，采集外部传感器数据估计本体位姿状态，对周围环境进行地图构建；然而，传统的视觉SLAM算法基于简单的几何特征，所生成的地图只考虑到环境的几何信息和拓扑信息，缺乏环境中物体的语义信息，无法精确识别出环境中的独立物体，进而无法在一些复杂的需要精准识别地理环境中应用，导致移动机器人在现实生活中的应用收到了限制；同时，现有的移动机器人只有少数具备语音控制功能，但是其使用的语音识别声学模型存在对齐过程复杂、识别效果差、训练时间长等缺点，同样限制了移动机器人的应用范围。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

本发明提供的一种基于语义SLAM方法的语音控制型移动机器人，其基于卷积神经网路的语音控制方法建立了声学模型，实现了语音采集模块，声学模型建模过程简单、训练容易，具有更好的拟合能力和泛化性能，有效的提高了机器人对语音识别的准确率；

本发明技术方案中，基于深度学习的语义SLAM方法将视觉SLAM算法与目标检测算法相结合，基于视觉SLAM算法获得环境的几何地图、基于目标检测算法实时地检测出环境中的独立物体、通过基于语义SLAM方法获得语义信息，通过信息关联和融合，将物体类别、位置等信息标记在地图中，准确的完成机器人自定位和三维语义地图的构建，通过机器学习技术实现场景理解，确保了机器人能够更准确的感知与理解环境；控制器基于机器人自定位信息、三维语义地图可以更准确的完成路径规划，根据语音采集模块识别的语音命令，控制机器人更准确的完成指令动作；本专利的技术方案，可以确保机器人能够更加灵活的使用在各种不同的复杂场景下。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。