科创中国
车载人机交互系统及方法
成果类型：: 发明专利
发布时间: 2022-10-27 09:25:27
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 门松 | 2022-10-29 23:07:01
本发明提供一种车载人机交互系统，包括：前视双目摄像头与激光雷达，对车外信息进行采集；下视双目摄像头，对车主的手势进行采集；存储器，存储车主的指定手势或手势运动轨迹及对应的操作；处理器，对所述前视双目摄像头与激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还根据所述存储器对下视双目摄像头所采集的手势进行识别，并当识别到指定手势或手势运动轨迹后通知执行模块执行所对应的操作；执行模块，以声光电之一者或结合给出提醒信息、以及执行手势对应操作。还提供了一种车载系统的人机交互方法。通过本系统及方法，对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。
一种车载人机交互系统，其特征在于，所述车载人机交互系统包括：前视双目摄像头，用于对车外信息进行采集；激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集；下视双目摄像头，用于对车主的手势进行采集；存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作；处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还用于结合对车主手势的采集通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作；执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。
本发明针对此问题，提供了一种车载人机交互系统及方法，可以对车外状况进行安全提示，还可以接受车内驾驶人的手势控制，提供更加人性化服务。
本发明的车载人机交互系统，包括:前视双目摄像头，用于对车外信息进行采集；激光雷达，安装于车前用于配合所述前视双目摄像头对车外信息进行采集;下视双目摄像头，用于对车主的手势进行采集;存储器，用于存储车主的指定手势或手势运动轨迹及对应的操作;处理器，用于对所述前视双目摄像头与所述激光雷达所采集的车外信息进行处理，计算出车外的环境信息，并给予安全提醒，还用于结合对车主手势的采集通过三维重建确定手指位置，并根据指定手势或手势运动轨迹通知执行模块执行所对应的操作;执行模块，用于以声光电之一者或结合给出提醒信息、以及执行所述手势对应的操作。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
①前视双目摄像头通过双目拼接及视频算法实现道路行人检测提醒及辅助刹车、变线超车状态提醒、将要经过路口提醒、车辆跟踪、自动泊车等功能。
②前视双目摄像头能保存实时保存拼接后的图像结果，亦可作为超广角的行车记录仪使用。
③装在后视镜下方的下视双目摄像头近距离捕捉手部图像，通过上述算法快速准确计算出手指的三维空间信息，发出相应的控制指令。
技术合作
前视双目摄像头通过内参数矩阵和外参数矩阵来确定其与世界坐标的关系。这里将车的位置设为世界坐标的原点，激光雷达和双目摄像头都安装在车上，并分别与世界坐标标定从而实现激光雷达和双目摄像头的联合标定。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
下载app