本发明涉及医疗设备领域,公开了一种智能识别并实时反馈的洗手监测系统。包括洗手动作识别评估模块、洗手监督模块、用户交互模块、身份识别模块、数据存储模块、控制模块;通过身份识别模块对医生进行身份识别;数据采集模块实时获取多模态洗手视频数据;预处理模块对采集的视频数据预处理;手势识别模块、手势评估模块,对数据进行分析比较,通过用户交互模块实时显示出评估结果;通讯模块将结果上传至数据库模块;医院通过洗手监督模块定期或随机采样,监测数据库模块内存储的数据以及专家评估结果,对系统进行监督训练。对医院环境中的洗手动作进行高效智能识别,并在洗手过程中实时反馈洗手问题,帮助医护人员在洗手过程中及时纠正问题。

步骤1、所述身份识别模块对医生进行身份识别，登录系统；

步骤2、所述数据采集模块实时获取多模态洗手视频数据；

步骤3、所述预处理模块对步骤2中采集的视频数据预处理，

步骤4、所述手势识别模块、手势评估模块，对步骤3中的数据进行分析，与预设固定阈值比较，通过用户交互模块实时显示出评估结果；

步骤5、所述通讯模块将步骤4中的结果上传至数据库模块统计和分析；

步骤6、医院通过洗手监督模块定期或随机采样，监测数据库模块内存储的数据以及专家评估结果，随时对系统进行监督训练。

进一步，所述步骤1中身份识别模块采用了Depth（深度）摄像头，通过用户靠近激活系统，并在显示模块中通过显示屏显示登录信息。

进一步，所述步骤2中数据采集模块采用了RGB（彩色图像）、Depth（深度信息）和IR（红外图像）外设摄像头3种模态视频流，实时获取用户洗手视频数据。

进一步，所述步骤3预处理模块包括对步骤2中获取的RGB、Depth和IR视频流逐帧读取连续洗手图像序列，在连续单个洗手动作图像中分割出洗手区域像素位置作为手部图像，洗手区域像素包括洗手池和主要洗手动作，与此同时IR视频中根据手部图像颜色评估水温。

正确的洗手方法可确保医护人员的双手洁净，有效减少因双手传播传染性疾病的情况。但很多医护人员在洗手过程中，有动作错误、速度过快等问题，并且不能得到及时纠正，造成最终洗手效果不佳。不仅在不发达地区，即使在发达国家，手卫生造成的感染发生频率仍高居不下，造成医疗系统的巨大经济损失。

由于医院环境的复杂性，现有洗手监测系统采用人工监测较多，但受制于诸多限制，只能对手卫生进行抽样监测，不能反映医护人员的常规手卫生情况，督促作用有限。设备监测方法，主要使用单模态视频图像数据进行手势识别，使用传统的分类方法进行分割、跟踪和分类，实现对洗手动作的识别。但医院洗手环境在光照、背景色等方面不固定，使用单模态数据易受到环境影响，实际应用中系统适应性受到很多限制。另外传统的特征提取、分类方法，虽然能实现对手势的识别与分类，但技术门槛较高、识别流程复杂，对设备要求较高，实时性也不容易得到保证。

江南大学是教育部直属、国家“211工程”重点建设高校和“双一流”建设高校。学校具有悠久的办学历史、厚重的文化积淀，源起1902年创建的三江师范学堂，历经国立中央大学、南京大学等发展时期；1958年南京工学院食品工业系整建制东迁无锡独立建校，成立无锡轻工业学院；1962年无锡纺织工学院并入无锡轻工业学院；1995年更名为无锡轻工大学；2001年无锡轻工大学、江南学院、无锡教育学院合并组建江南大学；2003年东华大学无锡校区并入江南大学。

对医院环境中的洗手动作进行高效智能识别，并在洗手过程中实时反馈洗手问题，在结束时对洗手情况可视化展示，帮助医护人员在洗手过程中及时纠正问题，直观地了解洗手情况，从而提升手卫生标准的执行的效率。针对医院的复杂环境以及洗手动作人员自我意识较强等因素，本申请所公开的技术方案中，对洗手动作进行了严格的数字化规范，对于医护人员在洗手过程中的每一个动作，进行采集与分析，并与洗手动作识别评估模块中的预设阈值进行对比，实时在用户交互模块中进行反馈与提示，有效地避免了洗手过程中存在的疏忽，对洗手动作进行了有效干预。同时，本申请的技术方案中，采用了深度学习神经网络，可以在手势评估模块中不断地进行数据更新，以实现更好的监测效果。

科技成果只有通过实施开发应用，使其转化为生产力，才能取得经济效益和社会效益。成果方目标是将科技成果转化为现实生产力，期待有意愿的企业或合作单位进行合作推广或者进行产品生产。考虑合作转化、许可+合作等转化方式与企业、科学技术研究开发机构和其他组织建立合作关系。