科创中国
一种多模态触觉数据联合感知方法及相关设备
成果类型：: 发明专利
发布时间: 2023-09-27 11:09:27
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-10-10 14:35:00
本发明公开了一种多模态触觉数据联合感知方法及相关设备，所述方法包括：获取触觉阵列数据集和触觉彩色图像数据集，并按预设比例划分为训练集、验证集和测试集；搭建针对触觉阵列数据集的卷积循环自编码器网络和针对触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将两个网络联合搭建得到肿瘤深度识别模型；使用训练接和验证集对肿瘤深度识别模型进行训练，使用测试集验证训练后的肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。本发明旨在挖掘利用特征差异大的多模态触觉数据集潜在相关信息，改进传统分类任务存在的难以有效利用特征差异大的触觉数据问题。
一种多模态触觉数据联合感知方法，其特征在于，所述多模态触觉数据联合感知方法包括：
获取触觉阵列数据集和触觉彩色图像数据集，所述触觉阵列数据集基于电容传感器采集并经过预处理后得到，所述触觉彩色图像数据集基于Digit传感器采集并经过预处理后得到，并将所述触觉阵列数据集和所述触觉彩色图像数据集按预设比例划分为训练集、验证集和测试集；
搭建针对所述触觉阵列数据集的卷积循环自编码器网络和针对所述触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将所述卷积循环自编码器网络和所述双向循环自编码器网络联合搭建得到肿瘤深度识别模型；
使用所述训练接和所述验证集对所述肿瘤深度识别模型进行训练，使用所述测试集验证训练后的所述肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。
机器人技术在医疗行业发挥着重要作用，例如机器人辅助微创手术。虽然它拥有许多优点，但是由于外科医生是在主控制台上进行远程操作，只能间接接触患者的软组织，仅使用来自电子屏幕的视觉反馈进行手术，缺失了手术过程的触觉反馈，例如缺少了触碰人体组织的触感，而这种触觉反馈缺失在一定程度上限制了医生对病灶诸如肿瘤之类的感知识别。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明中，获取触觉阵列数据集和触觉彩色图像数据集，所述触觉阵列数据集基于电容传感器采集并经过预处理后得到，所述触觉彩色图像数据集基于Digit传感器采集并经过预处理后得到，并将所述触觉阵列数据集和所述触觉彩色图像数据集按预设比例划分为训练集、验证集和测试集；搭建针对所述触觉阵列数据集的卷积循环自编码器网络和针对所述触觉彩色图像数据集的双向循环自编码器网络，通过联合损失将所述卷积循环自编码器网络和所述双向循环自编码器网络联合搭建得到肿瘤深度识别模型；使用所述训练接和所述验证集对所述肿瘤深度识别模型进行训练，使用所述测试集验证训练后的所述肿瘤深度识别模型的有效性，所述有效性的评价指标为肿瘤深度分类准确率。本发明旨在挖掘利用特征差异大的多模态触觉数据集潜在相关信息，改进传统分类任务存在的难以有效利用特征差异大的触觉数据问题，通过进入合理的联合损失函数，进一步增进触觉数据集的互相促进效果，提升肿瘤深度的识别准确率。
技术合作
本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
下载app