科创中国
一种自动视觉识别方法及分拣系统
成果类型：: 发明专利
发布时间: 2023-09-27 17:06:27
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-10-10 15:29:01
本发明公开了一种自动视觉识别方法及分拣系统。该方法包括：针对具有目标商品的区域进行扫描，重构出三维点云并生成2D灰度图；将所述2D灰度图输入到经训练的神经网络模型，输出图像中各目标商品的中心点的2D坐标信息，并根据所述三维点云，计算出各2D点在相机坐标系下对应的3D坐标信息。在识别出目标商品后，可进一步实现分拣系统，以控制机械臂对目标商品进行抓取控制。本发明集成了深度学习，偏振光成像，结构光三维重建等多项技术，克服了透光/反光材质引起的成像质量问题，减小了图像质量对于深度学习模型性能的影响，能够更精准定位和抓取物体。
1.一种自动视觉识别方法，包括以下步骤：
针对具有目标商品的区域进行扫描，重构出三维点云并生成2D灰度图；
将所述2D灰度图输入到经训练的神经网络模型，输出图像中各目标商品的中心点的2D坐标信息，并根据所述三维点云，计算出各2D点在相机坐标系下对应的3D坐标信息。
2.根据权利要求1所述的方法，其特征在于，所述神经网络模型是MASK-RCNN模型，包括区域选取网络和特征金字塔结构，所述区域选取网络用于从输入图像中提取候选框，生成感兴趣区域；所述特征金字塔结构采用自顶而下以及自底而上的两条路径提取多尺度的图像，并合并深层和浅层的图像特征。
3.根据权利要求1所述的方法，其特征在于，根据以下公式计算目标商品的中心点的2D坐标信息：
xmid＝(XL+XR)/2
ymid＝(YK+YR)/2
其中，(XL，YL)是目标商品左上角的坐标，(XR，YR)是目标商品右上角的坐标，M(xmid，ymid)是目标商品的中心点的2D坐标信息。
随着科学技术的发展，现有的生产车间中使用自动化机械臂代替人工操作逐渐成为一种趋势。相比于人工分拣，机械臂的工作具有效率高，成本低，误差小的特点。对于目前市面上常见的机械臂分拣系统可以大致分为两类。第一类是采用固定参数的固定抓取，即只给机械臂输入不可变的移动参数，每次都使其通过上下左右平移和旋转相同的距离来到达固定的地点进行抓取。该方法一般只能应用于抓取固定的物体，对生产流水线上的物体位置有严格的限制。第二类采用计算机视觉的算法，通过计算机视觉成像、识别技术来自动识别出物体的位置，然后将相关的位置信息传输给机械臂进行抓取。这类方法更智能，目前一般针对朗伯物体等表面抓取，对于反光以及透明的包装袋抓取时，则会出现抓取不准确等问题。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
与现有技术相比，本发明的优点在于，提出一种基于结构光三维重建技术的复杂表面的物体无序分拣的方法，使用基于偏振成像的3D结构光相机采集大量物体的图片数据集，制作标签后放入实例分割网络中进行训练，获得能够对透明/反光的物体进行识别的神经网络模型，随后通过结合手眼标定参数，利用基于结构光的3D成像相机对物体进行定位，最后指导机械臂进行抓取。本发明通过将深度学习算法优秀的2D图像识别性能和基于偏振成像的3D结构光成像技术相结合，能够准确的识别和抓取物体，尤其可实现对于透明/反光包装袋的精确抓取。
通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
技术合作
最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。
下载app