科创中国
基于扩散模型及3DTransformer的三维分割方法、系统、设备及介质
成果类型：: 发明专利
发布时间: 2023-09-08 14:41:49
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-09-26 12:10:31
本发明公开了一种基于扩散模型及3D Transformer的三维分割方法、系统、设备及介质，包括：获取待分割图像；将所述待分割图像输入到基于扩散模型及3D Transformer的三维分割网络模型中，得到待分割图像的三维分割结果，该方法、系统、设备及介质能够对医学影像进行三维分割。
权利要求
1.一种基于扩散模型及3D Transformer的三维分割方法，其特征在于，包括：
获取待分割图像；
将所述待分割图像输入到基于扩散模型及3D Transformer的三维分割网络模型中，得到待分割图像的三维分割结果。
2.根据权利要求1所述的基于扩散模型及3D Transformer的三维分割方法，其特征在于，所述基于扩散模型及3D Transformer的三维分割网络模型由CNN-Transformer混合架构、解码器及扩散模型构成。
3.根据权利要求2所述的基于扩散模型及3D Transformer的三维分割方法，其特征在于，所述CNN-Transformer混合架构由3D NCB模块及3D NTB模块堆叠而成，其中，通过所述3D NCB模块学习待分割图像中的局部表示；通过所述3D NTB模块捕获轻量级机制中的多频信号。
4.根据权利要求3所述的基于扩散模型及3D Transformer的三维分割方法，其特征在于，所述3D NCB模块通过3D MHCA模块及3D MLP模块构建而成。
医学影像数据通常是三维数据，如CT、MRI等。具体来说，对我们所关注的脊柱侧弯本身，其就是三维畸形。若从二维的脊柱侧弯图像分割模型去提取出脊柱区域也有两种方式，第一种则是从X光数据进行分割，但分割得到的数据时二维层面的分割图，第二种则是从CT的每一张切片数据进行分割，但是这种方法需要将脊柱侧弯的CT影像数据的所有切片提取出来，然后单独一张张地输入到模型进行训练，在这种情况下会存在一个效率问题。另一个重要的问题则是通过单张切片数据进行训练丢失了CT影像之间的上下文关联关系。因此，当前的研究动态开始着眼于利用三维卷积来直接进行三维分割。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
本发明具有以下有益效果：
本发明所述的基于扩散模型及3D Transformer的三维分割方法、系统、设备及介质在具体操作时，采用扩散模型及3D Transformer构建而成的三维分割网络模型进行待分割图像的三维分割，其中，本发明基于三维的Transformer模块用于后续的医学影像三维分割任务，实现医学影像的三维分割，同时通过扩散模型可以很好的捕捉到像素级的语义信息，使得三维分割网络模型能够更好的分割出病灶区域。
技术合作
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
下载app