科创中国
图像生成模型训练及图像生成方法、装置、设备和介质
成果类型：: 发明专利
发布时间: 2023-11-10 11:14:59
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-15 16:26:42
本发明实施例公开了一种图像生成模型训练及图像生成方法、装置、设备和介质，其中，方法包括：获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。解决了为获取感兴趣区域全面的信息，扫描获取不同模态的图像，耗时且成本高的问题，实现了基于一种模态的图像生成其他模态图像，提高获取多个模态图像的效率，节约获取多模态图像的时间成本。
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
2.根据权利要求1所述的方法，其特征在于，在对所述预设图像生成模型进行有监督的模型训练之前，所述方法还包括：
将所述第一模态图像向所述第二模态图像配准；
将配准后的第一模态图像作为所述预设图像生成模型的输入数据，输入到所述预设图像生成模型中。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一模态图像向所述第二模态图像配准，包括：
采用预设配准算法或预训练的图像配准神经网络，将所述第一模态图像向所述第二模态图像配准。
艺术和设计：
- 生成艺术品、设计元素，用于创意领域。
医学图像处理：
- 生成医学图像，用于模拟或改进医学图像处理算法。
虚拟现实和游戏：
- 生成虚拟场景、人物形象，提高虚拟现实和游戏的真实感。
电影和动画制作：
- 生成特效、场景，用于电影和动画的制作。
风格转换：
- 将图像转换为特定风格，例如油画风格、水彩画风格等。
1.一种图像生成模型训练方法，其特征在于，所述方法包括：
获取感兴趣部位的不同模态图像，并基于所述不同模态图像组成至少一组图像对；
针对每一组图像对，将图像对中的第一模态图像输入到预设图像生成模型中，并以图像对中的第二模态图像作为学习标准，对所述预设图像生成模型进行有监督的模型训练；
当所述预设图像生成模型的损失函数满足预设条件时，得到目标图像生成模型，完成模型训练过程。
2.根据权利要求1所述的方法，其特征在于，在对所述预设图像生成模型进行有监督的模型训练之前，所述方法还包括：
将所述第一模态图像向所述第二模态图像配准；
将配准后的第一模态图像作为所述预设图像生成模型的输入数据，输入到所述预设图像生成模型中。
3.根据权利要求2所述的方法，其特征在于，所述将所述第一模态图像向所述第二模态图像配准，包括：
采用预设配准算法或预训练的图像配准神经网络，将所述第一模态图像向所述第二模态图像配准。
图像生成方法：
- 使用训练好的生成模型，通过输入随机噪声或其他初始数据，生成符合预期的图像。
装置：
- 包括计算设备（如GPU）、用于加载和执行生成模型的硬件，以及用于输入输出的接口。
设备：
- 生成模型训练设备，用于训练生成模型的设备，可能包括高性能计算设备、存储设备等。
介质：
- 存储生成模型、训练数据和生成图像的介质，可以是云存储、本地硬盘、数据库等。
技术转让
图像生成模型的训练及相关方法、装置、设备和介质在多个领域都有广泛的应用，为创造性的图像生成提供了强大的工具。
下载app