科创中国
一种报告生成方法、系统及终端设备
成果类型：: 发明专利
发布时间: 2023-11-09 14:36:18
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-17 16:30:08
本申请适用于图像处理技术领域，提供了一种报告生成方法、系统及终端设备，基于训练数据中的报告文本数据提取报告的知识主题，接着将原始图像输入视觉提取器中结合预先得到的知识主题特征进行端对端的分类训练，得到和知识主题特征对齐的视觉特征向量；将所述视觉特征向量输入至报告生成模块中进行报告单词预测，生成报告，通过将图像特征和知识主题建立关联，使得图像描述过程中的图像特征和文本特征能够有效地结合，并基于此生成报告，使得生成的报告能够准确地描述出医学图像中的特征信息，缓解目前图像和文本特征不匹配的现象，解决了目前图像描述应用在医学图像的报告生成时存在报告准确率和可靠性低的问题。
1.一种报告生成方法，其特征在于，包括：
将原始图像输入至完成训练的视觉提取器中进行特征提取，得到所述原始图像的视觉特征向量，所述视觉特征向量与知识主题对应，所述知识主题基于训练数据的报告文本数据提取得到；
将所述视觉特征向量输入至完成训练的报告生成模块中进行报告单词预测，生成报告。
2.根据权利要求1所述报告生成方法，其特征在于，还包括：
根据训练数据的报告文本数据提取知识主题；
基于训练数据的历史医学图像和图像对应的知识主题分类结果，对未训练的视觉提取器进行训练，得到完成训练的视觉提取器；
基于历史医学报告、完成训练的视觉提取器提取的视觉图像特征向量对未训练的报告生成模块进行训练，得到训练完成的报告生成模块。
3.根据权利要求1所述报告生成方法，其特征在于，所述视觉提取器包括视觉编码器和TF编码器，所述将原始图像输入至完成训练的视觉提取器中进行视觉特征提取，得到所述原始图像的视觉特征向量，包括：
通过所述视觉提取器提取所述原始图像中出与知识主题对应的视觉特征向量；
通过所述TF编码器确定所述视觉特征向量的权重和知识主题中对应的关键词向量。
报告生成方法：
- 报告生成： 涉及生成文档或报告的过程，可能涉及从输入数据中提取信息并按照一定格式组织和呈现。
- 方法： 描述了用于生成报告的特定步骤、算法或技术。
系统：
- 报告生成系统： 一个集成了硬件和软件组件的系统，用于执行报告生成方法。
- 可能的组件： 包括数据处理模块、报告模板、用户界面等。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
终端设备：
- 终端设备： 指最终用户使用的设备，例如计算机、智能手机、平板电脑等。
- 可能的功能： 用户可能使用终端设备与报告生成系统进行交互，输入相关信息或查看生成的报告。
应用领域：
- 报告生成的应用： 描述了该技术可能被应用的领域，例如业务报告、医学报告等。
可能的特性：
- 自动化： 方法或系统可能具有自动化的特性，能够从输入数据中自动生成报告。
- 定制化： 系统可能支持根据用户需求定制报告的功能。
技术转让
这种描述表明该技术涉及一种报告生成方法，其通过一个系统实现，并且用户可以使用终端设备与系统进行交互。这样的系统在各种领域都有应用，从业务报告到医学报告等。
下载app