您所在的位置: 成果库 一种基于文本的图像编辑方法和电子设备

一种基于文本的图像编辑方法和电子设备

成果类型：: 发明专利

发布时间: 2023-11-09 17:07:29

科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-22 10:58:38
成果简介 技术亮点 应用前景 团队概括 产生的效益 转化方式

本申请涉及图像处理领域，提供了一种基于文本的图像编辑方法和电子设备，所述方法包括：获取目标源图像的图像整体特征和图像局部特征，以及目标文本的句子整体特征和句子词特征；根据图像整体特征、图像局部特征、句子整体特征和句子词特征，基于图像编辑模型对目标源图像进行编辑，得到目标编辑图像；其中，图像编辑模型包括：采样编码模块和至少一个级联的生成模块。采用编码模块可以输出图像编辑过程的中间编辑结果，若中间编辑结果不满足用户需求，图像编辑模型可以调整中间编辑结果，将调整后的中间结果输入至少一个级联的生成模块，从而解决了ManiGAN输出的图像编辑结果不符合用户要求的问题。

一种基于文本的图像编辑方法，其特征在于，所述方法包括：获取目标源图像的图像整体特征和图像局部特征，以及目标文本的句子整体特征和句子词特征；根据所述图像整体特征、所述图像局部特征、所述句子整体特征和所述句子词特征，基于图像编辑模型对所述目标源图像进行编辑，得到目标编辑图像；其中，所述图像编辑模型包括：采样编码模块和至少一个级联的生成模块；所述图像编辑模型对所述目标源图像的处理过程包括：利用所述采样编码模块对所述图像整体特征、所述句子整体特征和所述图像局部特征进行采样编码处理，得到第一编辑图像，并输出所述第一编辑图像；响应于用户指令，将所述第一编辑图像、所述图像局部特征和所述句子词特征输入所述至少一个级联的生成模块中进行高维视觉特征提取，得到所述目标编辑图像，或者将所述目标源图像、所述图像局部特征和所述句子词特征输入到所述至少一个级联的生成模块中进行高维视觉特征提取，得到所述目标编辑图像。

  1. 移动应用： 将基于文本的图像编辑方法集成到移动应用程序中，使用户可以在手机或平板上方便地进行图像编辑。用户可以通过简单的文本命令完成复杂的编辑任务。

  2. 电脑软件： 将这种编辑方法整合到图像编辑软件中，使用户可以在桌面或笔记本电脑上使用。这可以通过插件、扩展或直接整合到主要图像编辑工具中来实现。

  3. 智能助手集成： 与智能助手（如Siri、Google Assistant）集成，使用户可以通过语音命令进行图像编辑。这需要在语音识别和图像处理方面的协同工作。

  4. 云服务： 将编辑操作上传到云端进行处理，从而使用户能够在不同设备上访问和继续编辑他们的图像。

  5. 虚拟/增强现实设备： 在虚拟或增强现实设备上实现基于文本的图像编辑，使用户能够通过眼球追踪、手势或语音与编辑操作进行交互。

中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。

  1. 文本描述语言： 设计一种简单而强大的文本描述语言，用户可以用自然语言描述他们想要对图像进行的编辑操作。例如，“将图像中的红色转换为蓝色”或“裁剪图像的左上角”。

  2. 语义理解： 利用自然语言处理和图像处理技术，将用户输入的文本描述转换为图像编辑的具体指令。这可能涉及到对文本的解析、情感分析和语义理解。

  3. 编辑操作映射： 将文本描述映射到实际的图像编辑操作。例如，将“增加亮度”映射到图像的亮度调整操作。

  4. 用户反馈： 提供实时的用户反馈，以确保编辑操作按预期执行。这可以通过显示编辑后的图像、提示用户确认等方式实现。

技术转让

这种方法的优势在于用户无需熟悉复杂的图像编辑工具，只需通过简单的文本描述就能完成编辑任务。同时，这也为无法通过传统界面进行图像编辑的人群提供了一种更直观的方式。