科创中国
应用在神经网络数据处理中的向量上采样计算方法及装置
成果类型：: 发明专利
发布时间: 2023-10-30 15:45:18
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-11-08 15:27:39
本发明涉及神经网络领域，具体涉及一种应用在神经网络数据处理中的向量上采样计算方法及装置，该方法及装置从原始的输入特征图的位置直接求出最后放大后的输出特征图的相对应的像素起始位置，由控制模块传送给DMA控制器来控制片下DDR的读写地址。该方法及装置可以高效地处理多张图片数据，在网络中间层可以快速进行寻址，对于DDR尽大可能进行连续读写，有效地减小了算子本身和DDR交互次数，大大了提升了算子性能，缩小了系统延迟和功耗。
1.一种应用在神经网络数据处理中的向量上采样计算方法，其特征在于，包括以下步骤：
从原始的输入特征图的位置直接求出最后放大后的输出特征图的相对应的像素起始位置；
由控制模块传送给DMA控制器来控制片下DDR的读写地址。
2.根据权利要求1所述的应用在神经网络数据处理中的向量上采样计算方法，其特征在于，所述方法的推算过程如下：
S·(i-wk)+SW·S·k
＝S·i–S·W·k+S^2·W·k
＝S·i+K·[SW·(S-1)]
其中，输入特征图的宽度为W，输入特征图的放大倍数用S表示，原输入特征图的每个像素点位置用i表示，原输入特征图中的行数用字母k表示，k为从0开始的整数；
式中(i-wk)算出在原始的输入特征图中具体像素位置的列地址，再乘上S得到放大以后的输出特征图的列位置，然后再加上SW·S·k得到最终的输出特征图相对应于输入特征图的像素点的起始位置。
图像生成 ：在图像生成任务中，向量上采样用于生成高分辨率图像，如GAN（生成对抗网络）中的生成器网络。
语音合成 ：在文本到语音（TTS）任务中，向量上采样用于生成更自然的语音信号，提高音质和流畅度。
图像分割 ：在图像分割任务中，向量上采样用于将低分辨率分割结果上采样到原始图像尺寸，以生成分割掩模。
自然语言处理（NLP） ：在NLP任务中，如机器翻译，向量上采样可用于生成更长或更复杂的文本序列。
视频处理 ：在视频超分辨率和帧间插值任务中，向量上采样可用于提高视频质量和流畅度。
硬件加速器 ：向量上采样操作可以通过通用GPU、专用硬件加速卡、FPGA等硬件实现，以提高计算效率。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
线性插值 ：线性插值是一种简单的向量上采样方法，其中新向量中的每个元素都是原始向量中相邻元素的线性组合。这种方法适用于图像上采样，可以用于图像放大操作。
反卷积（转置卷积） ：反卷积操作通过卷积神经网络（CNN）中的反向卷积层来实现向量上采样。这种方法常用于图像分割、对象检测等任务中的上采样操作。
双线性插值 ：双线性插值考虑了相邻四个元素的权重，以生成更平滑的上采样结果。这种方法在图像上采样中表现出色。
上采样卷积层 ：一些神经网络架构包括专门的上采样卷积层，这些层可以在网络中进行向量上采样操作。
技术转让
向量上采样在许多应用领域都起着关键作用，它可以改善模型性能，提高生成的图像、语音、文本等质量，使神经网络模型更具实用性。
下载app