科创中国
一种深度神经网络推理加速方法、装置、设备及存储介质
发布时间: 2023-09-11
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本申请涉及一种深度神经网络推理加速方法、装置、设备以及存储介质。所述方法包括：构建用于表示深度神经网络模型结构的Einsum计算图；基于所述Einsum计算图获取所述深度神经网络在推理计算过程中层与层之间产生的所有中间结果的可能存储格式集合，其中，所述中间结果为所述深度神经网络在推理计算过程中层与层之间产生的非最终输出结果；采用局部贪心搜索策略对所述所有中间结果的可能存储格式集合进行搜索，得到使得所述深度神经网络推理计算时间最短的最优存储格式组合；根据所述最优存储格式组合部署所述深度神经网络。本申请实施例可以在不改变深度神经网络模型结构的情况下，大大提升深度神经网络的推理计算速度。
成果亮点
权利要求
1.一种深度神经网络推理加速方法，其特征在于，包括：
构建用于表示深度神经网络模型结构的Einsum计算图；
基于所述Einsum计算图获取所述深度神经网络在推理计算过程中层与层之间产生的所有中间结果的可能存储格式集合，其中，所述中间结果为所述深度神经网络在推理计算过程中层与层之间产生的非最终输出结果；
采用局部贪心搜索策略对所述所有中间结果的可能存储格式集合进行搜索，得到使得所述深度神经网络推理计算时间最短的最优存储格式组合；
根据所述最优存储格式组合部署所述深度神经网络。
2.根据权利要求1所述的深度神经网络推理加速方法，其特征在于，所述构建用于表示深度神经网络模型结构的Einsum计算图包括：
将所述深度神经网络的模型结构转化为计算图G的形式，并使用Einsum算子替换所述计算图中的乘累加算子，生成所述Einsum计算图GE。
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
产业化落地方案
下载app