科创中国
一种深度神经网络推理加速方法、装置、设备及存储介质
成果类型：: 发明专利
发布时间: 2023-09-11 15:07:15
科技成果产业化落地方案
方案提交机构：天津市滨海新区| 宋学姮 | 2023-09-28 15:42:14
本申请涉及一种深度神经网络推理加速方法、装置、设备以及存储介质。所述方法包括：构建用于表示深度神经网络模型结构的Einsum计算图；基于所述Einsum计算图获取所述深度神经网络在推理计算过程中层与层之间产生的所有中间结果的可能存储格式集合，其中，所述中间结果为所述深度神经网络在推理计算过程中层与层之间产生的非最终输出结果；采用局部贪心搜索策略对所述所有中间结果的可能存储格式集合进行搜索，得到使得所述深度神经网络推理计算时间最短的最优存储格式组合；根据所述最优存储格式组合部署所述深度神经网络。本申请实施例可以在不改变深度神经网络模型结构的情况下，大大提升深度神经网络的推理计算速度。
权利要求
1.一种深度神经网络推理加速方法，其特征在于，包括：
构建用于表示深度神经网络模型结构的Einsum计算图；
基于所述Einsum计算图获取所述深度神经网络在推理计算过程中层与层之间产生的所有中间结果的可能存储格式集合，其中，所述中间结果为所述深度神经网络在推理计算过程中层与层之间产生的非最终输出结果；
采用局部贪心搜索策略对所述所有中间结果的可能存储格式集合进行搜索，得到使得所述深度神经网络推理计算时间最短的最优存储格式组合；
根据所述最优存储格式组合部署所述深度神经网络。
2.根据权利要求1所述的深度神经网络推理加速方法，其特征在于，所述构建用于表示深度神经网络模型结构的Einsum计算图包括：
将所述深度神经网络的模型结构转化为计算图G的形式，并使用Einsum算子替换所述计算图中的乘累加算子，生成所述Einsum计算图GE。
近年来，随着硬件设备算力的提升以及越来越多的数据可供使用，深度学习技术在图像、文本、语音和推荐系统等领域取得了显著的效果，深度神经网络在各行各业都进行了广泛的应用。深度神经网络通过从大规模数据中学习特征，并将结果泛化至未知数据中。然而，优异性能的代价是网络规模的扩大，这主要体现在参数量和计算量两个方面，关于参数量，以深度神经网络VGG16为例，其参数量超过500MB，而这些参数均需要存储在存储器中并在推理时不断进行读取和写入；关于计算量，深度神经网络包含大量的乘累加操作，如VGG16中包含超过15G的浮点运算量。如此庞大的参数量和计算量必然会影响深度神经网络的推理速度，从而导致将深度神经网络应用在智能手机或穿戴式设备等存储容量和计算能力受限并且具有较高实时性要求的嵌入式设备中成为一个难题。
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
相对于现有技术，本申请实施例产生的有益效果在于：本申请实施例的深度神经网络推理加速方法、装置、设备以及存储介质通过构建深度神经网络的Einsum计算图，基于Einsum计算图获取深度神经网络在推理计算过程中层与层之间产生的所有中间结果的可能存储格式集合，采用局部贪心搜索策略对所有中间结果的可能存储格式集合进行搜索，得到使得深度神经网络推理计算时间最短的最优存储格式组合，按照最优存储格式组合部署深度神经网络，从而在不改变深度神经网络的模型结构、不损害深度神经网络的原有性能的情况下，大大提升深度神经网络的推理计算速度，便于深度神经网络部署在算力较低的边缘计算设备。本申请实施例无需用户拥有太多深度神经网络模型推理加速的专业知识，无需过多考虑硬件特性，具有较高的通用性。
技术合作
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
下载app