科创中国
一种基于深度学习预测神经网络训练时长的方法
成果类型：: 发明专利
发布时间: 2022-05-19 14:08:31
科技成果产业化落地方案
方案提交机构：浙江省温州市| 姚情秘 | 2023-01-09 09:15:23
本发明公开了一种基于深度学习预测神经网络训练时长的方法，为大规模集群中的深度学习任务训练时长提供预测以优化集群调度策略。本发明首先分析神经网络的结构特性和训练过程的计算组成，构建以单层网络训练时长为基本单位的完整神经网络训练时长的计算模型，为利用单层模型特征预测具备不同结构的神经网络训练时长提供支持；其次，分析模型特征和训练时长的关系，设计多层感知机模型用以提取模型特征对训练时长的影响；最后，根据模型特征对训练时长的影响，制定降维规则用以提取对训练时长影响较大的关键特征，降低模型特征的维度，并利用降维后的模型特征训练深度学习模型用以预测分布式环境下的神经网络训练时长。
本发明涉及一种基于深度学习预测神经网络训练时长的方法，用于预测大规模分布式环境下的神经网络训练时长。本发明针对现有技术的不足，设计并实现一种基于深度学习预测神经网络训练时长的方法。本发明通过构建以单层网络训练时长为基本单位的完整神经网络训练时长的计算模型，为利用单层模型特征预测神经网络训练时长提供理论支持，从而实现对不同结构神经网络训练时长的通用预测；设计多层感知机提取模型特征对训练时长的影响，实现对模型特征和训练时长关系的有效分析
近年来，随着5G技术的快速发展，互联网中的信息流通达到了前所未有的速度，快速的信息流通带来了数据量的剧烈增加，促进了大数据和人工智能技术的发展。2016年，ResNet技术被提出用于深层次网络的训练，推进了深度学习模型复杂化的发展趋势。由于数据量的剧增和模型复杂化的趋势，单机已经难以承受模型训练带来的庞大开销。针对该问题，业界开始探索分布式环境下的深度学习技术。
发明人 王鑫 曾艳 袁俊峰 张纪林 万健
张纪林，男，1980年1月生，山东济南人，工学博士，杭州电子科技大学网络空间安全副院长，教授，博士生导师，现任学校复杂系统建模与仿真教育部重点实验室副主任，云技术中心副主任，舟山海洋电子信息研究院院长，浙江省计算机学会教育信息化专委会副主任、云计算专委会秘书长。
本发明能够在保证神经网络训练时间预测高准确率的前提下，针对卷积层减少30％的模型特征和25％的训练数据；针对全连接层减少20％的模型特征和20％的训练数据；从而降低分布式环境下预测神经网络训练时间所需收集的信息量。
技术入股，对卷积层和全连接层特征数据做降维处理后，分别训练卷积层时间预测模型和全连接层时间预测模型。降维规则能够在保证时间预测模型低误差的前提下，减少时间预测模型所需的特征数据量，提高在分布式环境下使用深度学习方法预测神经网络训练时长的可行性。技术合作，遣派学者专家到国外或者其他地区的高校，研究机构或者生产企业与对方的学者，专家合作进行研究设计，或者双方学者，专家轮流到对方学校，研究机构或者企业进行研究。
下载app