科创中国
异步分布式训练系统及方法
发布时间: 2023-11-02
基本信息
合作方式：
技术服务
成果类型：
发明专利
行业领域：
物理
成果介绍
本发明公开了一种异步分布式训练系统及方法，所述系统包括组管理器和与组管理器网络连接的机器节点node
成果亮点
一种异步分布式训练系统，其特征在于，包括组管理器和与所述组管理器通过网络连接的n个机器节点node1至noden，所述组管理器包括组生成单元、组清除单元和节点信息表；其中，
每一机器节点nodei被配置为基于本地数据集对模型进行迭代训练；
所述组生成单元被配置为基于所述机器节点nodei的分组请求，根据预设的分组条件对所述机器节点nodei进行分组并更新所述节点信息表；
所述组清除单元被配置为基于所述机器节点nodei的释放请求清除所述机器节点nodei的组信息并更新所述节点信息表；
所述节点信息表用于记录所述n个机器节点node1至noden的状态信息并能够被所述组生成单元和所述组清除单元共享；
其中，所述预设的分组条件为同时满足以下条件(A)和(B)：
(A)、能够与提出分组请求的机器节点nodei分为同一组的机器节点nodej为未分组状态，且机器节点nodej的分组请求次数与所述机器节点nodei的分组请求次数的差值不大于差值阈值；
(B)、设定同一组的机器节点的数量为固定值，并且当满足条件(A)的机器节点的数量小于所述固定值时，无需等待即进行分组；
团队介绍
中国科学院深圳先进技术研究院提升了粤港地区及我国先进制造业和现代服务业的自主创新能力，推动我国自主知识产权新工业的建立，成为国际一流的工业研究院。 深圳先进院目前已初步构建了以科研为主的集科研、教育、产业、资本为一体的微型协同创新生AC态系统，由九个研究平台，国科大深圳先进技术学院，多个特色产业育成基地、多支产业发展基金、多个具有独立法人资质的新型专业科研机构等组成。开展先进技术研究，促进科技发展。信息、电子、通讯技术研究新材料、新能源技术研究高性能计算、自动化、精密机械研究生物医学与医疗仪器研究相关学历教育、博士后培养与学术交流。
成果资料
下载app