一种基于动态调整模型聚合权重的联邦学习方法
成果类型:: 发明专利
发布时间: 2022-05-19 14:11:11
本发明公开了一种基于动态调整模型聚合权重的联邦学习方法,所述方法包括:云端服务器从各客户端接收局部训练模型和数据质量指标,若达到客户端权重更新条件,则根据数据质量、模型精度和模型差异指标对模型训练精度的贡献为每个客户端计算贡献分数,并加权平均生成全局模型;云端服务器将更新后的全局模型下发给客户端,各个客户端接收到后在本地训练数据上进行模型训练,并在训练结束后再次上传局部模型和数据质量指标给云端服务器。本发明合理的运用数据分布、模型精度及模型差异等客户端训练数据,并生成动态的聚合权重,充分挖掘了客户端训练过程中可利用的特征,形成了更高质量的全局模型,从而提高了模型精度和收敛效率。
针对现有联邦学习方法无法提供通用性较好的异构数据解决思路的问题,本发明从模型训练信息入手,在不泄露用户隐私的前提下挖掘客户端的数据和模型特征,将模型精度、数据质量、模型差异三种维度训练信息量化表示,并利用三种量化指标共同建模,在此基础上为客户端动态设置聚合权重,以提高在非独立同分布数据场景下模型的精度和收敛速度。为了实现上述目标,本发明提出一种基于动态调整模型聚合权重的联邦学习方法。
随着数字化技术进入高速发展期,大数据和人工智能等技术迎来爆发式发展,这一方面为传统业态带来了升级变革的新机遇,另一方面不可避免地给数据和网络安全带来了全新的挑战。各个公司为了保证数据的安全性和隐私性,不愿共享数据,这使得各企业数据只能本地处理,导致数据孤岛问题,而数据孤岛使得各企业和研究者不能重复分析和挖掘数据特征,阻碍了大数据和人工智能的发展和应用。 为了解决数据孤岛问题,google研究院在2016年率先提出联邦学习。该技术可在数据不共享的情况下完成联合建模。具体来讲,各个数据拥有者的自有数据不会离开本地,通过联邦系统中加密机制下的参数交换方式(即在不违反数据隐私法规的情况下)联合建立一个全局的共享模型,建好的模型在各自的区域只为本地的目标服务。由于客户端的地理、时间等分布差异,联邦学习经常要处理非独立同分布(nonIID)的数据 ,而训练数据的独立同分布采样对于确保随机梯度的无偏估计是很重要的,非独立同分布数据可能造成局部模型的参数分散并最终导致聚合模型的精度下降。为了应对非独立同分布数据挑战,有些研究者提出了联邦多任务学习和联邦元学习方法,它们的核心思想都是针对异构的本地数据训练个性化或特定于设备的模型,但是这种方法的异构性只能针对本地,不能为其他具备相似特征的客户端提供贡献,通用性较差。
发明人有牟元凯、曾艳、袁俊峰、万健、张纪林。张纪林,男,1980年1月生,山东济南人,工学博士,杭州电子科技大学网络空间安全副院长,教授,博士生导师,现任学校复杂系统建模与仿真教育部重点实验室副主任,云技术中心副主任,舟山海洋电子信息研究院院长,浙江省计算机学会教育信息化专委会副主任、云计算专委会秘书长。万健,男,汉族,1968年02月生,江苏海安人,在职研究生,管理学博士,副研究员,1991年05月加入中国共产党,1991年08月参加工作。现任江苏海事职业技术学院院长。
本发明提供一种基于动态调整模型聚合权重的联邦学习方法,在保证用户数据隐私的前提下,实现联邦学习建模,解决了现有技术不能有效利用数据分布情况、模型精度以及模型差异等客户端训练相关信息来提高模型训练精度及模型收敛速度的问题,一定程度上解决了联邦学习中的数据异构问题,加速联合模型训练的收敛速度。 将数据质量、模型精度以及模型差异等客户端训练相关维度信息分别通过Wasserstein距离、模型测试精度和欧氏距离来量化成数值指标,再基于所述维度信息对模型训练的贡献加权形成动态的客户端模型聚合权重。充分挖掘了客户端训练过程中可利用的信息,使优秀的局部模型对全局模型的聚合产生更大的影响,从而提高全局模型质量。 不再局限于局部数据集数量这一固定指标决定聚合权重,而是根据训练情况结合多种训练信息动态地为客户端设置权重,实现了更合理的聚合权重分配。通过Wasserstein距离来展现客户端数据的分布情况,在不暴露客户端局部真实数据的前提下,提供有效的局部数据质量特征给服务器,一定程度上可以解决非独立同分布数据对模型训练的不良影响。
技术入股,本发明涉及分布式机器学习领域,尤其涉及一种基于动态调整模型聚合权重的联邦学习方法。针对现有联邦学习方法无法提供通用性较好的异构数据解决思路的问题,本发明从模型训练信息入手,在不泄露用户隐私的前提下挖掘客户端的数据和模型特征,将模型精度、数据质量、模型差异三种维度训练信息量化表示。技术合作,遣派学者专家到国外或者其他地区的高校,研究机构或者生产企业与对方的学者,专家合作进行研究设计,或者双方学者,专家轮流到对方学校,研究机构或者企业进行研究。