科创中国
基于non-IID数据的半监督联邦学习方法
发布时间: 2022-12-14
基本信息
合作方式：
技术服务
成果类型：
新技术
行业领域：
新一代信息技术产业
成果介绍
基于non‑IID数据的半监督联邦学习方法，解决了现有联邦学习缺乏标记数据的问题，属于联邦学习应用技术领域。本发明包括：步骤1、服务器随机从全部客户端中选择设定比例F的客户端，发送全局模型ωt给选择的客户端；步骤2、服务器在标记的数据集Ds上使用本地优化器来训练监督模型σt，获得监督模型σt+1；步骤3、第k个客户端使用本地无标签数据集来训练接收到的全局模型ωt，并获得无监督模型发送给服务器；步骤4、服务器聚合客户端上传的得到第t+1轮的全局无监督模型ψt+1；步骤5、服务器将ψt+1、σt+1和ωt聚合得到新的全局模型ωt+1：ωt+1＝αψt+1+βσt+1+γωt；t＝t+1，重复步骤1至步骤5，直到全局模型ωt+1收敛。
成果亮点
本发明的有益效果，本发明为了解决缺乏标记数据的问题，提出了基于non-IID数据的半监督联邦学习方法，该方法对监督模型(在标记数据上学习)、无监督模型(在未标记数据上学习)和全局模型进行不相交学习的参数分解策略。特别地，该算法以细粒度的方式分析了全局模型在迭代之间的隐式效应。为了解决联邦学习中的non-IID问题，本发明提出了一种新的聚合规则，联邦频率(FedFreq)，该规则通过记录客户端的训练频率来动态调整相应的局部模型的权重，以缓解non-IID问题。此外，本发明引入了狄克雷分布函数来模拟不同的non-IID水平场景。
团队介绍
黑龙江大学（Heilongjiang University），位于黑龙江省哈尔滨市，是黑龙江省人民政府和中华人民共和国教育部、国家国防科技工业局共建的省属综合性大学，黑龙江省“双一流”建设国内一流大学A类高校，入选国家卓越法律人才教育培养计划、中西部高校基础能力建设工程、特色重点学科项目、国家建设高水平大学公派研究生项目、中国政府奖学金来华留学生接收院校、全国深化创新创业教育改革示范高校、教育部来华留学示范基地，是世界翻译教育联盟、中俄新闻教育高校联盟、中俄综合性大学联盟、上海合作组织大学、“一带一路”智库合作联盟成员单位
成果资料
产业化落地方案
成果综合评价报告
评价单位：“科创中国”黑龙江科技服务团 (黑龙江省科学技术协会) 评价时间：2022-12-21
黄建华
哈尔滨工业大学
教授
综合评价
传统的半监督联邦学习在训练过程中简单地使用了无监督模型和监督模型的参数分解策略，即ωt＝ψt+σt。通过这种方式，学习到的全局模型将偏向于未标记数据(无监督模型)或标记数据(有监督模型)，而不是整体数据。因此，为了避免全局模型的漂移问题，本实施方式的本实施方式的基于non-IID数据的半监督联邦学习方法将前一轮的全局模型添加到模型参数聚合中，即ωt＝αψt+βσt+γωt-1。
本实施方式的基于non-IID数据的半监督联邦学习方法对不同水平的non-IID数据具有鲁棒性。在本实施方式的实验中，本实施方式引入了狄利克雷分布函数来模拟联邦学习中本地客户端的non-IID数据分布。结果表明，在不同水平的non-IID设置下，本实施方式的模型的性能差异不超过1％。
查看更多>
下载app