科创中国
一种安全高效的联邦学习技术
发布时间: 2023-03-29
基本信息
合作方式：
技术咨询
成果类型：
发明专利
行业领域：
电子信息技术,计算机及网络技术
成果介绍
本技术在现有联邦学习框架的基础上提出一系列改进方案，综合提升了联邦学习的安全、效率和模型质量。首先，基于纵向联邦学习具有突破数据孤岛和保护数据安全的优点，采用自编码信息混淆技术实现标签隐私信息的保护，在不影响联邦建模效果的前提下，构建了一种新的数据高效、安全、合规的使用范式，该技术可应用于纵向联邦学习场景中实现多方安全联合建模。其次，通过结合联邦学习打破数据孤岛和保护数据安全，预训练大模型可实现知识持续积累，有选择的知识蒸馏技术可实现保护隐私、模型压缩和知识迁移等方面的优势，构建一种新的数据高效、安全、合规的使用范式。即在服务器端充分利用丰富的计算资源，打造出更为强大的模型，并通过有选择的知识蒸馏策略，实现知识在服务器端的持续正向积累，来提升资源受限的终端设备和拥有大模型的服务器两端模型的整体表现，从而实现一种“数据、模型不动，知识动”的效果。
成果亮点
该技术进一步提高了联邦学习技术的数据安全性，并基于“数据模型不动、知识动”的模式突破了现有联邦学习模型的泛化和鲁棒性，并能灵活适配异质、异构的终端设备和数据分布场景，与现有联邦学习技术相比覆盖场景更广，效率更高，更符合参与方的个性化模型需求，并为联邦学习驱动的大模型训练和中心知识积累提供了技术基础。同时在安全方面，能有效的抵御多种恶意攻击和标签推断攻击。这一系列技术优势符合多方数据协作场景中对于数据安全、抗攻击、分布异构和效率提升等迫切需要，符合数据流通产品的未来趋势。
团队介绍
刘洋，现任清华大学智能产业研究院副研究员。她的研究方向包括机器学习、联邦学习、隐私计算、多智能体系统、统计力学以及这些技术的产业应用。她的团队致力通过技术研究来全面护航数据安全，并通过搭建平台和激励机制设计充分连接和挖掘数据价值，促进数据合作和多方共赢，把研究成果应用于医疗健康、自动驾驶，智慧制造等领域。她获得30余项国际国内授权专利，百余件专利申请，并在Nature，AAAI，ICLR，USENIX等知名学术期刊发表科研成果，总引用数超过6000次。她是《联邦学习》和《Federated Learning》的主要作者之一，目前担任ACM TIST期刊副主编，曾担任IEEE Intelligent Systems，IEEE BigData等期刊客座编辑。曾多次获AAAI人工智能创新奖等奖项。
成果资料
下载app