科创中国

联邦学习投毒攻击防御与追溯系统

电子工程学院
一、成果简介
   当前，保护数据的隐私和安全已经成为世界性的热点，各国都在加强对数据安全和隐私的保护。近年来，国家相继出台个人信息保护的标准和政策，旨在加强隐私保护。为了在符合相关法规的前提下使用数据，部分研究者尝试令各方数据保留在本地的同时训练全局模型，如 Google 提出的联邦学习。作为一种加密的分布式机器学习技术，联邦学习能够让参与各方在不披露底层数据和底层数据加密（混淆）形态的前提下，仍然能利用其余几方参与者提供的信息，更好地训练联合模型，提升 AI 模型效果。
   然而，将数据留在本地的方式却也引发其他问题，如针对联邦模型的投毒攻击。投毒攻击通过攻击训练数据集或算法来操纵机器学习模型的预测，使分类器识别特定样本的分类边界发生变化。而联邦学习场景下的投毒攻击通常拥有更强的隐蔽性和破坏性。
   因此，我们将传统投毒攻击防御中对原始数据的清洗过程转变至对上传的模型权重参数的预处理，在参数服务器部署防御框架来防御投毒攻击。我们设计了一种新颖的防御与追溯框架，该框架主要由模型聚类、初步防御和细化防御三个模块构成，构建多层纵深防御体系，保护联邦模型安全，并在源头上主动追溯攻击者。我们设计面向神经网络的无监督层级聚类算法，消除了神经网络中隐含元素置换不变性的影响。根据类内代表模型在聚合过程中的贡献度确定其可疑度，并以动量思想将可疑度绑定每个客户端，并结合历史用户行为对攻击进行定位。我们的防御框架可以自主评估模型贡献度，自动确定可疑度动态划分阈值，并在图像、文本等多源数据集上达到了 100%追溯率，实现了零漏检，零误检。
目前，成果性能已经过多方测试和验证，代码已部署在华为自研深度学习框架MindSpore 中，进一步为广大开发者所用。
二、主要技术指标
针对联邦学习中的模型投毒攻击，开发防御与审计机制，在有效聚合客户端模型的同时防止联邦模型被污染，及联邦模型被污染后迅速有效地定位攻击者。

（1）联邦学习模型在应用防御机制后，在无攻击时，模型精度对比传统的无的御聚合算法没有损失，在有攻击时，精度损失控制在 3%。
（2）防御框架在遭遇本地投毒攻击时，误判率对比传统算法控制在 5%以内，即在联邦模型上的攻击成功率小于 5%。
（3）模型攻击行为追溯率达 80%。
三、相关成果
本成果针对人工智能安全领域的联邦学习中的投毒攻击的研究，以软件形式部署在华为自研深度学习框架 MindSpore 中，将用于华为旗下使用 MindSpare 的服务器、终端等设备，共同构建框架式防御体系，提高用户体验，保护用户数据安全。
四、推广应用场景
本成果通过低成本快速迭代的联合建模服务，能够在保护所有参与方隐私的同时，有效释放出各方大数据生产力，具备安全性高、大数据分析能力强、接入便捷、高效率和成本低的优势，广泛适应于业务创新的应用场景。如互联网，金融，自动驾驶和许多其他行业。由于诸如知识产权，隐私保护和数据安全之类的因素而导致这些行业中的数据无法直接汇总用于训练机器学习模型。同时这些行业对于模型的稳定性，安全性也有较高的要求。而联邦学习的过程是一个分布式高频通信的训练过程，涉及多方数据、多方通信，每个环节都存在被攻击的间隙：包括对多方数据源计算节点的攻击、对多方节点之间通信的信道攻击、对各方数据样本集的攻击、对加密算法本身的攻击等等。例如，在金融领域，投毒攻击者可通过虚假申报交易单的方式影响人工智能投资系统的决策，制造大规模股市波动；在自动驾驶领域，数据投毒可能导致车辆违反交通规则造成交通事故；在军事领城甚至可以通过信息伪装等方式诱导自主性武器启动或攻击，从而带来毁灭性的后果。我们创新性提出的基于联邦学习的通用投毒检测防御和追溯模型便能满足这类需求，在不损失模型精度的前提下，有效防御各类投毒攻击，保护模型安全。
我们探索重塑端边云一体化 AI市场，利用联邦学习的机制，持续聚焦各个行业领域的实际需求，与传统的本地建模相比，联邦学习建模采用加密交换机器学习的中间结果完成联合建模，在保持效果增益的情况下，对法律法规的遵从度更高，同时进一步提升算法准确率，并且形成网络效应，例如在智能终端领城，将本系统拓展到互联网部量终端设备之上，从而形成一个以智能终端（如安卓手机、平板、IoT设备）为计算节点、大规模分布式联邦学习框架。具体地说如互联网 APP 用户，通过融合终端用户对相同设备或应用的不同体验进行 AI联合建模（比如图像分类）。在经用户授权后，联合建模过程中，用户的个人隐私（如本地图片）均不出个人终端设备（如手机），从而保证了个人隐私安全。同时在遭到本地恶意投毒攻击时，能够进行有效防御并准确定位攻击者，保护模型安全，稳定且安全地提供对用户有价值的应用服务,又如在自动驾驶邻域，本成果能保证在与各参与方进行数据交互之前，使用健壮的投毒数据验证机制，能有效抵御不同规模的攻击，即便在极端情况（只有一个正常用户），都能精确区分正常用户与攻击者，以防止恶意参与者对模型进行投毒攻击，从而避免造成大规模交通事故。