论文笔记：HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

来源：AISec’19: Proceedings of the 12th ACM Workshop on Artificial Intelligence and SecurityNovember 2019

文章链接: HybridAlpha: An Efficient Approach for Privacy-Preserving Federated Learning

背景原因

1第一个FL设计旨在通过确保每个参与者将其数据保存在本地并唯一地传输模型参数，来保护数据隐私。虽然乍一看，它可能提供某种程度的隐私，但文献中的攻击已经证明，它可以推断出私人信息
2.现有的FL框架不支持参与者优雅地处理退出，并且需要使用新的密钥重新进行整个训练，或者不支持新的参与者加入。现有的方法不支持这种动态流， 需要完全重新键控。

预备知识

差分隐私

安全多方计算

威胁模型

诚实但好奇的聚合器:我们假设聚合器正确地遵循算法和协议，但可能会尝试学习私人信息，检查过程中参与者发送的模型更新。这是一个常见的假设。

•好奇和串通参与者:我们假设参与者可能串通试图通过检查与聚合器或最终模型交换的消息来获取其他参与者的私人信息。

•可信的TPA:该实体是一个独立的机构，受到参与者和聚合者的广泛信任。在现实场景中，不同的经济部门已经有了可以扮演这种角色的实体。例如，在银行业，中央银行通常发挥完全可信的作用，而在其他部门，服务或咨询公司等第三方公司可以体现TPA。我们还注意到，在现有的使用TPA作为底层基础设施的密码系统中，假设这种可信和独立的代理是一个常见的假设。TPA负责持有主私钥和公钥。TPA还被信任执行公钥分发和函数派生的密钥生成。类似地，推理预防模块是完全可信的

系统模型

实现算法

1.通过 Setup和PKDistribute算法，因此每个参与者Pi都有自己的公钥pki(第1-5行)
2. 为了开始学习过程，聚合器A异步查询每个参与者Pi，并使用查询来训练指定的学习算法LF L和参与者的数量。然后，聚合器收集各方Pi的响应(第7-12行)。
3. 当接收到所有响应时，假设存在quorum, A需要向与加权向量wp对应的TPA请求一个密钥，该密钥将用于计算内积。也就是说，聚合器基于wp向TPA请求私钥skf,wp。为了计算每个参与者模型的平均累积和，wp可以设置为wp = (1/n, 1/n，…， 1/n) s.t. |wp | = n，其中n为接收到的响应数。然后，A对收集到的密文集Smsg_recv和skf,wp应用MIFE密码系统的解密算法，更新全局模型M。注意，这里我们假设聚合器A将从每个参与者获得所有响应。在退出的情况下，可以更改n，使其反映正在聚合的参与者的数量。
注意 t>=$\frac{n}{2}+1$
阈值t会影响系统允许的退出数。主要是帮助设置回复系统的参与者的最低法定人数。HybridAlpha允许有限数量的参与者退出，而不需要任何重新输入;只有聚合器发送的加权向量需要更新，方法是唯一地包含接收到的模型更新的权重。

4.在参与者端，当参与者Pi接收到训练查询时，它使用其数据集Di训练本地模型Mi。在训练过程2中，参与者根据2.2中介绍的程序向模型参数中添加差分隐私噪声。最后，Pi使用MIFE加密算法对产生的噪声模型进行加密，并将其发送到聚合器(第18-22行)。

诚实但好奇的聚合者也可能尝试创建一个较小的加权向量，以将参与者的子集排除在聚合过程之外。在最坏的情况下，恶意聚合器会试图缩小加权向量，以包括一个参与者，以唯一地“聚合”该参与者的模型更新。

根据相同的攻击向量，与不诚实参与者勾结的恶意聚合器可能试图构建一个wp向量，以便:(i)目标参与者模型更新包含在向量中;(ii)所有其他诚实参与者模型更新都不聚合，(iii)不诚实参与者的更新包括在聚合过程中。由于聚合器与聚合过程中不诚实的参与者相互串通，并且只有目标参与者被包括在聚合中，因此很容易重构目标参与者的模型更新(它是平均方程中唯一的未知变量)。

为了防止这种推理攻击，我们提出了一个额外的组件，称为与TPA搭配的推理预防模块。该模块拦截并检查对给定加权向量的私钥请求，以防止好奇的聚合器获得允许推理的内积的密钥。

该论文计算内积和那里还是比较难理解，有时间再补上