什么是联邦学习/联邦学习的过程

联邦学习-最近比较火的名词。应该有很多人听过但是始终都没明白是联邦学习。很多同学应该也从网上搜集一些相关资料来学习&＃xff0c;大概知道联邦学习的作用主要是用来解决数据孤岛&＃xff0c;那他又是如何来解决数据孤岛问题的&＃xff1f;本系列专栏将从多维度介绍联邦学习&＃xff0c;包括背景、概念、技术原理等。

联邦学习的概念

联邦机器学习(Federated machine learning/Federated Learning)&＃xff0c;又名联邦学习&＃xff0c;联合学习&＃xff0c;联盟学习。联邦机器学习是一个机器学习框架&＃xff0c;能有效帮助多个机构在满足用户隐私保护、数据安全和政府法规的要求下&＃xff0c;进行数据使用和机器学习建模。联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,实现AI协作。谷歌在2016年提出了针对手机终端的联邦学习,微众银行AI团队则从金融行业实践出发,关注跨机构跨组织的大数据合作场景&＃xff0c;首次提出“联邦迁移学习”的解决方案&＃xff0c;将迁移学习和联邦学习结合起来。据杨强教授在“联邦学习研讨会”上介绍,联邦迁移学习让联邦学习更加通用化,可以在不同数据结构、不同机构间发挥作用&＃xff0c;没有领域和算法限制,同时具有模型质量无损、保护隐私、确保数据安全的优势。

联邦学习定义了机器学习框架&＃xff0c;在此框架下通过设计虚拟模型解决不同数据拥有方在不交换数据的情况下进行协作的问题。虚拟模型是各方将数据聚合在一起的最优模型&＃xff0c;各自区域依据模型为本地目标服务。联邦学习要求此建模结果应当无限接近传统模式&＃xff0c;即将多个数据拥有方的数据汇聚到一处进行建模的结果。在联邦机制下&＃xff0c;各参与者的身份和地位相同&＃xff0c;可建立共享数据策略。由于数据不发生转移&＃xff0c;因此不会泄露用户隐私或影响数据规范。为了保护数据隐私、满足合法合规的要求。

联邦学习有三大构成要素&＃xff1a;数据源、联邦学习系统、用户。三者间关系如图所示&＃xff0c;在联邦学习系统下&＃xff0c;各个数据源方进行数据预处理&＃xff0c;共同建立及其学习模型&＃xff0c;并将输出结果反馈给用户。

联邦学习的分类
根据参与各方数据源分布的情况不同&＃xff0c;联邦学习可以被分为三类&＃xff1a;横向联邦学习、纵向联邦学习、联邦迁移学习。

横向联邦学习

在两个数据集的用户特征重叠较多而用户重叠较少的情况下&＃xff0c;我们把数据集按照横向(即用户维度)切分&＃xff0c;并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。这种方法叫做横向联邦学习。

比如业务相同但是分布在不同地区的两家企业&＃xff0c;它们的用户群体分别来自各自所在的地区&＃xff0c;相互的交集很小。但是&＃xff0c;它们的业务很相似&＃xff0c;因此&＃xff0c;记录的用户特征是相同的。此时&＃xff0c;就可以使用横向联邦学习来构建联合模型。

横向联邦学习中多方联合训练的方式与分布式机器学习&＃xff08;Distributed Machine Learning&＃xff09;有部分相似的地方。分布式机器学习涵盖了多个方面&＃xff0c;包括把机器学习中的训练数据分布式存储、计算任务分布式运行、模型结果分布式发布等&＃xff0c;参数服务器是分布式机器学习中一个典型的例子。参数服务器作为加速机器学习模型训练过程的一种工具&＃xff0c;它将数据存储在分布式的工作节点上&＃xff0c;通过一个中心式的调度节点调配数据分布和分配计算资源&＃xff0c;以便更高效的获得最终的训练模型。而对于联邦学习而言&＃xff0c;首先在于横向联邦学习中的工作节点代表的是模型训练的数据拥有方&＃xff0c;其对本地的数据具有完全的自治权限&＃xff0c;可以自主决定何时加入联邦学习进行建模&＃xff0c;相对地在参数服务器中&＃xff0c;中心节点始终占据着主导地位&＃xff0c;因此联邦学习面对的是一个更复杂的学习环境&＃xff1b;其次&＃xff0c;联邦学习则强调模型训练过程中对数据拥有方的数据隐私保护&＃xff0c;是一种应对数据隐私保护的有效措施&＃xff0c;能够更好地应对未来愈加严格的数据隐私和数据安全监管环境。

纵向联邦学习

在两个数据集的用户重叠较多而用户特征重叠较少的情况下&＃xff0c;我们把数据集按照纵向&＃xff08;即特征维度&＃xff09;切分&＃xff0c;并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。这种方法叫做纵向联邦学习。

比如有两个不同机构&＃xff0c;一家是某地的银行&＃xff0c;另一家是同一个地方的电商。它们的用户群体很有可能包含该地的大部分居民&＃xff0c;因此用户的交集较大。但是&＃xff0c;由于银行记录的都是用户的收支行为与信用评级&＃xff0c;而电商则保有用户的浏览与购买历史&＃xff0c;因此它们的用户特征交集较小。纵向联邦学习就是将这些不同特征在加密的状态下加以聚合&＃xff0c;以增强模型能力的联邦学习。目前机器学习模型如逻辑回归、决策树等均是建立在纵向联邦学习系统框架之下的。

联邦迁移学习

在两个数据集的用户与用户特征重叠都较少的情况下&＃xff0c;我们不对数据进行切分&＃xff0c;而可以利用迁移学习来克服数据或标签不足的情况。这种方法叫做联邦迁移学习。

比如有两个不同机构&＃xff0c;一家是位于中国的银行&＃xff0c;另一家是位于美国的电商。由于受到地域限制&＃xff0c;这两家机构的用户群体交集很小。同时&＃xff0c;由于机构类型的不同&＃xff0c;二者的数据特征也只有小部分重合。在这种情况下&＃xff0c;要想进行有效的联邦学习&＃xff0c;就必须引入迁移学习&＃xff0c;来解决单边数据规模小和标签样本少的问题&＃xff0c;从而提升模型的效果。

联邦学习的过程分为自治和联合两部分。

自治的部分&＃xff1a;首先&＃xff0c;两个或两个以上的的参与方们在各自终端安装初始化的模型&＃xff0c;每个参与方拥有相同的模型&＃xff0c;之后参与方们可以使用当地的数据训练模型。由于参与方们拥有不同的数据&＃xff0c;最终终端所训练的模型也拥有不同的模型参数。

联合的部分&＃xff1a;不同的模型参数将同时上传到云端&＃xff0c;云端将完成模型参数的聚合与更新&＃xff0c;并且将更新好的参数返回到参与方的终端&＃xff0c;各个终端开始下一次的迭代。以上的程序会一直重复&＃xff0c;直到整个训练过程的收敛。

现以包含两个数据拥有方&＃xff08;即企业A和B&＃xff09;的场景为例来介绍联邦学习的系统构架&＃xff0c;该构架可扩展至包含多个数据拥有方的场景。假设企业 A 和 B 想联合训练一个机器学习模型&＃xff0c;它们的业务系统分别拥有各自用户的相关数据。此外&＃xff0c;企业 B 还拥有模型需要预测的标签数据。出于数据隐私和安全考虑&＃xff0c; A 和 B 无法直接进行数据交换。此时&＃xff0c;可使用联邦学习系统建立模型&＃xff0c;系统构架如图所示。

第一部分&＃xff1a;加密样本对齐。

由于两家企业的用户群体并非完全重合&＃xff0c;系统基于加密的用户样本对齐技术&＃xff08;如RSA&＃xff09;&＃xff0c;在A和B不公开各自数据的前提下确认双方的共有用户&＃xff0c;并且不暴露不互相重叠的用户。以便联合这些用户的特征进行建模。

第二部分&＃xff1a;加密模型训练。

在确定共有用户群体后&＃xff0c;就可以利用这些数据训练机器学习模型。为了保证训练过程中数据的保密性&＃xff0c;有时需要借助第三方协作者C进行加密训练。以线性回归模型为例&＃xff0c;训练过程可分为以下 4 步&＃xff1a;

第①步&＃xff1a;协作者C把公钥分发给A和B&＃xff0c;用以对训练过程中需要交换的数据进行加密&＃xff1b;

第②步&＃xff1a;A和B之间以加密形式交互用于计算梯度的中间结果&＃xff1b;

第③步&＃xff1a;A和B分别基于加密的梯度值进行计算&＃xff0c;同时 B 根据其标签数据计算损失&＃xff0c;并把这些结果汇总给C。 C 通过汇总结果计算总梯度并将其解密&＃xff1b;

第④步&＃xff1a; C将解密后的梯度分别回传给A和B&＃xff1b; A和B根据梯度更新各自模型的参数。

迭代上述步骤直至损失函数收敛&＃xff0c;这样就完成了整个训练过程。在样本对齐及模型训练过程中&＃xff0c;A和B各自的数据均保留在本地&＃xff0c;且训练中的数据交互也不会导致数据隐私泄露。因此&＃xff0c;双方在联邦学习的帮助下得以实现合作训练模型。

第三部分&＃xff1a;效果激励。

联邦学习的一大特点就是它解决了为什么不同机构要加入联邦共同建模的问题&＃xff0c;即建立模型以后模型的效果会在实际应用中表现出来&＃xff0c;并记录在永久数据记录机制&＃xff08;如区块链&＃xff09;上。提供的数据多的机构会看到模型的效果也更好&＃xff0c;这体现在对自己机构的贡献和对他人的贡献。这些模型对他人效果在联邦机制上以分给各个机构反馈&＃xff0c;并继续激励更多机构加入这一数据联邦。

以上三个步骤的实施&＃xff0c;即考虑了在多个机构间共同建模的隐私保护和效果&＃xff0c;有考虑了如何奖励贡献数据多的机构&＃xff0c;以一个共识机制来实现。所以&＃xff0c;联邦学习是一个“闭环”的学习机制。