天冕WeFe联邦学习平台：打破数据孤岛助力企业多场景挖掘数据价值

商业资讯天冕科技零壹财经 2021-04-26 阅读：7567

关键词：数据孤岛 WeFe联邦学习 天冕 联邦学习

WeFe平台今年1月通过中国信通院泰尔实验室的检验认证，取得了业界权威的肯定。

在刚刚过去的2020年，全球数据泄露事件数量呈现爆发式增长，涉及的行业也更为广泛，数据安全问题已经逐渐成为了公众关注的焦点。一方面，有关部门对企业使用数据的管控趋严；另一方面，传统线下购买数据，联合建模方式被阻断，合作艰难，跨机构存在信任危机。基于此背景，联邦学习应运而生，联邦学习作为分布式的机器学习范式，可以有效解决数据孤岛问题，让参与方在不共享数据的基础上联合建模，能从技术上打破数据孤岛，建立共享的机器学习模型。

天冕科技集结众多技术骨干，从底层代码到算法再到平台搭建，由0到1自主研发了联邦学习平台——WeFe，在非共享的情况下，充分保护各方用户数据安全，打破数据孤岛，实现跨数据、跨行业的合作共赢。

天冕WeFe联邦学习平台（以下简称WeFe平台）支持企业按照具体的建模场景，沟通并匹配其他联邦成员（企业），在保护隐私数据的前提下，共同完成联邦模型的训练与构建，帮助建模人员快速搭建联邦学习任务（横向联邦、纵向联邦、纵横向混合联邦等），促进联邦成员间的交流与共赢，在保护数据隐私的同时，深度连接各个合作方，达到了技术赋能、共创共赢的目标。

今年1月，凭借在数据处理能力、算法实现、性能效率以及安全性等维度的出色表现，WeFe平台通过中国信通院泰尔实验室的检验认证，取得了业界权威的肯定。

天冕WeFe联邦学习平台服务架构

WeFe平台整套解决方案由 board、flow、kernel、gateway 、 union 五个部分组成。其中：union 指的是共享服务，被所有联邦成员使用，为了强调平等互信的价值观，union使用区块链作为元数据的存储环境，由成员之间共同维护，通过union可以实现各联邦成员间的基础信息交互，促成合作；board 指的是一个可视化的操控中心，用于建立多方建模合作任务。除此之外，还能在其中进行成员信息维护与资源管控；flow指的是一个资源与任务的协调控制服务，在board 中编辑好的流程所产生的建模任务由 flow 消费并执行；kernel 指的是包含了任务中各组件的具体算法，在 flow 的调度下，建模任务在 kernel 的组件中被执行完成。

具体如下图所示：

简单上手的可视化建模

Board 是一个可视化的操作平台，主要包含Dashboard、数据中心、合作中心、用户管理及全局设置等核心功能。

· Dashboard 用于监控其他服务的状态以及网关Message，便于跟踪系统上服务的运行情况，及时处理服务异常问题。
· 数据中心：集中管理联邦成员及自己的数据集信息。在数据中心，联邦成员可以添加自己的数据集，管理数据集信息的对其他联邦成员的开放权限。
· 合作中心：在合作中心创建项目或查看参与的项目，在项目中发起建模流程，根据具体的建模流程，在流程画布中以拖拉拽的形式编辑建模所需流程，构建联邦学习模型。
· 用户管理：用于管理账号以及记录用户在系统上的操作。
· 全局设置：查看和管理member信息，配置网关白名单等功能。

率先采用业界首创技术

WeFe平台也应用了多项业界首创技术，譬如支持轻量级、一键部署的计算框架——函数计算。具体来说，市面上现有的联邦学习产品，其计算框架层大部分集成的都是计算引擎Spark（Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎），使用Spark可为建模过程中提供高效的运算，但是部署一套Spark集群相对来说，比较耗时、耗力，且大部分情况是使用云服务器，联邦成本比较高，而WeFe平台另辟蹊径首创支持在为用户提供Spark集群的基础上，还可选择使用函数计算，从而实现弹性计算，动态扩展资源，节省成本，提高效率。

在WeFe平台中，使用函数计算替换Spark计算引擎，先将数据上传至云存储服务(例如对象存储OSS、表格存储Table Store等），将原来的运算任务并发上传至函数计算服务，随后运算结果统一返回，进行下一步操作，如下图所示：

其中，使用云存储的目的是存储函数计算产生的中间数据，便于之后的计算步骤读取和运算，因其与函数计算同为云服务，内部做了打通，读写效率较高，也节省数据在网络上传输的成本，提高执行效率。

*概念：函数计算（Function Compute）是一个事件驱动的全托管 Serverless 计算服务，用户无需管理服务器等基础设施，只需编写代码并上传，函数计算会准备好计算资源，并以弹性、可靠的方式运行用户上传的代码。

天冕科技依托母公司WeLab集团在金融服务领域多年的丰富实践经验，形成了针对多行业多场景的联邦学习解决方案，与此同时，天冕科技也可根据客户自身的业务情况，提供定制个性化需求服务。目前，天冕联邦学习已经与多家企业合作投产落地。

未来，天冕科技希望依托Welab强大的金融科技背景，通过WeFe平台的科技能力输出，让客户与行业之间实现精准匹配，助力不同规模的企业数字化升级。

专题推荐：金融毛细血管

零壹智库推出“金融毛细血管系列策划”，通过系列文章、系列视频、系列报告、系列研讨会和专著，系统呈现“金融毛细血管”的新状态、新功能、新价值、新定位。