天冕WeFe联邦学习平台：打破数据孤岛 助力企业多场景挖掘数据价值
商业资讯 零壹财经 零壹财经 2021-04-30 阅读：1614
天冕科技集结众多技术骨干，从底层代码到算法再到平台搭建，由0到1自主研发了联邦学习平台——WeFe，在非共享的情况下，充分保护各方用户数据安全，打破数据孤岛，实现跨数据、跨行业的合作共赢。
天冕WeFe联邦学习平台（以下简称WeFe平台）支持企业按照具体的建模场景，沟通并匹配其他联邦成员（企业），在保护隐私数据的前提下，共同完成联邦模型的训练与构建，帮助建模人员快速搭建联邦学习任务（横向联邦、纵向联邦、纵横向混合联邦等），促进联邦成员间的交流与共赢，在保护数据隐私的同时，深度连接各个合作方，达到了技术赋能、共创共赢的目标。
今年1月，凭借在数据处理能力、算法实现、性能效率以及安全性等维度的出色表现，WeFe平台通过中国信通院泰尔实验室的检验认证，取得了业界权威的肯定。
天冕WeFe联邦学习服务架构
WeFe平台整套解决方案由board、flow、kernel、gateway、union五个部分组成。其中：union指的是共享服务，被所有联邦成员使用。为了强调平等互信的价值观，union使用区块链作为元数据的存储环境，由成员之间共同维护。通过union可以实现各联邦成员间的基础信息交互，促成合作；board指的是一个可视化的操控中心，用于建立多方建模合作任务。除此之外，还能在其中进行成员信息维护与资源管控；flow指的是一个资源与任务的协调控制服务，在board中编辑好的流程所产生的建模任务由flow消费并执行；kernel指的是包含了任务中各组件的具体算法，在flow的调度下，建模任务在kernel的组件中被执行完成。
如下图所示：
简单上手的可视化建模
Board是一个可视化的操作平台，主要包含Dashboard、数据中心、合作中心、用户管理以及全局设置等核心功能。
· Dashboard用于监控其他服务的状态以及网关Message，便于跟踪系统上服务的运行情况，及时处理服务异常问题。
· 数据中心：集中管理联邦成员及自己的数据集信息。在数据中心，联邦成员可以添加自己的数据集，管理数据集信息的对其他联邦成员的开放权限。
· 合作中心：在合作中心创建项目或查看参与的项目，在项目中发起建模流程，根据具体的建模流程，在流程画布中以拖拉拽的形式编辑建模所需流程，构建联邦学习模型。
· 用户管理：用于管理账号以及记录用户在系统上的操作。
· 全局设置：查看和管理member信息，配置网关白名单等功能。
率先采用业界首创技术
WeFe平台也应用了多项业界首创技术，譬如支持轻量级、一键部署的计算框架——函数计算。具体来说，市面上现有的联邦学习产品，其计算框架层大部分集成的都是计算引擎Spark（Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎），使用Spark可为建模过程中提供高效的运算，但是部署一套Spark集群相对来说，比较耗时、耗力，且大部分情况是使用云服务器，联邦成本比较高，而WeFe平台另辟蹊径首创支持在为用户提供Spark集群的基础上，还可选择使用函数计算，从而实现弹性计算，动态扩展资源，节省成本，提高效率。
在WeFe平台中，使用函数计算替换Spark计算引擎，先将数据上传至云存储服务(例如对象存储OSS、表格存储Table Store等），将原来的运算任务并发上传至函数计算服务，随后运算结果统一返回，进行下一步操作，如下图所示：
其中，使用云存储的目的是存储函数计算产生的中间数据，便于之后的计算步骤读取和运算，因其与函数计算同为云服务，内部做了打通，读写效率较高，也节省数据在网络上传输的成本，提高执行效率。
*概念：函数计算（Function Compute）是一个事件驱动的全托管Serverless计算服务，用户无需管理服务器等基础设施，只需编写代码并上传，函数计算会准备好计算资源，并以弹性、可靠的方式运行用户上传的代码。
天冕科技依托母公司WeLab集团在金融服务领域多年的丰富实践经验，形成了针对多行业多场景的联邦学习解决方案，与此同时，天冕科技也可根据客户自身的业务情况，提供定制个性化需求服务。目前，天冕联邦学习已经与多家企业合作投产落地。
未来，天冕科技希望依托Welab强大的金融科技背景，通过WeFe平台的科技能力输出，让客户与行业之间实现精准匹配，助力不同规模的企业数字化升级。
相关文章
用户评论
所有评论
主编精选
more专题推荐
more
第四届中国零售金融发展峰会(共15篇)
资讯排行
- 48h
- 7天
-
首页
-
评论
-
回顶部
游客
自律公约