首页 > 商业资讯

天冕WeFe联邦学习平台:打破数据孤岛 助力企业多场景挖掘数据价值

商业资讯 天冕科技 零壹财经 2021-04-26

关键词:数据孤岛WeFe联邦学习天冕联邦学习

WeFe平台今年1月通过中国信通院泰尔实验室的检验认证,取得了业界权威的肯定。
在刚刚过去的2020年,全球数据泄露事件数量呈现爆发式增长,涉及的行业也更为广泛,数据安全问题已经逐渐成为了公众关注的焦点。一方面,有关部门对企业使用数据的管控趋严;另一方面,传统线下购买数据,联合建模方式被阻断,合作艰难,跨机构存在信任危机。基于此背景,联邦学习应运而生,联邦学习作为分布式的机器学习范式,可以有效解决数据孤岛问题,让参与方在不共享数据的基础上联合建模,能从技术上打破数据孤岛,建立共享的机器学习模型。

天冕科技集结众多技术骨干,从底层代码到算法再到平台搭建,由0到1自主研发了联邦学习平台——WeFe,在非共享的情况下,充分保护各方用户数据安全,打破数据孤岛,实现跨数据、跨行业的合作共赢。

天冕WeFe联邦学习平台(以下简称WeFe平台)支持企业按照具体的建模场景,沟通并匹配其他联邦成员(企业),在保护隐私数据的前提下,共同完成联邦模型的训练与构建,帮助建模人员快速搭建联邦学习任务(横向联邦、纵向联邦、纵横向混合联邦等),促进联邦成员间的交流与共赢,在保护数据隐私的同时,深度连接各个合作方,达到了技术赋能、共创共赢的目标。

今年1月,凭借在数据处理能力、算法实现、性能效率以及安全性等维度的出色表现,WeFe平台通过中国信通院泰尔实验室的检验认证,取得了业界权威的肯定。

天冕WeFe联邦学习平台服务架构

WeFe平台整套解决方案由 board、flow、kernel、gateway 、 union 五个部分组成。其中:union 指的是共享服务,被所有联邦成员使用,为了强调平等互信的价值观,union使用区块链作为元数据的存储环境,由成员之间共同维护,通过union可以实现各联邦成员间的基础信息交互,促成合作;board 指的是一个可视化的操控中心,用于建立多方建模合作任务。除此之外,还能在其中进行成员信息维护与资源管控;flow指的是一个资源与任务的协调控制服务,在board 中编辑好的流程所产生的建模任务由 flow 消费并执行;kernel 指的是包含了任务中各组件的具体算法,在 flow 的调度下,建模任务在 kernel 的组件中被执行完成。

具体如下图所示:


简单上手的可视化建模

Board 是一个可视化的操作平台,主要包含Dashboard、数据中心、合作中心、用户管理及全局设置等核心功能。

· Dashboard 用于监控其他服务的状态以及网关Message,便于跟踪系统上服务的运行情况,及时处理服务异常问题。
· 数据中心:集中管理联邦成员及自己的数据集信息。在数据中心,联邦成员可以添加自己的数据集,管理数据集信息的对其他联邦成员的开放权限。
· 合作中心:在合作中心创建项目或查看参与的项目,在项目中发起建模流程,根据具体的建模流程,在流程画布中以拖拉拽的形式编辑建模所需流程,构建联邦学习模型。
· 用户管理:用于管理账号以及记录用户在系统上的操作。
· 全局设置:查看和管理member信息,配置网关白名单等功能。

率先采用业界首创技术

WeFe平台也应用了多项业界首创技术,譬如支持轻量级、一键部署的计算框架——函数计算。具体来说,市面上现有的联邦学习产品,其计算框架层大部分集成的都是计算引擎Spark(Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎),使用Spark可为建模过程中提供高效的运算,但是部署一套Spark集群相对来说,比较耗时、耗力,且大部分情况是使用云服务器,联邦成本比较高,而WeFe平台另辟蹊径首创支持在为用户提供Spark集群的基础上,还可选择使用函数计算,从而实现弹性计算,动态扩展资源,节省成本,提高效率。

在WeFe平台中,使用函数计算替换Spark计算引擎,先将数据上传至云存储服务(例如对象存储OSS、表格存储Table Store等),将原来的运算任务并发上传至函数计算服务,随后运算结果统一返回,进行下一步操作,如下图所示:


其中,使用云存储的目的是存储函数计算产生的中间数据,便于之后的计算步骤读取和运算,因其与函数计算同为云服务,内部做了打通,读写效率较高,也节省数据在网络上传输的成本,提高执行效率。

*概念:函数计算(Function Compute)是一个事件驱动的全托管 Serverless 计算服务,用户无需管理服务器等基础设施,只需编写代码并上传,函数计算会准备好计算资源,并以弹性、可靠的方式运行用户上传的代码。

天冕科技依托母公司WeLab集团在金融服务领域多年的丰富实践经验,形成了针对多行业多场景的联邦学习解决方案,与此同时,天冕科技也可根据客户自身的业务情况,提供定制个性化需求服务。目前,天冕联邦学习已经与多家企业合作投产落地。

未来,天冕科技希望依托Welab强大的金融科技背景,通过WeFe平台的科技能力输出,让客户与行业之间实现精准匹配,助力不同规模的企业数字化升级。

以移动互联网、大数据、人工智能、生物科技、区块链等为代表的技术不断成熟,推动了保险科技的蓬勃发展。保险业加速数字化转型,新型的保险商业生态应运而生。 《保险科技行业观察》专栏跟踪研究保险科技行业发展、企业案例、技术创新和资本投入,并根据市场热点撰写专题报告。

点击下方图片,阅读完整报告专栏

上一篇>京东科技发布“京东AI经济学家”智能研究分析终端

下一篇>这项技术可以让隐私数据“可用不可见“


所属专题


相关文章


用户评论

游客

自律公约

所有评论

主编精选

more

专题推荐

more

2020数字科技年会暨零壹财经新金融年会(共20篇)


资讯排行

  • 48h
  • 7天



耗时 174ms