AI落地遭“卡脖子”困境：为什么说联邦学习是解决良方？

出品 | AI科技大本营（ID:rgznai100）

毋庸置疑，在业界对人工智能（AI）应用落地备受期待的时期，数据这一重要支点却越来越成为一个“卡脖子”的难题。

AI落地需要数据来优化模型效果，但大部分企业不会轻易把数据无条件提供给AI公司使用，因为数据某种程度上是它们赖以生存的底牌，这也导致少数巨头公司垄断大量数据，而小公司很难获得数据的局面，另一方面，由于法律法规对数据隐私保护的规定，数据融合难上加难。数据孤岛问题似乎成了无法解开的死结，人工智能落地进程严重受阻。

此时，Google 于 2016 年提出的联邦学习（Federated Learning）技术开始在业内被寄予厚望，国内以微众银行、平安科技、百度为代表的公司成为新技术的“尝鲜者”，希望它成为打通数据孤岛的桥梁。

Google 率先建立建立联邦学习系统来解决用户个人终端设备的数据隐私问题，在安卓系统的手机用户中，首先将初始化模型下载到各终端，然后根据其本身的数据更新模型参数，不同终端随之产生不同的更新结果送到云端进行聚合，汇总后的模型参数将作为下一次更新的初始参数，一直迭代直到收敛。

用这样的方法既能保证数据不共享，保护用户隐私，同时又能共享一个通用模型，利用群体智能在云端不断更新，这就是联邦学习技术，而以该技术为核心的相关技术统称为联邦智能，平安科技副总工程师、联邦学习团队负责人王健宗博士首度提出了这一概念。他在近期接受 AI科技大本营（ID:rgznai100）等媒体采访时称，联邦学习之于联邦智能，犹如深度学习之于人工智能，不过联邦智能仍属人工智能范畴，其最终目标是为了实现人工智能。

破局数据孤岛，联邦学习的应用实践

作为联邦学习技术的早期使用者，Google 在今年 2 月开源了联邦学习框架 TensorFlow Federated，可用于去中心化数据的机器学习及运算实验。国内，微众银行 AI 团队对外开源了自研的“联邦学习 FATE（Federated AI Technology Enabler）” 学习框架，并推动其在信贷风控、监管科技等领域的应用落地。

平安科技同样自主研发了蜂巢联邦学习平台，并有了相对成熟的落地案例。王健宗提到，基于平安科技的金融、保险业务数据，他们通过联邦学习技术对此前无法获取的数据进行联合建模，从而准确预测用户贷款或者信用卡的逾期违约率以及预测跨域产品购买行为，以及通过银行客户去预测买保险客户等应用，除了金融、保险领域，他们还在医疗、智能语音以及车联 等多个领域进行了实践应用。

这些应用的共通之处在于，联邦智能解决方案要求数据在传输过程当中能够实现实时的加解密，在此基础上还要高效实现，比如做深度学习训练时，要做到几千万甚至上亿参数的交换、同步、异步处理。基于此，新方案还要保证多源数据在AI型调优过程中的安全性，同时也要有效地评估各数据源对于最终优化结果的贡献度。   总之，要在分布式环境下实现联合建模，自然会对硬件支持提出相应要求，而平安科技与英特尔的合作为上述问题的初步解决提供了有效方案。   硬件层面上，双方形容在联邦学习技术层面的合作是“一拍即合”。英特尔一直都想做一个可信计算数据分析的执行环境，希望能有效地防止外界触达和攻击敏感的数据和应用。英特尔最新发布的 SGX（软件防护扩展）技术实现了这一点，其通过处理器指令，在不同数据源中创建可信区域来用于数据访问，这正好符合目前联邦学习运算的需求。   王健宗称，SGX 一开始的配置并不是为联邦学习而生，但这个硬件可信平台后期陆续开放了一些专用接口，如此可以直接封装接口，从而在信息传递加解密过程当中更快、更高效，这种把可信计算环境“硬化”的方法能够加快迭代训练，也符合当下软件硬化，硬件软化的趋势。   对比传统软加密的方式，比如在传统的深度学习框架 TensorFlow, PyTortch , Caffe, MxNet 上进行改造，其在信息处理传输中的加解密过程会消耗太多时间。

《李开复口中的“联邦学习” 到底是什么

◆

精彩推荐

◆

2019 中国大数据技术大会（BDTC）历经十一载，再度火热来袭！ 豪华主席阵容及百位技术专家齐聚，15 场精选专题技术和行业论坛，超强干货+技术剖析+行业实践立体解读，深入解析热门技术在行业中的实践落地。 【早鸟票】 与 【特惠学生票】 限时抢购，扫码了解详情！

推荐阅读

• 肖仰华：知识图谱构建的三要素、三原则和九大策略 | AI ProCon 2019

• 10分钟搭建你的第一个图像识别模型 | 附完整代码

• 阿里披露AI完整布局，飞天AI平台首次亮相

• 程序员因接外包坐牢 456 天！两万字揭露心酸经历

• 限时早鸟票 | 2019 中国大数据技术大会（BDTC）超豪华盛宴抢先看！

• Pandas中第二好用的函数 | 优雅的Apply

• 阿里开源物联 操作系统 AliOS Things 3.0 发布，集成平头哥 AI 芯片架构

• 雷声大雨点小：Bakkt「见光死」了吗/h2>

你点的每个“在看”，我都认真当成了喜欢