大咖分享|许锡彬:数据中台建设路径探索

背景

由数澜科技打造的《数据中台行业观察》以“聚焦数据中台,让数据用起来”为宗旨,围绕数据中台产业前沿动态,融合研究院专家、媒体观点,以及各行业领军企业数据中台建设和数字化转型实践,旨在为广大企业管理者提供数据中台行业深度内容,赋能企业数据中台建设和数字化转型。

其中,数澜科技CTO军浪对数据中台建设过程中的建设困境、建设路径、技术维度进行拆解和讲解,了解更多内容点击文末链接


《关于构建更加完善的要素市场化配置体制机制的意见》《关于加快推进国有企业数字化转型工作的通知》《“十四五”国家信息化规划》等政策落地实施,数字化转型已步入了一个全新的阶段,数据中台(后文单说“中台”时,特指“数据中台”)作为数字化建设的基本设施,在其中发挥了重要的作用。

纵观数据中台产业的发展,自成长之初,就具备了“天时地利人和”多重利好条件。

技术架构层面,随着云计算、大数据的技术发展,数据中台在技术上逐渐走向成熟。在资源型平台方面,从Hadoop体系开始,到Spark、Flink;从传统的OLTP,到OLAP、HTAP;从一般批调度,到Lambda架构、流批一体;从数据仓库到湖仓一体……琳琅满目的技术体系,足以支持数据中台的存储及技术上不同的架构。

建设工具层面,数据中台所需的开发体系、数据体系、管理体系、运营体系、服务体系,在各头部互联 企业、独立中台开发商的竞争下,也不乏选择。在应用服务层面,数据分析查询、数据可视化、BI等通用型服务工具也在高速发展。在业务价值层面,数据智能应用也给原来传统软件解决方案带来新的思路。

站在技术发展成熟度的视角,数据中台这座大厦理应拔地而起,高速成长。但在实际市场中,数据中台还是各互联 大厂、传统龙头企业的专属,大部分企业还是只能观望。为什么呢p>

1. 建设困境:基于建设路径、技术选择、组织支撑视角

首先从数据中台的实现方式说起,一般来说,建设数据中台有着独立建设数据中台、附属于业务(业务中台)建设数据中台、业务中台和数据中台结合共建三种模式。它们各有优缺点,不同企业不同目的,应该选择不同建设方式,短时间建设是不能做到殊途同归的。

独建中台,受业务干预少,所以在基础设施上比较自由,总体建设难度小。但由于通用性或单一性,业务接入难度大(或者说效率低),中台价值很难最大化。这种方式比较适合业务数据相对集中,数据有统一性的价值出口,比如ToC带有互联 属性的企业。

依附业务,有明确的价值输出点,在建设初期可以根据业务来确定数据相关体系标准,工具交互可以有强业务逻辑,总体建设难度适中,而且一定程度(业务没有大变化的情况下)中台价值能最大化。但这样的中台不利于其他业务接入,不能适应业务的快速变化。这种方式比较适合没有足够规模的技术团队支撑数据中台全面发展的中小型企业。

相互共建,有高度统一性,能持续发展,平台价值能最大化。但实现难度十分大,需要有完整规划,以及全方位的人才投入,建设周期长。这种方式比较适合政府机构、大型集团性企业。

其次,再来看看技术层面的影响。技术一般不是影响数据中台建设的重要原因,但很多时候是阻碍其建设的重要因素。主要影响可能是以下三点:

  • 存储及计算引擎选择。因为这块的变动需要做大量的迁移工作(如:阿里由Hadoop转成自有技术MaxCompute),所以前期选型工作要做深远的考虑。但现行大数据技术还在不断迭代中,过去的选择当前可能有更好的替代品。
  • 成本效益的考虑。数据中台的一个核心是数据的“复用”,这个“复用”的效果很多程度上反映在数据使用的效率上。这里面具体有两方面问题。一方面,性能的效率,如存储成计算成本等。在数据量上去后,这块成本是十分可观的,往往会影响上层决策;另一方面,工具串联下来的所能带来的工作效率的提升,以及入手门槛的降低,这块往往是中台是否能能长期发展的一个重要影响因素。
  • 技术使用惯性。相对中大规模中台建设的公司,一般都会有自己的技术团队,他们已经有存在一些技术使用的惯性,技术的选择是考虑业务的长足发展还是要兼顾当前的研发成本和效率,也是一个重要的考量。

接着,我们说组织支持方面的原因。数澜科技数据中台构建方法论中,重点提到组织文化在其中的重要作用(单纯的引入行业领先数据文化并强制执行一定是不可取的,要培养数据文化不能局限于技术专业人员,更要让业务部门深入参与共创,并有意识的培养员工在数据认知的突破,通过数据赋能业务的落地实践,可进一步拉动企业组织对“数据素养”的人才需求)。

在IBM《数据治理能力成熟度模型》中,组织结构和文化也是数据治理工作的重要支撑部分。

数据体系、资产体系是中台使用的基础。数据体系是在全域数据资源的基础上,进行标准定义及分层建模,最终呈现的结果是一套完整、规范、标准、准确的数据体系,可以方便支撑数据应用。资产体系是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。这两块一般按公司实际业务情况来落地,没有最好,只有最合适。

对于中大型企业来说,可量化来衡量数据及数据中台的价值是十分重要,毕竟数据中台是长期的投入,它的ROI是怎样会直接影响中台投入的资源,因此会十分关注数据运营来实现业务价值。

而对政务组织而言,情况又不太一样。数据安全性是他们当前要重点考虑的事情。根据《大数据蓝皮书:中国大数据发展 告No.5》数据显示:在二十国(G20)之中,除数字安全外,中国在其他指标都排行前列的。所以,国家在近两年公布了大量相关的法制、法规,加强数字法治性的发展。当前研究热点,多集中在数据安全、数权、个人信息保护及权利行使等领域,所以数据中台建设要更多考虑安全及隐私。

3. 技术维度:从DataOps能力看数据中台建设

……………

? 点击此处获取完整内容以及直播回放??

文章知识点与官方知识档案匹配,可进一步学习相关知识MySQL入门技能树首页概览32963 人正在系统学习中

声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!

上一篇 2022年4月13日
下一篇 2022年4月13日

相关推荐