数据中台建设思考

Owen Jia 2023年07月26日 529次浏览

数据中台

对其起源不是很清楚,推测与阿里有关系,他们首先提出的。近些年来看,阿里对这个领域推进不是很积极,加上又拆分,后续真不好说。

数据中台,这块业务方向是有价值的,不然也不会有很多人响应。我真正进入该领域是2022年,偶然机会加入了数据中台团队,早在2013年我有数据仓库在银行信贷领域的经验,也算是步入老本行。

数据仓库

在这近1年的时间里,发现(起码是我们目前的团队)大家对‘数据中台’的理解本质还是‘数据仓库’,加了WEB界面加以控制。数仓领域,数据模型和ETL是核心业务,中台里‘数仓’是其很重要的一部分,但不仅仅是数据仓库。

数据中台,还包括‘元数据管理、数据源、数据标准、数据建模、数据质量、调度、数据地图、数据服务、数据管控、数据血缘、多源比对’等业务。这其中,数据建模、数据服务、调度是数据主业务流程,数据质量、数据地图、数据血缘、多源比对更多是一个辅助业务流程,价值相对次之。

数据质量

一年时间看着不短,其也不长,将将够把’数据质量‘玩透。调研了市面竞品不下20家,大版本迭代也近5轮,基本形成了较为标准的产品体系,经历多场景客户实际运行认可。客户的认可,对整个团队起到非常大的鼓舞。

数据质量的核心逻辑,是检查数据内容是否满足要求,将发行的问题反馈给对应人员修正,检查对象主要是’数据库‘。

16903520711250

整体功能设计:

16903521439205

产品VS项目

写点项目与产品的感悟,过往多年一直在产品化的路线上奔跑,而如今在一个项目部的团队中,这里考核重心是“成本、资源、时间“,对于”标准化“是认可但融合遗忘。

简单点,选择加入产品团队,对个人来说也许是低成本的。但对于产品、项目的合作模式的探索来说,这只是逃避,问题还在那。也许有些公司不存在此类问题,路已经趟过,但我目前面临的是一个’产品化方向‘不明阶段,需要借助项目实施来积累摸索一条产品化之路。离不开,项目实施经验,或者说真实客户的需求场景。

遇到几个问题:

  • 需求功能的开发,随项目实施在不断发散,离标准化越来越远;
  • 项目团队的人员一直围绕‘成本’考虑,更多是短期利益的‘短平快’;
  • 产品化之路,本身早期高投入,成本随客户推广开,而指数下降;
  • 人员观念不同,产品考虑问题思维和项目完全不同;
  • 项目围绕客户要什么就给什么,完全一致才好交付;
  • 产品会思考客户要的以什么样方式给此客户,同时其他客户也直接使用;

数据中台本身也契合’数字化‘的大趋势。