阿里巴巴数字化之路的挑战与创新
早期的话,阿里是没有数字化运营概念的,是在运营过程中逐渐发现这些的。在做业务的早期,基本上不用数据,直到后来慢慢有不同的产品类目的时候思考能不能去调度资源,把流量成本降低,从而让客户更好的找到商家的商品。所以慢慢地就进入到第二个叫做报告使用的阶段。
在这个阶段,管理者看到的报表大多数以各种各样的形式存在的报表,比如统计分析报表。那么这个阶段数据使用的特点是以下几个方面:这家企业的数字化服务的对象是管理者,比如财务高层看财务数据。但是当报表越来越多到时候,可能会需要一些小主管来看报表。所以这个阶段是管理者看报表,但依然靠人工进行决策,不是通过数据决策,还未到数字化运营的阶段。
到第三个阶段,企业会考虑如何赋能一线员工,因为一家企业的效率是否高,其实很大部分取决于一线员工的决策。可能一般产品上线需要历经6个月的时间,但数字化运营可以缩短这个时间。因为产品经理的创新力可能会被各种原因压缩,因为有更大的领导会决策,再将产品方案拿到市场上检验,这是个非常长的周期。
如果通过数字化运营之后,产品经理可以将市场效果可能不错的商品投入到市场上进行实验,利用实时数据分析哪个产品最受消费者欢迎,从而最终留下最好的那个产品继续开发。
大型企业进入第4个阶段时,如果上下游有供应链的商家实力比较强,可以利用数据赋能整个生态,从而提高商家的运营效率。所以这个阶段是基于数据来增加服务的阶段,比如开发一些应用,让商家知道今日商品销售量,如何配补货,参看行业情况如何定价等,就是从不同的方面服务商家,让商家去更好地做生意。但会发现这些数据应用无法满足几百万个商家的需求,所以最早期是将底部的基础设施变成一个开放平台,设计一种方式让第三方的软件公司来开发更多的租赁应用,让商家能得到好的服务。这个时候对整个的数据资产管理,数据安全、数据隐私,数据整个建章建制的要求是比较高的。
数据资产能产生商业价值,这是对于有大量数据的企业来说的,而我们现在普通的企业的数据存储量顶多叫数据。比如阿里拥有大量的数据,之后利用这些数据做更多的产品服务,比如金融产品,从而创造了新的商业。在这个过程中,企业要注意数据质量、数据安全、数据隐私能实现全套的保障,否则某个字段错了,对于企业的业务部门来说,将造成致命的打击。同时也要注意,要将企业的数据资产变成独特的资产,比如某些银行的数据是有独特性的,你可以通过数据的变化从而提供相应的服务,从而创造独特的数字商业。
因此,企业在谈数据中台的时候,其实首先要看企业想在近一两年要解决什么样的问题,你的企业处在什么样的阶段,企业要解决什么样的问题。如果说你的企业处于第一个阶段,其实这家企业不一定需要数据中台,可能需要一个很一般的数据平台就行了。但如果你的企业可能有些地方存在一些金融的属性,数据不能出错,那可能要有好的数据中台帮你的企业支撑。因此,企业的CIO或CTO要明晰自家企业需要什么样的技术架构,需要投入怎样的人力/物力到技术上去,整个的资源和团队配置应该是什么样的等。
数字基础设施的挑战与创新
企业的数字化运营所用到的基础设施经历了三个阶段的发展,第一个阶段是独立工具阶段。这个阶段的技术需求比较单一,比如产生报表,做数据分析,做数据治理等,其核心产出是以报表为中心,或者以数据呈现的统计产品。这个阶段企业可以通过购买BI工具或数据治理工具来满足技术需求。
第二个阶段是产出一些低频的静态应用,比如用户画像/金融营销,这个时候就会需要将多种工具整合在一起,并将数据打通,做用户画像,并运用标签去推广产品。其实欧美的大多数上市公司,包括中国的上市公司就属于第二个阶段集成式,它有几个特点,一个特点就是说整个应用进化的过程是人为推动的,不是智能的,人不推动,就固化停滞了。还有一个特点是需要大量的人力来做各种不同的工作,比如数据治理人员,数据仓库工作人员,打标签人员,做数据字典的人员,即人工做数据治理。第三个特点是一旦企业存续时间较长,两三年前产出的报表一旦数据出错,很难快速找到原来写这个代码的人来修补,因为这个人可能已经离职可能已经升迁,新人改代码导致一直出错,陷入恶性循环。
真正到第三个阶段的时候,企业发现当客户的需求变了以后,静态的智能应用没办法解决用户需求,企业必须做动态的智能应用。这个阶段,是由机器和员工共同完成的。在还在依靠员工决策的情况下,企业要寻找机器完全决策的机会,实现完全的智能化。这就要求整个业务流程是依靠数据来保障质量,而不是人工。这就是这家企业整个的保证数据质量体,这就是这家企业的整个的数字基础设施。
数据中台行业的挑战与创新
市面上存在几种中台,第一类是假中台。很多以前做软件的公司,比如CRM/ERP/OA的公司称他有中台,他开发的软件里可以存储数据,可以利用这些数据做分析,这个软件的功能很多。但这一定不是中台,它不是一款应用软件。
第二种的公司可能以前是做BI的,做数据仓库的,他将一些开源的工具拼在一起,比如数据仓库和大数据平台,将其集成在一起卖,将其包装成数据中台。你会发现这个东西最大的问题是衍生不出来应用,也就无法实现数据驱动、数字化转型、业务增长的目标。因此,企业在配置中台时要考虑的问题是它是不是能给你的业务产生价值,它是不是能长出来很多数据应用,是否能给一线员工赋能。
还有一类中台是自成体系的,它基本上不依赖任何一家的工具,全套自己开发,造成它这个系统就有点封闭,不支持开源和二次开发。
真正的中台可以进行开源的支持以及二次开发,可以兼容企业的其他技术产品,让企业可以以低成本的方式将以前不能做的产品做了,而且可以让企业三五年甚至10年不用更换架构,这便是中台的开放性。
数据中台助力数字化转型
对企业来说,其构建的数据中台底层要为自身提供基本的大规模数据的处理能力,能够应对大型活动时的数据应用,比如双11,这样的底层要增加各种各样的计算引擎,包括实时计算/流式计算等,让企业可以满足应用使用的各种需求。而且这个底层架构必须是灵活的,如果这个架构不灵活的话,或者架构的搭建不能适应长期需求,那可能有时需要改造底层架构,会导致上面的应用也全部调整,这对于企业来说是不现实的。
数据中台还要具备数据开发能力,即包含各种各样的工具的能力,如可视化工具、分析工具、清洗工具、建模工具、自动关联工具、模型管理部等。中台可以为企业提供一系列工具,让技术部门尽可能的去少写代码,去自由使用这些数据。
中台还要具备应用开发的能力,从应用的开发到发布到支付再到管理下载,以及建立自己的算法库,应用复制,模板开发等都需要具备这些能力,甚至有些能力需要第三方来开发,这就要求企业要制定数据战略,要具备脱敏的环境。企业的应用开发过程是纯机器决策型,是不需要人为干预的话,那么中台便要具备数据自我维护,自我纠错和质量预警的能力,我们把它叫数据健康,它能快速的检查自己的数据质量和数据纠错问题。
在具备应用开发能力之后,企业可以形成自己的数据市场,因为会把一些外部的供应商的数据整合进来,将外部数据的接口帮企业打通,从而形成数据市场。
在数据市场之上,会形成企业自己的应用市场,就是从浅层的应用,中层的应用和深层的应用从而形成应用市场,就是将各种应用积累起来,最终形成一个以数据价值激励为导向的组织。
一些大型公司会配备算法市场,会内置的阿尔法算法,比如企业可以用算法定义一个长线用户或一个保守型用户。某个算法在当初研发时可能会固化在某一个场景里面,但企业最好是能够复用这些算法,否则会造成浪费。
最后,数据中台要提供各种各样的工具,让业务人员和技术人员都能自由使用。里面可能有分析工具、挖掘工具、清洗工具、治理工具,去标签工具、可视化工具等。这些工具一方面要多,另一方面要赋能一线员工,以及工具之间不能孤立存在。
数据中台产品体系和套件
数据中台的产品体系应该是这样的:一般市场/数据应用/数据模型这三层每家公司都不一样,因为业务方向不同。但数据工具/数据治理/大数据计算/数据资产各家公司都差不多。因此,每家公司都会形成自己独有的一个数据中台。
举例来说,某一个场景下要开发一款产品,可能从技术角度考虑,要把它开发如何酷炫,如何高难度,但从运营的角度考虑,只要它能满足场景使用即可。比如某个算法开发完以后,工程师大多的时间是在做数据准备和数据需求变更以及参数的变更等,但实际上应该是将模型传到中台后,让业务人员来使用这个模型。因此,中台上面的功能需要赋能给一线员工和业务人员,让技术人员去做更难的事情,从而让业务人员把整个平台用起来,这是数据中台最核心的一个理念。因此,中台的价值在于不是追求某个产品或工具的开发程度,而是有多少用户在使用,使用效果如何。中台的价值就是说让业务人员始终是以运营和业务的视角来发挥它的价值。
数据中台建设的第二个要点是数据要足够大,这两个有了以后呢这个中台才有意义。因此,中台要满足企业海量数据和复杂业务场景的需求,并且多年也不用将整个架构推倒重来。
数据中台五要素
数据中台具备五个要素,这些要素会影响数据中台是否能够完美赋能企业数字化转型。
企业将数据清洗干净后要对其利用,才能发挥数据的真正价值。业务价值是通过应用来体现的,但应用质量的提高是通过试错来完成的,这个过程也需要数据来改造和提升业务价值。因此,企业首先需要将数据打通,做数据治理,而且要制定内部的数据资产管理体系,包括数据目录,合规数据,数据委员会建立等一套。在数据质量体系方面要将数据ID统一,外部数据来源记录,要跟踪确认影响业务的关键数据指标有哪些,还要进行数据监控,进行数据纠错,数据资产管理体系都应该对上述内容加以明确。
一家公司的很多业务环节是可以被数字化改造的,但是企业需要一套方法论去指导业务环节的改造,从哪里先入手,可能是产品部,可能是营销部,或者生产部等。企业可以从一个部门或者环节入手去试错,来进行数字化改造。
大型公司的算法是有一个评比体系的,因为算法的研发属于技术创新,这个动作应该被激励。因此,企业需要制定算法的激励体系,制定完整的工作流程,包括算法怎么产生,由谁产生,怎么校验,怎么被复用,怎么维护它的正确性,这都需要一套工作流程。这个工作流程是为了长期的流水化地去创新算法。
在应用这方面,企业要通过数据中台确保应用的正确性,并保持长期的校验。咨询公司将战略地图梳理完了以后,在落地的时候,业务和技术可能会形成一个脱节的状态,所以企业要把咨询和技术和以及人才三位一体结合起来去看数据中台执行的程度。因此,应用始终是为战略负责的。这其实是我们国云核心的六图法,通过六图法的绘制,保证应用产生的质量和正确性。
一家企业的数字化人才不足,可能大家经常认为数字化人才就是写代码的人和专门做算法的人,但其实数字化人才还包括业务人员,这些人员要对数据有深刻理解,但对技术只是大概了解。企业其实从中层到基层都需要这样的数字化人才。因此数字化人才梯队要建起来,这样会整体形成一个智能的创新流程机制,从而实现智能驱动业务。
数据中台建设的常见失败
数据中台建设最常见的失败情况有三种。
第一种是将数据中台建设成为一个大的数据仓库,相当于把各业务系统的数据放到一个数据仓库里面,在上面提供一些数据报表的服务。无论是从数据仓库的性能考虑,还是成本考虑,亦或是从应用的结果考虑,维护成本都比较高。这种情况造成的原因是企业需要一个新型的中台让数据聚通用起来,在实现聚通用的过程中,发现以前的技术基础不行,所以要构建一个新的数据中台,而这个数据中台的建设思路和流程以及整个基础设施是不太完备的,最终把它建成了一个新的数据仓库。
第二种失败的情况是数据中台不具备适配性,形成了一个固态的系统或平台。比如某家零售公司安装了三十几个系统,有ERP系统,有线上的商城,有京东、天猫、淘宝、拼多多等商铺,将数据打通了以后,希望对客户做千人千面的服务,实现精准营销,而且企业也达到了这个目的。但是一段时间后,要加一些直播的服务或者社区的服务,但中台的接口不具备适配性,可能需要企业去找当时的中台厂商解决适配性问题,或者让自己的技术团队开发接口,但会发现数据进来以后,因为各个模块的数据指标体系不一样,中台接口不具备适配性,所以企业不得不进行接口的二次开发,这就造成很高的维护成本。所以你会发现有些公司上了一个工具系统,用了10年,但是后来不得不把它放弃,或者把现在这个平台它换掉。
第三种中台失败的情况是将其建立成一个固态的系统。如果将中台建成了一个孤立的系统,即使将数据放进去,再提供一堆工具,也无法发挥中台的价值,因为这些工具也是静态的。中台本身像一个创新的平台,可以让很多开发者或者公司内部的技术和业务人员在这个平台上创新。如果将其做成一个系统,这个系统的能力是固定死的。但其实真正的中台是智能的,它要具备数据纠错能力,要具备业务自动创新的流程,让组织里的更多人员参与,可以实现模型共享,模型交叉复用等,且这个平台的智能化是不断动态成长的。一个固化的系统是无法满足两年或者三年以后的业务需求的。
数据中台设计理念
数据中台的设计理念要包含以下三大核心要素。
数据资产治理是数据中台最简单的能力。企业的数字化运营程度越高,越有较高含金量的数据资产,如果公司里面只有一些简单的报表应用,那么你的数据资产的颗粒度是非常粗的,数据资产也很难产生独特的业务价值。
数据资产治理的第一步是将企业内部数据打通,将内部数据快速地形成闭环。第二个是在合法情况下收集外部数据,从而打造智能应用。这其中,需要团队将数据结构做好,将数据使用制度段和定义规定好,再将其加以应用。第三个企业需要收集外部公开数据,包括互联网数据,爬虫数据,政府的公开数据,这些数据不用付费,也许数据的质量不是很高,但是这些数据可以应用于某些场景。第四种是企业要有数据补录机制,可以让工作人员在某个环节下将数据补录完整。
将数据资产的闭环快速形成后,你要对数据资产进行数据清洗,要有清洗工具,清洗工具可以通过技术人员以代码方式完成。但这种方式有两个缺点,第一个缺点是成本高,即写代码的人员的工资高;第二个是技术人员不理解业务,无法完全地做好清洗工作,需要企业对这类人做培训,但一旦人员流失,需要重头再来。所以数据资产的数据清洗工作最好是不需要写代码完成,最好是通过模型或工具自动完成,也不完全依赖技术人员。
因此,数据资产工具一定要有一个能力,它的数据治理和应用是无缝结合的,数据资产要具备数据回溯的能力,让使用者通过自动纠错机制,明白哪里出了问题,去哪里去修正。
数据共享服务能力也是中台的简单的能力。团队将业务系统里各种各样的数据放到一个数据平台里,然后大家都通过平台共享数据。但是这个在实践的过程中,要考虑两点,第一数据中台具备的共享服务是独立的,并且这个服务是可监控的,可维护的,可修改的,即插即用的,它是一个独立的服务,改完以后又不影响以前的功能。第二个要考虑的是整个数据服务的质量,如何确保数据一直是正确的,也许业务系统里面改了一个字段,就会导致数据服务结果出错,或者也许是计算的时候没算完就导致数据出错了,或者数据同步的时候出错了,导致对外的服务结果也出错了,这都是有可能的。
第三个是中台最缺失的,即如何基于中台产生更多的数据智能应用来解决业务问题。换句话来说,这个中台有一个开发数据智能应用的能力。而这些应用只有基于数据产生的智能才叫数字化智能应用,而报表之类的应用属于展示型的应用,不是中台的实际价值。事实上,很多的应用反倒不是由技术部门研发的,而是由具备数据能力的数字化人才研发的。
数据中台的设计规划理念
中台的设计规划理念主要分为以下两点。
第一个是要梳理基础的业务关系,为中台建设提供全面的全局思维。企业要运用6图法的方法确保中台是能产生业务价值的,并且在短期有一个业务引爆点,能让参与者明晰这个中台是有能力持续地进行数字化转型的。如果你选不出来这样的点,那就意味着6大地图没有梳理好,或者业务价值非常低。所以基本上是否这个中台能发挥有效作用,最关键的还是看前面的业务关系是否梳理好。
第二点就是构建中台的时候要关注长期的能力沉淀。中台要把用户资产沉淀下来,能产生更多的业务价值,要满足私域流量的产生,要将技术模型都沉淀下来。这就需要中台的架构能满足未来需要,最好是具备未来10年都不需要更改的能力。
因此,中台的设计规划理念最核心的两个要素,总结下来就是短期要产生业务价值,叫短期看信心,长期要具备延展性,就长期谈架构,所以这个中台一定要选择好。
本文作者:马晓东,国云数据创始人兼CEO,原阿里巴巴数据中台优化器负责人,波士顿咨询全球高级顾问,北京信息化协会副理事长,贵州、江苏、内蒙古等多地政府大数据顾问,2010年毕业于湖南大学软件学院工程专业,并相继毕业于中国科学技术大学和中欧国际工商学院,被业界誉为“数字化转型领军人物“,著有《数字化转型方法论:落地路径与数据中台》,由机械工业出版社出版。