企业数据库面临的核心挑战及发展趋势解读

企业数字化转型大背景下，数据库面临的核心挑战及发展趋势解读

【摘要】在数字化转型的大背景下，企业对数据使用呈现多样化特点且针对特性能力提出更高要求。相应的也对数据底层基础设施之一的数据库提出了相应的要求。本文辨析了数据、数字化及数字化转型，并分析了业务场景的变化对数据库带来的挑战及发展趋势。数字化及数字化转型，是近些年来非常火热的话题。本文将从这一角度切入，谈谈数字化场景下对数据库发展趋势带来的影响。1.数据、数字化、数字化转型1)数据数据，是数字化实现的新引擎。数据是企业开展数字化创新和构建企业数字化基因的核心要素。通过对于服务对象、行为及相关经营数据的分析，能够帮助企业对业务发展形成全方位视角，进而提升决策质量与业绩表现。可以说，数据正在扮演着愈发重要的作用。仅仅从数据总量的发展，就可以简单看到这一趋势。2）数字化数字化，是指利用互联网、大数据、人工智能、区块链、人工智能等新一代信息技术，来对企业、政府等各类主体的战略、架构、运营、管理、生产、营销等各个层面，进行系统性的、全面的变革，强调的是数字技术对整个组织的重塑，数字技术能力不再只是单纯的解决降本增效问题，而成为赋能模式创新和业务突破的核心力量。与传统的信息化相比，数字化是在信息化高速发展的基础上诞生和发展的，但与传统信息化条块化服务业务的方式不同，数字化更多的是对业务和商业模式的系统性变革、重塑。数字化作用数字化打通了企业信息孤岛释放了数据价值。信息化是充分利用信息系统，将企业的生产过程、事务处理、现金流动、客户交互等业务过程，加工生成相关数据、信息、知识来支持业务的效率提升，更多是一种条块分割、烟囱式的应用，而数字化则是利用新一代ICT技术，通过对业务数据的实时获取、网络协同、智能应用，打通了企业数据孤岛，让数据在企业系统内自由流动，数据价值得以充分发挥。数字化以数据为主要生产要素。数字化，以数据作为企业核心生产要素，要求将企业中所有的业务、生产、营销、客户等有价值的人、事、物全部转变为数字存储的数据，形成可存储、可计算、可分析的数据、信息、知识，并和企业获取的外部数据一起，通过对这些数据的实时分析、计算、应用来指导企业生产、运营等各项业务。数字化变革了企业生产关系，提升了企业生产力。数字化让企业从传统生产要素，转向以数据为生产要素，从传统部门分工转向网络协同的生产关系，从传统层级驱动转向以数据智能化应用为核心驱动的方式，让生产力得到指数级提升，使企业能够实时洞察各类动态业务中的一切信息，实时做出最优决策，使企业资源合理配置，适应瞬息万变的市场经济竞争环境，实现最大的经济效益。数字化发展阶段随着数字化技术及应用日趋成熟，当前全行业已经进入数字化全面发展的新时期，数字化在国家层面得到了前所未有的重视及推动。但不同企业在数字化推进发展差异较大。下图为红杉中国针对国内16个行业222家企业在数字化推进的调查。从中可见，企业间发展差异巨大，大部分企业处于探索及加速推进阶段；尚未广泛应用而取得成效。数字经济发展迅速近些年来，数字经济发展迅速。从总体来看，数字经济在整体国民经济中的比例不断提升。

摘自2020年艾瑞数字化报告从发展来看，数字化进程已经逐步走到第二阶段，从早期数字产业化占据主导，逐步过渡产业数字化占据主导。随着不同产业数字化进程深入，其必将迸发出巨大的潜能。产业数字化，是指基于互联网技术和生态，对各个垂直产业的产业链和内部的价值链进行重塑和改造，从而形成的互联网生态和形态，简称为产业互联网。产业互联网是一种新的经济形态，利用信息技术与互联网平台，充分发挥互联网在生产要素配置中的优化和集成作用，实现互联网与传统产业深度融合，将互联网的创新应用成果深化于国家经济、科技、军事、民生等各项经济社会领域中，最终提升国家的生产力。从当前这个产业来看，以金融行业为代表走到前列。但即使这样，其数字化程度仍存在巨大空间。3）数字化转型数字化转型，是指企业利用新一代数字技术，将某个生产经营环节乃至整个业务流程的物理信息链接起来，形成有价值的数字资产，通过计算反馈有效信息，最终赋能到企业商业价值的过程。

摘自2020年艾瑞数字化报告数字化转型，是业务转型的演变，从当前数字化世界的技术进步中获益。企业能够以全新的方式进行价值的创新和创造，以建立可持续的竞争优势。其是建立在数字化转换、数字化升级基础上，进一步触及公司核心业务，以新建一种商业模式为目标的高层次转型，是开发数字化技术及支持能力以新建一个富有活力的数字化商业模式。数字化转型表明，只有企业对其业务进行系统性、彻底的（或重大和完全的）重新定义—而不仅仅是IT，而是对组织活动、流程、业务模式和员工能力的方方面面进行重新定义的时候，成功才会得以实现。数字化阶段从上面描述可见，数字化是存在阶段性的，通过对数据应用层次的升级，最终达到业务全面数字化，实现真正的数字化转型。4）综述：信息化、数字化与智能化2.数字化下数据库面临挑战在数字化转型的大背景下，企业对数据使用呈现多样化特点且针对特性能力提出更高要求。相应的也对数据底层基础设施之一的数据库提出了相应的要求。下面分析下业务场景的变化及对应数据库带来的挑战及发展趋势。1）实时性在数字化趋势下，数据会更多参与到企业决策、业务调整甚至驱动业务变化。数据的鲜活性，对企业价值意义完全不同。实时的交易处理、实时的反馈、实时的汇聚、实时的洞察成为全场景数字化的必备。例如在金融场景中，金融需求与生活场景相融合，实时风控的复杂度以及时效性要求随场景服务的发展不断增长，通常需要秒级完成业务流程。翻译成技术语言，即要求支持对数据高频实时多点写入、对多类信息实时汇聚分析处理。于是近些年来，在数据流式处理、HTAP、高性能计算等领域的发展，正是为迎合这一诉求。2）敏捷性数字化转型下，各种业务形态不断涌现且单业务内变化也很大，这对底层基础设施提出了敏捷性要求。即具备快速响应能力，满足各类业务应用需求。作为传统的以静态、固定资源供给方式，过渡到以动态、可调节的资源供给方式。这其中以云、容器化、Serverless、存算分离为代表的技术能力，正是为满足这类需求而诞生。即使是以较为传统架构的资源供给方式，也更为强调弹性、可定制能力，满足客户此方面需求。3）安全性数据安全，是近些年来的热门话题。从监管方的频频出台各项政策，可见一斑。作为承载数据的主体，数据库首当其冲需要更为重视安全问题。从数据存储、数据访问、数据传输、数据应用等多角度解决数据安全问题。特别是过去一二十年开源数据库蓬勃发展，但开源数据库自身在安全方面是否能达到商用标准，值得关注。此外，考虑到复杂的国际产业环境，开源协议本身的合法合规性也值得关注。以下摘自艾瑞报告。4）可用性可用性要求，一直是数据库提供的基本能力之一。随着数字化深入，越来越多的数据参与到企业经营管理之中，这些对于可用性要求提出了更高的要求。从数据库的角度来看，之前单机架构或集中式架构，一般是通过高可用硬件+软件来解决；对于新兴的分布式架构来说，其组件更多也更为复杂，且对于硬件也无较多要求，这就要求软件本身提供更高要求。5）经济性随着数据存储规模越来越大，对数据计算要求越来越高，整体数据存储和计算的成本也整体提高。如何提供更具经济性的方案，对客户能否大规模使用意义很大。这其中云数据库、存算分离、数据分层等技术，正是为了应对这一诉求。云作为一种新的资源供给方式，可以带来更为切合需求的资源消耗。存算分离，则提供一种按计算和存储独立扩展能力，避免冗余浪费。数据分层，则可根据数据热度等因素提供不同的能力，满足个性化需求。6）智能化由上述变化可见，对于数据库而言，无论从使用规模、复杂程度都会带来很大调整。针对这一问题，一方面可以通过工具化、平台化的方式来满足管理问题；而更为优雅的方式是在数据库端提供内置的智能管理能力，例如智能调优、索引推荐、自我诊断、故障自愈等，可协助DBA降低运维难度，大幅提升管理效率。7）海量并发这是两个需求，一个是数据规模问题，提供海量数据支撑能力；一个是数据计算问题，提供高并发访问支持。这些都是数字化会带来业务变化的必然。对应于技术而言，分布式数据库无疑是一种很好的方式，也是其主要面对解决的场景之一。8）统一管理随着数字化深入，对数据库的种类与数量、企业的IT体系等都发生了不少变化。这些变化冲击了传统的数据库生态，第一数据库选型自身呈现多元化趋势；第二随着分布式、存算分离等新兴架构，对管理也带来了管理难题；第三随着对安全性、可靠性等方面的更高要求，也带来了不少难点。面对上述问题，为数据库提供统一管理和运维的平台型工具也逐渐走向台前，变得越来越重要。9）自主可控对基础软件来说，自主可控非常关键。作为数字化的载体，数据库的自主可控能力尤为重要。近些年国产化诉求日益高涨，也有着这方面的考虑。这其中值得关注的一点是关于开源的使用。根据近期的调研，开源数据库份额已经超越商业数据库；但对于开源数据库的把控能力，却有着较大差异。特别是某些商业数据库，底层也是基于开源产品的，尤其值得关注。10）开放生态数字化深入，带来的更多的场景、更多的方案、更多的产品。如何能做到产品之间的很好的融合，发挥最大的作用，开放生态非常重要。对于数据库而言，过去数十年来以国外商用数据库产品为主，已经培育自己的生态圈；而对于国内产品而言，还需要走过这一过程。比较可喜的是，开源软件的使用可大大加速这一过程。以MySQL、PG为代表的开源软件，具有较为完备的生态，国内产品可通过兼容开源产品，复用其生态，大大加速这一进程。11）简化融合如之前所说，数字化深化带来的技术需求的多元化，与之对应的产品方案也呈现同样的态势。虽然可以通过统一管理角度去简化管理，但对于用户而言仍然不得不去面对复杂的管理和使用问题。如果能通过单一平台提供所需能力，无疑对用户非常有吸引力。这就是简化融合的诉求的来源。近些年来，包括混合事务与分析处理（HTAP）、湖仓一体、流批一体等，都是代表着用户追求“简化、融合”技术栈的需求。此外，云也是一种简化融合的体现，通过一站式的产品+方案，解决用户复杂管理和使用问题。12）消费