支持数字化转型：变革数据管理架构和解决方案

页现状概览1数据成数字化转型核心3数据管理功能4踏上起跑线：变革数据管理架构和解决方案6自我评估6机遇7开启数字化之旅7价值缔造8建议9接力棒：变革数据管理架构和解决方案的下一步10自我评估推进数字化之旅11价值缔造12建议13冲刺金牌：变革数据管理架构和解决方案，获得巨大收益14自我评估机遇15持续推动并加快数字化之旅15价值缔造16建议©2017IDC#页1全新的数字化平台32数字化转型平台的数据服务4页1数据管理的自我评估维度62价值缔造83十大建议91数据管理的自我评估维度102为变革推动者创造的价值123给变革推动者的十大建议131数据管理的自我评估维度142为高瞻远瞩的企业创造的价值163给高瞻远瞩的企业的十大建议17©2017IDC#大数据之“大”是一个无需反复重申的话题。为了驾驭所有数据，企业需要构建数字化转型平台（如图1所示）。IDC认为，数字化转型平台是加速推进企业数字化转型计划的技术架构，能帮助企业快速构建面向外部的数字化产品、服务和体验，同时积极地将内部IT环境升级为能够将数据转化为行动的智能智能核心平台搭载了各种算法、代码和模型，将帮助你从数据中挖掘洞察，据此采取行动。有些洞察和行动指向的是业务层面的决策，其他洞察和行动则与数据管理流程本身的决策有关，比如如何监控、处理、存储（或不存储）、分析和可视化数据，以及将数据嵌入其他应用？这些都是目前开发人员和管理员需制定的决策，而出现这种情况的很大一部分原因是因为企业在投资运营和分析系统中的决策自动化技术时，必要数据不足，无法从采用确定型方法转为采用不确定型方法。图1资料来源：IDC，2017年IDC认为，未来三到五年，能够利用数字化转型平台方法，“重建架构，灵活调整规模”的企业最有可能成功实现数字化转型。对企业来说，启动数字化之旅迫在眉睫。根据麦肯锡公司(McKinsey&Company)的调查（资料来源：/mgi/overview/in-the-news/the-right-response-to-digital-disruption……有些企业高管可能认为，他们有大把时间来整合数字化计划，或者，他们可以谨慎地推进数字化之旅。这种想法大错特错！我们的调查表明，在不到十年的时间里，新的数字化新兴企业在各个地区、各行各业抢走了相当大一部分的收入份额（平均达到17%），留给现任企业的收入份额只有83%。……尽管数字化新兴企业的收入“只”占全球总体收入的17%，但是他们的数字化收入占全球数字化收入的47%。构建智能核心平台的方式将决定能否有效转型，高效得参与竞争（或履行使命）。智能核心平台必须搭配数据服务。©2017IDC#US433382173多年来，CIO一直致力于更高效地管理大数据的三大属性（数量、速度和种类）。随着企业面临的生态系统和商业环境日趋复杂，他们亟需采用新方法。CIO的目光必须从三大属性转向三大元素（认知、增多年来，CIO一直致力于更高效地管理多年来，CIO一直致力于更高效地管理大数据的三大属性（数量、速度和种类）。随着企业面临的生态系统和商业环境日趋复杂，他们亟需采用新方法。CIO的目光必须从三大属性转向三大元素（认知、增强和自动化），这三个元实现愿景的一个重要步骤就是要重新调整现有的信息管理和分析架构，转而采用更专业（和更完善）的数据管理功能，并利用各种数据管理、治理、集成，以及数据完整性和分析服务。新架构包含这些数据管理功能。在新架构中，你能够智能地协调通过数据管道实现互联的核心和边缘实体（机器、事物、人员、应用、机器人和数据存储机制）网络中的数据，并利用机器学习技术，持续监控、诊断、预测和规范机器可读的规则和人工可读的建议和洞察，然后从中挖掘智能信息（参见图2）。资料来源：IDC，2017年©2017IDC#US433382174通过利用这些数据管理功能，你能够全面认知企业现状以及影响企业现状的内外部事件；利用机器生成的建议，增强决策人员的能力；并部署自适应的自学型决策自动化解决方案。这是企业的愿景，但是你的企业目前处于哪个阶段呢？下面几章将一一介绍处于不同数字化转型阶段的企业。第一类企业正着手启动数字化转型之旅，革新数据管理架构和解决方案；第二类企业已经完成了初期投资，打算扩大投资规模；第三类企业开始投资最具创新性的最新解决方案，以期从数据管理解决方案中再次获得指数级收益。我们将数字化转型划分为以下三个阶段：1.踏上起跑线：变革数据管理架构和解决方案2.接力棒：变革数据管理架构和解决方案的下一步3.冲刺金牌：变革数据管理架构和解决方案，获得巨大收益©2017IDC#US433382175你可以根据几个因素，确定企业对数字化转型的准备情况，包括，对革新企业数据管理架构和解决方案的准备情况。如果你最近一次大规模升级数据平台要追溯至三年前，那么显然在当时，一些“最新、最伟大”的技术还未面世。如果你的企业最近收购了另一家公司，而该公司使用的技术过时，那么你接过来的这个摊子对你来说就是一个很好的转型机会。缺少最新的机器学习或流数据摄取技术不影响企业IT成熟度的界定。IT和业务高管了解他们企业的转型之旅的起点在哪，知道需要进行哪类投资才能实现目标，这一点至关重要。如果你的业务和IT主管希望革新IT基础架构，并且已经启动了企业的数字化转型，但同时受到了原有数据管理技术投资的阻碍，那么你的企业处于数字化转型之旅的初级阶段。有些技术运转正常，并且这些年来也得到了优化；有些技术则磕磕碰碰，纯属浪费企业宝贵的人力资源和资金。你的企业很可能具有以下特点（如表1所示）：表1资料来源：IDC，2017年这些都不是不可逾越的挑战。启动数字化转型之旅势在必行，这是当今环境下的现状。金融分析机构和激进的投资者近日开展了一系列严谨的评估调查并分析了后续损失的市场价值。结果表明，在过去几十年支撑全球经济发展的大型企业中，高管在宣贯其数字化转型计划时倍感压力。©2017IDC#US433382176机遇不论企业规模如何，在数字化转型早期，所有企业的目标都是制定数据优先的战略。在制定此类战略时，企业还需要评估潜在的机会以及构建渐进式业务案例的机会，用于证明新数据架构和解决方案投资的数据战略应该包含以下五大元素：架构。架构是否基于数据平台方法构建，能够支持你灵活地访问集成且可扩展的功能，进而采用模块化、可重复使用的即插即用型方法，处理和分析所有工作负载涉及的数据？技术。技术组件中是否包括流数据和批量数据管理软件，其中搭载了计算引擎的事件驱动型专业数据管理软件、数据库及数据存储机制能否处理各种不同的数据类型和工作负载？现有的数据完整性和集成技术能否支持数据的收集、移动、整合和可视化，以及数据治理、数据质量和人员。你的企业是否掌握了颠覆数据格局所需的技术和分析技能？近年来，大多数企业的关注点都放在数据科学家身上；然而，数据架构师和数据工程师、治理团队以及最重要的数据管理高管（越来越多的企业设立首席数据官一职）也需要因势而动。流程。你能否理解、捕获和分析整个数据管理生命周期中的流程，从而改进或革新这些流程？企业高管是否就加强跨部门协作和沟通进行了相关投资，用于宣贯数据驱动型文化的价值，以及进一步重申他们的观点？数据。数据的可用性如何？在完整性、粒度、时效性、质量和安全方面，数据呈现出哪些特点？你有没有追踪和评估这些数据相关的变量？如果你将数据当作一种资产或资本，那么在总体数据战略中，你也应该将数据视为资产或资本。变革数据架构和解决方案能为你带来大量机会，但是在转型初期，你获得的收益多为提高效率、生产力以及对企业及其生态系统的总体认知能力，而这种认知能力的提升有望给企业带来更丰厚的业务收益。具体来说，你将获得以下重大机会：数据管理平台。变革传统IT数据管理平台，融合最新的可扩展关系型数据库、非关系型数据存储、流数据集成、数据库内数据转换、数据完整性和数据安全技术应用开发。充分利用基于新数据平台构建的新一代智能企业应用（此外，你还有机会基于新一代内存优化型数据库，加速开发应用。）数据整合。整合和/或集成运营数据孤岛和分析数据孤岛内部和两者之间的数据自助式数据准备。业务分析师或其他非IT用户按需访问数据准备功能，确保在正确的时机访问可据以采取行动的信息，不受低效IT流程的限制数据流。集成流数据，整合并挖掘内部运营系统和外部数据源，获取实时洞察任务自动化。更高效地管理数据和分析技术环境，因为无需再执行很多手动管理，比如，利用支持分析处理和事务处理[ATP]的数据库，简化系统管理，这样员工就可以被调派至更具战略性的活动中，如部署新应用基础架构优化。使用针对特定基础架构平台进行了优化的新一代软件，享受新一代的性价比优势开启数字化之旅数字化转型之旅对于企业来说，机遇与挑战并存。在数字化转型过程中，企业有可能碰到以下技术和组对数据和/或分析感兴趣的高管与承诺培养和投资数据驱动型文化的企业，这两者之间是有区©2017IDC#US43338217采用新一代数据管理技术很可能会导致系统和数据库管理员与数据工程师的角色发生变化。随着技术供应商推出更多自动化技术，以及企业采用云解决方案，从事数据管理工作的员工需要从目前的一些手动重复性任务（如数据库调试或基础架构配置）中解放出来，投入到与新应用开发、供应商管理和数据治理等增值任务中。有些企业倾向于立即启动快速创新项目，而且很多是关于所谓的大数据技术（如Hadoop）或人工智能的创新项目。你在利用技术处理大量半结构化数据并支持基于机器学习的分析时，应该将这些技术视为你的数据管理和分析解决方案工具集的一部分。此外，你还需要综合总体数据架构来看待这些技术和其他技术，这点很关键。在使用近几年大热的一些开源数据管理技术时，你无需支付许可费用，但是却需要投入大量支持和开发成本。你必须将这些技术视为更广泛的数据管理平台的一部分。企业意识到，数据管理和分析功能五花八门，他们需要循序渐进地部署这些功能并将其集成至平台中。除了数据库和数据湖技术外，你还能利用各种数据集成和完整性技术，执行数据清理、元数据管理、主数据管理、数据整合、数据可视化、流数据移动和数据治理任务。此外，为了完成分析任务，你需要使用高级分析、数据可视化、图表分析、空间分析、AI/机器学习、富媒体和文本分析等技术。价值缔造在数字化转型之旅的早期，企业有望获得三类收益。不同类型的收益之间有着某种联系。值得一提的是，初期的数据架构和解决方案变革投资只能为企业带来有限的业务收益，但却能带来丰厚的技术收益。然而，随着数字化转型之旅的继续推进，企业将获得更广泛、更多种类的收益，并且更多的是业务收益。最后，数据平台投资将开始为企业创造大量业务收益。换言之，为了认知企业过去、现在和预期运营状态以及影响企业的外部因素所做的初期投资将帮助企业增强决策人员的能力，并自动化常规任务。根据企业首先选择革新的特定技术，他们有望获得的收益如表2所示。资料来源：IDC，2017年©2017IDC#US433382178建议假如企业计划开始变革数据架构和解决方案，支持数字化转型计划，请务必考虑表3中列出的建议。资料来源：IDC，2017年©2017IDC#US433382179如本文开头所述，就数据架构和解决方案而言，企业处于不同的转型阶段。你的企业最近可能已经投资部署了一些全新的数据库和数据管理解决方案。你可能部署了内存计算数据库和磁盘优化型数据库（或者可能用前者替代后者），或者你可能利用实时流数据集成功能，增强了现有的批量数据提取、转换和加载(ETL)解决方案。近期你也有可能投资了其他最新技术，其中可能包括面向以下领域的更强大的新功能：主数据管理和元数据管理、数据治理、结构化数据和非结构化数据的集成、事务系统数据和关系型数据仓库的集成，和/或非关系型数据湖技术。换句话说，在数字化转型之旅中，你的企业已经采取了一些前期的关键措施构建一个统一的数据服务架构。但是，在这段旅程中，你还会碰到更多其他的机遇和挑战。表1列出了数据管理的自我评估维度。表1资料来源：IDC，2017年©2017IDC#US43338217机遇在该数据管理转型阶段，企业将获得以下机遇：以标准化的方式及时访问企业内部生成或从企业外部获得的任意类型的数据建立企业级数据治理机制，在确保一致性和合规性的同时，不影响创新和灵活性提取在各种数据管理软件和基础架构选项（包括云选项和企业预置型选项）中实际处理的数据访问面向以下领域的增值服务：可视化和案例讲述高级分析，包括机器学习集成，包括整合和虚拟化完整性（转换、清理和增强）以数据即服务形式提供的外部数据换言之，你将有机会拥有一个数据管理平台，让你能够监控和检测整个企业及其生态系统中的业务和技术流程。相比只是将运营应用当作事务处理和工作流管理工具，此类数据管理平台处理企业应用的方式与顶尖线上零售商处理Web资产的方式一样。这类数据管理平台将借助企业应用，持续监控和检测活动，并在后续利用高级分析功能，调整人员和机器之间、人员之间（以及未来机器之间）的流程和互动。推进数字化之旅数字化转型之旅对于企业来说，机遇与挑战并存。在数字化转型过程中，企业有可能碰到以下技术和组信息技术团队、业务线团队和分析团队之间的关系发生了变化企业内各个部门的最新数据管理技术采用率各有不同，导致企业在集成和访问数据时面临挑战对于以何种步调将数据管理功能迁移至云端，企业内部意见不一内部员工缺乏相应技能，没有掌握最新技术、新的架构设计和新的分析方法，也无法满足与数据外部货币化有关的新业务要求由于一些项目没有取得预期的收益，再加上企业对于试验性项目缺乏耐心，导致承诺的项目资金不一定能够到位企业对于使用机器学习或人工智能自动执行个人任务或整个流程存在不信任感；因为受到自动化常规业务流程任务的影响，系统和数据库管理员、数据工程师以及业务用户的角色也发生了相应的变化首席分析官和其他与数据打交道的首席级高管进行了调查。调查结果显示，85%的高管采用了正式的方法来评估其数据计划或项目的价值；65%的高管从数据中挖掘出了巨大或广泛为此付出的所有努力都是值得的。2017年，IDC对122名首席数据官、首席分析官和其他与数据打交道的首席级高管进行了调查。调查结果显示，85%的高管采用了正式的方法来评估其数据计划或项目的价值；65%的高管从数据中挖掘出了巨大或广泛的价值。价值缔造全新的数据管理平台提供的收益可分为以下三大类（如表2所示）。资料来源：IDC，2017年©2017IDC建议企业在继续推进数据管理转型之旅时，请务必考虑以下建议（如表3所示）。资料来源：IDC，2017年©2017IDC如本文开头所述，就数据架构和解决方案而言，企业处于不同的转型阶段。你的企业可能已经在新一代数据管理技术上投入了大量资金，包括定制的软件，如，内存计算列式数据库、数据湖和专业的NoSQL数据库，或者针对地理空间数据、时序或其他数据类型的引擎；流数据引擎，以及各种以IT为中心的最终用户自助式数据准备、集成、完整性和治理软件。混合计算基础架构利用更先进的私有IaaS或云IaaS，支持不同的工作任务。而且，你的企业在集成传统技术和新技术方面已经有了成功的经验。除非你的企业是没有原有系统束缚的新兴企业，否则集成传统技术和新技术对于你来说是至关重要的一步。而你们企业不仅在这些技术和相关员工和流程方面投入了资金，还从企业各个领域的此类投资中实现了业务价值。如果你的企业属于这一类别，那么现在是时候扩展早期成果了。如何做到这一点呢？答案就是利用新的数据管理解决方案提供的创新型加速工具（如人工智能或机器学习、物联网和增强现实/虚拟现实支持越来越多的内外部利益相关者。你的企业很可能具有以下特点（如表1所示）：表1资料来源：IDC，2017年©2017IDC#U机遇在该数据管理转型阶段，企业将获得以下机遇：充分利用新型数据，比如，位置数据、行为数据、态度数据和交互式消费者数据；物联网事件和性能数据；以及来自文本、视频、图像和音频等数据源的非结构化内容。按需访问来自内外部数据源的最新虚拟化数据。结合使用流数据处理、规则引擎、优化和机器学习技术，构建以决策为中心的计算架构，开发由事件驱动的系统。利用Kafka、Hadoop和Spark等开源组件和框架，扩展目前投资的数据管理软件。引进数字助理、自然语言生成技术和新的企业搜索技术，提高知识型员工的生产力。开发机器人，自动执行重复性任务，解放员工从事增值型任务；然后随着时间的推移，将以往的自动化任务互联，从而自动执行某些业务流程。建立由数据驱动的新业务线，该业务线负责指导数据货币化工作，或者将数据与从数据中挖掘的增值型内容捆绑在其他产品或服务中，从而实现数据的货币化。利用最新的数据管理技术，吸引有意推动创新的开发人员和数据科学家。调整并改进现有业务流程，或基于新数据管理架构和解决方案生成的新洞察、新指标和新数据流，构建新业务流程。换句话说，你将有机会设计并部署感知和响应系统，自动执行越来越多的任务。借助此类新解决方案，你不仅能自动执行业务任务，还能自动执行技术任务，比如，数据集成、数据完整性、数据管理和分析流程中涉及的任务。软件开发的指导原则是“打破常规”。即，将软件开发和数据管理流程从由规则主导的确定型模式转向持续自动调整的模式，前一种模式存在