利用新技术、云计算实现打造企业云原生数据基础设施分析

利用新技术、云计算实现打造企业云原生数据基础设施

在制定以数字化转型为核心内容的发展战略过程中，结合内外部环境分析、数字化转型诊断对标结果，运用适宜的方法工具，充分考虑与外部相关方的竞争与合作关系，识别与其发展战略相匹配的、差异化的可持续竞争合作优势需求。随着内外部环境的快速变化，组织的战略应适时优化，组织确定的可持续竞争合作优势需求也应相应动态调整，组织间竞争关系也应逐步向竞争与合作关系转变。利用新技术、云计算实现打造企业云原生数据基础设施（一）专门构建企业云原生数据库如今的组织很拥有大量具有潜在价值，但尚未开发的数据。其中一些可能是保存在数据库、文件和系统中的传统企业数据；而其他一些则可能是由机器或移动设备生成的最新数据，还有一些可能是非结构化文本数据，或者是存为视频或音频记录的非传统数据。这些数据在以往很难以经济高效的方式采集和利用，或者用起来成本太高，因此多半处于闲置状态。而如今，随着技术的快速发展，组织正在尽可能地拥抱更广泛的数据。因此，尽可能全面地采集数据至关重要。在存储方面，各组织已不再那么注重存储能够整齐有序地填入表格中的干净数据。为了向机器学习算法和高级分析工具提供数据，很多组织正在探索各种机会，以各种云原生数据库技术存储来自物联网、社交媒体和AI的大量非结构化数据。关系型数据库：一方面传统的本地化部署的数据库服务模式已经难以满足企业发展和成本控制方面的要求，另一方面越来越多的主流和新兴公有云厂商开始将基于云平台的数据仓库作为一项服务来提供。这类整合了企业内不同来源的数据，并提供给用户供其进行实时处理和挖掘。这种转为云平台打造的关系型数据库基于权限的集中式系统，消除了数据必须在同一地点存储和数据管道的需求。除具备定序和存储功能外，云数据仓库通常还提供搜索引擎统计，以用于数据查询和分析能力。有云的易用性、上下拓展的灵活性、高级数据处理和分析工具相结合，正在推动云数据仓库市场的显著成长。键值型数据库：作为一种非关系数据库，键值型数据库使用简单的键值方法来存储数据，将数据存储为键值对集合，并将键作为唯一的标识。键和值都可以是从简单对象到复杂复合对象的任何内容，具备高度扩展性，允许以其他类型的数据库无法实现的规模进行水平扩展，因此适用于海量数据场景，例如电商系统、游戏应用程序等。文档型数据库：这种数据库可以让开发人员使用他们在其应用程序代码中使用的相同文档模型格式，从而更轻松地在数据库中存储和查询数据。文档和文档数据库的灵活、半结构化和层级性质允许它们随应用程序的需求而变化。文档模型可以很好地与目录、用户配置文件和内容管理系统等使用案例配合使用，其中每个文档都是唯一的，并会随时间而变化。文档数据库支持灵活的索引、强大的临时查询和文档集合分析，覆盖内容管理、移动应用等场景。内存数据库：内存数据库常用于缓存、排行榜、广告等应用场景，内存中的数据存储主要通过消除访问磁盘的需要来实现最小的响应时间，并实现微秒级别的延迟。时序数据库：在过去的两年中，时序数据库技术的普及程度大大增加，覆盖了物联网应用、业务事件跟踪、工业遥测等应用场景。时序数据库会跟踪并记录数据变更以及变更的特定时间，并将每次变更的数据作为唯一值插入数据集中来自IoT和监控技术的临时数据规模呈爆炸式增长，在这一背景下，无论是历史分析还是预测分析都越来越依赖于查询某个时点的数值，并能持续精准和高效跟踪该数值的能力。图形（Graph）数据库：充分分析和利用高度关联的数据可能是一件具有挑战的事情。随着数据量的增加和结构化程度的降低，数据关系正呈现指数级增加，这导致数据关系在传统数据库模型中变得难以管理，也无法进行查询。而图形数据库不仅能够存储数据，而且还能存储每个数据点关系的相关信息。使用这种模式，就能快速、高效且更为准确地查询数据之间的复杂关系，在欺诈检测、身份解析、知识图谱、推荐引擎等场景用广泛的应用前景。随着存储成本持续下降，聚合和整理海量数据已不会再因成本问题而被叫停。随着存储成本持续下降，聚合和整理海量数据已不会再因成本问题而被叫停。此外，现代化的数据架构具备自我修复能力和强容错能力，无需进行太多的维护，从而可以降低管理和修复成本。因此，增加存储容量的潜在好处，将远远超出可能要承担的任何成本。机器学习和高级分析能够在繁复的数据关系中辨别出低显著性的指标，使机器学习和高级分析的分析能力显著提升，这是使用传统的数据存储和建模技术几乎不可能做到的。（二）企业云原生数据分析服务数据分析用于将原始数据转化为可行的见解。它包括一系列工具、技术和过程，用于通过使用数据来发现趋势并解决问题。数据分析可以塑造业务流程，改善决策，并促进业务增长。借助云原生完全托管大数据分析，可以在几分钟内配置一个大数据集群，轻松扩缩资源，一键式完成高可用部署，轻松的重新配置集群。而专门构建的云原生数据分析服务，可以让用户在任意场景获得最佳性价比。并且大数据于机器学习的联动，也是云原生数据服务的强大之处。借助云原生的Serverless技术可以帮助客户最大化数据价值的同时最小化运营开销。亚马逊云科技提供了广泛的、专门构建的数据分析服务，包括处理大量非结构性数据（使用ApacheSpark和Hive等开源大数据框架）的AmazonEMR，处理实时数据流AmazonMSK，以及用于数据仓库的AmazonRedshift。虽然这些服务已经为客户提供了强大的功能，但仍有客户希望能进一步帮助他们处理具有高度不确定性或者间歇性的工作负载，不必管理底层基础设施，并自动根据应用程序需求增减资源。为了消除扩展和管理基础设施的复杂性，亚马逊云科技于2014年在计算领域引入无服务器、事件驱动的概念。借助亚马逊云科技的无服务器技术，包括用于实时数据流的AmazonKinesisDataStreams、用于数据集成的AmazonGlue以及用于交互式仪表板和可视化的AmazonQuickSight，大量客户已经实现了自动部署、按需缩放、按需付费。亚马逊云科技新推出的AmazonEMR、AmazonMSK和AmazonRedshift的无服务器功能，进一步扩展了其数据分析的无服务器能力，让客户能够更轻松地将数据分析扩展到更多用户，最大化数据价值，同时降低成本。着力强化数字经济安全体系（一）增强网络安全防护能力强化落实网络安全技术措施同步规划、同步建设、同步使用的要求，确保重要系统和设施安全有序运行。加强网络安全基础设施建设，强化跨领域网络安全信息共享和工作协同，健全完善网络安全应急事件预警通报机制，提升网络安全态势感知、威胁发现、应急指挥、协同处置和攻击溯源能力。提升网络安全应急处置能力，加强电信、金融、能源、交通运输、水利等重要行业领域关键信息基础设施网络安全防护能力，支持开展常态化安全风险评估，加强网络安全等级保护和密码应用安全性评估。支持网络安全保护技术和产品研发应用，推广使用安全可靠的信息产品、服务和解决方案。强化针对新技术、新应用的安全研究管理，为新产业新业态新模式健康发展提供保障。加快发展网络安全产业体系，促进拟态防御、数据加密等网络安全技术应用。加强网络安全宣传教育和人才培养，支持发展社会化网络安全服务。（二）提升数据安全保障水平建立健全数据安全治理体系，研究完善行业数据安全管理政策。建立数据分类分级保护制度，研究推进数据安全标准体系建设，规范数据采集、传输、存储、处理、共享、销毁全生命周期管理，推动数据使用者落实数据安全保护责任。依法依规做好网络安全审查、云计算服务安全评估等，有效防范国家安全风险。健全完善数据跨境流动安全管理相关制度规范。推动提升重要设施设备的安全可靠水平，增强重点行业数据安全保障能力。进一步强化个人信息保护，规范身份信息、隐私信息、生物特征信息的采集、传输和使用，加强对收集使用个人信息的安全监管能力。（三）切实有效防范各类风险强化数字经济安全风险综合研判，防范各类风险叠加可能引发的经济风险、技术风险和社会稳定问题。引导社会资本投向原创性、引领性创新领域，避免低水平重复、同质化竞争、盲目跟风炒作等，支持可持续发展的业态和模式创新。坚持金融活动全部纳入金融监管，加强动态监测，规范数字金融有序创新，严防衍生业务风险。推动关键产品多元化供给，着力提高产业链供应链韧性，增强产业体系抗冲击能力。引导企业在法律合规、数据管理、新技术应用等领域完善自律机制，防范数字技术应用风险。健全失业保险、社会救助制度，完善灵活就业的工伤保险制度。健全灵活就业人员参加社会保险制度和劳动者权益保障制度，推进灵活就业人员参加住房公积金制度试点。探索建立新业态企业劳动保障信用评价、守信激励和失信惩戒等制度。着力推动数字经济普惠共享发展，健全完善针对未成年人、老年人等各类特殊群体的网络保护机制。优化升级数字基础设施（一）加快建设信息网络基础设施建设高速泛在、天地一体、云网融合、智能敏捷、绿色低碳、安全可控的智能化综合性数字信息基础设施。有序推进骨干网扩容，协同推进千兆光纤网络和5G网络基础设施建设，推动5G商用部署和规模应用，前瞻布局第六代移动通信（6G）网络技术储备，加大6G技术研发支持力度，积极参与推动6G国际标准化工作。积极稳妥推进空间信息基础设施演进升级，加快布局卫星通信网络等，推动卫星互联网建设。提高物联网在工业制造、农业生产、公共服务、应急管理等领域的覆盖水平，增强固移融合、宽窄结合的物联接入能力。（二）推进云网协同和算网融合发展加快构建算力、算法、数据、应用资源协同的全国一体化大数据中心体系。在京津冀、长三角、粤港澳大湾区、成渝地区双城经济圈、贵州、内蒙古、甘肃、宁夏等地区布局全国一体化算力网络国家枢纽节点，建设数据中心集群，结合应用、产业等发展需求优化数据中心建设布局。加快实施东数西算工程，推进云网协同发展，提升数据中心跨网络、跨地域数据交互能力，加强面向特定场景的边缘计算能力，强化算力统筹和智能调度。按照绿色、低碳、集约、高效的原则，持续推进绿色数字中心建设，加快推进数据中心节能改造，持续提升数据中心可再生能源利用水平。推动智能计算中心有序发展，打造智能算力、通用算法和开发平台一体化的新型智能基础设施，提供体系化的人工智能服务。（三）有序推进基础设施智能升级稳步构建智能高效的融合基础设施，提升基础设施网络化、智能化、服务化、协同化水平。高效布局人工智能基础设施，提升支撑智能＋发展的行业赋能能力。推动农林牧渔业基础设施和生产装备智能化改造，推进机器视觉、机器学习等技术应用。建设可靠、灵活、安全的工业互联网基础设施，支撑制造资源的泛在连接、弹性供给和高效配置。加快推进能源、交通运输、水利、物流、环保等领域基础设施数字化改造。推动新型城市基础设施建设，提升市政公用设施和建筑智能化水平。构建先进普惠、智能协作的生活服务数字化融合设施。在基础设施智能升级过程中，充分满足老年人等群体的特殊需求，打造智慧共享、和睦共治的新型数字生活。增强企业数字化转型能力（一）开展数字化评估结合《中小企业数字化水平评测指标》等标准规范，中小企业与数字化转型服务商、第三方评估咨询机构等开展合作，评估数字化基础水平和企业经营管理现状，构建评估指标数据管理机制，支撑转型需求分析和转型成效评估。评估可获得的人力、物力和财力等内部资源和市场化服务资源，以及所在地区、所处行业或领域的数字化转型相关政策和公共服务资源。评估研产供销服等环节转型的潜在价值和可行性，明确数字化转型优先级，定期结合企业发展实际调整转型策略，有效确保数字化转型投入产出比。（二）推进管理数字化实施企业数字化转型一把手负责制，构建与数字化转型适配的组织架构，制定绩效管理、考核方案和激励机制等配套管理制度。定期组织企业经营管理者和一线员工参加数字化培训，深化数字化转型认知，提升数字素养和技能。引导业务部门和技术部门加强沟通协作，形成跨部门数字化转型合力。有条件的企业可探索设立专门的数字化转型部门。应用财务流程自动化、协同办公平台、标准化人力资源管理产品等，实现财务、办公、人力资源等管理环节数字化转型，提升企业管理精细化水平。应用工业互联网平台推动各环节数据综合集成、可视化和智能分析，优化企业经营管理决策。（三）开展业务数字化应用订阅式产品服务，推动研发设计、生产制造、仓储物流、营销服务等业务环节数字化，降低一次性投入成本。使用SaaS化的计算机辅助设计（CAD）、计算机辅助工程（CAE）等工具开展数字化研发设计，发展众包设计和协同研发等新模式，提升研发设计效能。应用云化制造执行系统（MES）和高级计划与排程（APS）等数字化产品，优化生产制造资源配置，实现按需柔性生产。应用仓库管理（WMS）、订单管理（OMS）、运输管理（TMS）等解决方案和无人搬运车（AGV）、自主移动机器人（AMR）等硬件，使用第三方物流平台，推动仓储物流环节数字化。开展产品全生命周期管理，构建产品数字镜像，提升产品数据管理水平，发展基于数字化产品的增值服务，拓展业务范围，创新盈利模式。（四）融入数字化生态应用产业链供应链核心企业搭建的工业互联网平台，融入核心企业生态圈，加强协作配套，实现大中小企业协同转型。应用行业龙头企业输出的行业共性解决方案，加速提升自身数字化水平。基于园区/产业集群开展网络化协作，发展订单共享、设备共享、产能协作和协同制造等新模式，弥补单个企业资源和能力不足。积极接入园区/产业集群的数字化创新网络，利用共性技术平台开展协同创新。积极对接中小企业公共服务平台等载体，参加政策宣贯、供需对接、咨询诊断、人才培训等活动。（五）优化数字化实践联合数字化转型服务商或第三方评估咨询机构等开展转型成效评估，重点开展业务环节数字化水平评估和企业经营管理水平行业横向和纵向对比分析，从生产效率、产品质量、绿色低碳等方面评估企业转型价值效益。结合现阶段企业内外部数字化转型资源，制定调整下一阶段数字化转型策略，选择与下一转型阶段相匹配的数字化产品和服务，提升转型策略与发展现状的适应性。加大企业数字化转型政策支持（一）加强转型引导实施中小企业数字化转型促进工程，深入开展大中小企业携手行动，推动产业链供应链上下游、大中小企业融通创新。加强中小企业数字化转型相关政策衔接，落实工信部和财政部联合开展的中小企业数字化转型试点等工作，结合当地实际出台配套措施，加强分类指导和跟踪服务，确保政策落地见效。有条件的地方可探索分行业分领域推动中小企业数字化转型。（二）加大资金支持按照企业出一点、平台让一点、政府补一点的思路，降低中小企业数字化转型门槛，有条件的地方可鼓励平台减免转型共性需求支出。发挥地方政府专项资金作用，支持对中小企业转型带动作用明显的链主企业和转型成效突出的链星中小企业。鼓励金融机构研制面向中小企业数字化转型的专项产品服务，设立中小企业数字化转型专项贷款，拓宽中小企业转型融资渠道。（三）推广试点应用结合当地重点行业和关键领域，遴选中小企业数字化转型试点示范，培育推广中小企业数字化转型案例标杆，鼓励中小企业看样学样。支持专精特新中小企业开展数字化转型，发挥引领示范作用带动更多中小企业数字化发展。培育和遴选一批可复制的产业链供应链上下游协同转型的典型模式，推广大中小企业融通创新模式，有效支撑产业链供应链补链固链强链。（四）完善配套服务构建完善中小企业数字化转型公共服务体系，加强中小企业数字化转型公共服务平台建设，提升政策宣传、诊断评估、资源对接、人才培训、工程监理等公共服务能力。组织开展中小企业数字化转型问诊服务，组织专家深入中小企业一线开展入驻式诊断服务。支持职业院校、大型企业等建设数字人才实训基地，提升中小企业数字人才供给。（五）优化发展环境加大工业互联网、人工智能、5G、大数据等新型基础设施建设力度，优化中小企业数字化转型外部环境。建设完善地方营商环境评估体系，将中小企业数字化转型成效纳入考核范围。开展中小企业数字化转型相关会议和活动，营造良好发展氛围。发挥政府引导基金作用，带动社会资本支持中小企业数字化转型服务商做大做强。基于地方中小企业数字化转型实际，优化财税金融、人才培引等政策措施，稳定中小企业转型政策预期。统筹部署，多措并举确保转型工作顺利实施（一）制定数字化转型规划和路线图结合企业实际，制定企业数字化转型专项规划，明确转型方向、目标和重点，勾画商业模式、经营模式和产业生态蓝图愿景。以构建企业数字时代核心竞争能力为主线，制定数字化转型方案，纳入企业年度工作计划，明确相关部门和岗位工作要求，加强动态跟踪和闭环管控。加快企业数字化治理模式、手段、方法升级，以企业架构为核心构建现代化IT治理体系，促进IT投资与业务变革发展持续适配。（二）协同推进数字化转型工作建立跨部门联合实施团队，探索建设数字化创新中心、创新实验室、智能调度中心、大数据中心等平台化、敏捷化的新型数字化组织，推动面向数字化转型的企业组织与管理变革，统筹构建数字化新型能力，以钉钉子的精神切实推动数字化转型工作，一张蓝图干到底。对接考核体系，以价值效益为导向，跟踪、评价、考核、对标和改进数字化转型工作。加强对标，着力夯实数字化转型基础（一）建设基础数字技术平台运用5G、云计算、区块链、人工智能、数字孪生、北斗通信等新一代信息技术，探索构建适应企业业务特点和发展需求的数据中台业务中台等新型IT架构模式，建设敏捷高效可复用的新一代数字技术基础设施，加快形成集团级数字技术赋能平台，提升核心架构自主研发水平，为业务数字化创新提供高效数据及一体化服务支撑。加快企业内网建设，稳妥推动内网与互联网的互联互通。优化数据中心布局，提升服务能力，加快企业上云步伐。（二）建立系统化管理体系加快建立数字化转型闭环管理机制，以管理体系促进企业形成并完善数字化转型战略架构。积极推进数字化转型管理工作与质量管理、信息安全、职业健康管理等体系的融合应用。建立数字化转型诊断对标工作机制，定期开展诊断对标，持续提升新一代信息技术与企业业务融合发展水平。（三）构建数据治理体系加快集团数据治理体系建设，明确数据治理归口管理部门，加强数据标准化、元数据和主数据管理工作，定期评估数据治理能力成熟度。加强生产现场、服务过程等数据动态采集，建立覆盖全业务链条的数据采集、传输和汇聚体系。加快大数据平台建设，创新数据融合分析与共享交换机制。强化业务场景数据建模，深入挖掘数据价值，提升数据洞察能力。（四）提升安全防护水平建设态势感知平台，加强平台、系统、数据等安全管理。使用安全可靠的设备设施、工具软件、信息系统和服务平台，提升本质安全。建设漏洞库、病毒库、威胁信息库等网络安全基础资源库，加强安全资源储备。搭建测试验证环境，强化安全检测评估，开展攻防演练，加快培养