第章大数据发展趋势与鲲鹏大数据 第章大数据发展趋势与鲲鹏大数据_第1页
第章大数据发展趋势与鲲鹏大数据 第章大数据发展趋势与鲲鹏大数据_第2页
第章大数据发展趋势与鲲鹏大数据 第章大数据发展趋势与鲲鹏大数据_第3页
第章大数据发展趋势与鲲鹏大数据 第章大数据发展趋势与鲲鹏大数据_第4页
第章大数据发展趋势与鲲鹏大数据 第章大数据发展趋势与鲲鹏大数据_第5页
已阅读5页,还剩64页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

陈傲/cwx8602062020.04.09关文政/wx511452陈傲/cwx8602062020.04.15鄢华/ywx416015评审大数据发展趋势与鲲鹏大数据本章为大数据的趋势课程,主要分为两个主要部分。第一部分为大数据时代的机遇与挑战,主要讲述什么是大数据时代,以及身处大数据时代我们面临的机遇与挑战,以便培养大数据思维。而为了响应时代的号召,助力合作伙伴更快更好地完成智能化转型,华为提出“鲲鹏生态”战略,不断提升算力,提高数据治理能力。因此,第二部分主要介绍华为鲲鹏的解决方案,简述基于鲲鹏芯片的鲲鹏服务器、华为云鲲鹏云服务,同时简单介绍华为HCS8.0中有关大数据和数据分析处理的常用公有云服务,并介绍华为云MRS服务的优势及应用场景。学习完本章后,您将能够:掌握什么是大数据,大数据的4v特性,以及大数据的时代需求和挑战掌握大数据技术趋势及应用了解华为鲲鹏解决方案了解华为大数据解决方案大数据时代的挑战与机遇大数据时代大数据的应用领域大数据计算任务企业所面临的挑战和机遇华为鲲鹏解决方案开启第四次产业革命,迎接智能时代蒸汽时代1760s-1840s英国电气时代1860s-1920s欧美信息时代1940s-2010s美国智能时代(?)热力电力计算机、通信云、大、物、智欧美主要国家的大数据战略美国总统科技顾问委员会发布了NITRO编写的《联邦大数据研究和开发战略计划》,以确保国家在研发上的持续领导;提高国家应对社会压力的能力以及通过研究和开发面向国家和世界的环境问题。由英国商务、创新和技能部牵头编制的《英国数据能力发展战略规划》发布。该战略旨在使英国成为大数据分析的世界领跑者。欧盟委员会发布《打造欧洲数据经济》报告,对数据驱动型经济的潜力、面临的障碍、解决方案等进行了分析总结。澳大利亚政府信息管理办公室大数据工作组发布了《公共服务大数据战略》,旨在使澳大利亚在该领域跻身全球领先水平。日本政府经内阁会议决定了2014年度版《制造业白皮书》。白皮书中指出,日本制造业在积极发挥IT作用方面落后于欧美,建议转型为利用大数据的“下一代”制造业。美国英国欧盟澳大利亚日本中国实施国家大数据战略实施国家大数据战略加快建设数字中国:要推动大数据技术产业创新发展;要构建以数据为关键要素的数字经济;要运用大数据提升国家治理现代水平;要运用大数据促进保障和改善民生;要切实保障国家数据安全。智能世界,从数据管理走向数据运营数据驱动体验每天1.2亿数据标签数据决定用户体验数据驱动决策50年油田历史数据综合分析数据分析决定石油开采效率数据驱动流程每天45万次数据碰撞数据流动决定流程繁简所有生意都是数据生意YourbusinessisnowadatabusinessStreamingdataisabusinessopportunityDataaboutyourcustomersisasvaluableasyourcustomersDataisthePlatformKeepdatamoving数据的生意数据和客户同价流数据即商机数据即平台让数据流动大数据时代维基百科的定义:大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。4VVelocity处理速度快Value价值密度低Volume体量巨大Variety类型繁多大数据处理与传统数据处理的差异从数据库(database,DB)到大数据(bigdata,BD)“池塘捕鱼”VS“大海捕鱼”,“鱼”是待处理的数据。大数据处理传统数据处理数据规模大

(以GB、TB、PB为处理单位)小

(以MB为处理单位)数据类型繁多

(结构化、半结构化、非结构化)单一

(结构化为主)模式和数据的关系先有数据后有模式,模式随数据增多不断演变先有模式后有数据

(先有池塘后有鱼)处理对象“大海中的鱼”,通过某些“鱼”判断其他种类的“鱼”是否存在“池塘中的鱼”处理工具NosizefitsallOnesizefitsall大数据已在蓬勃发展一个互联网用户1GB/天一个智慧家居10GB/天一辆自动驾驶汽车64TB/天一架联网飞机200TB/天一家数字化工厂1PB/天一家热点资讯APP50PB/天我国网民数量居世界之首,每天产生的数据量也位于世界前列。智慧交通智慧工厂智慧金融智慧安防智慧政府大数据时代的挑战与机遇大数据时代大数据的应用领域大数据计算模式企业所面临的挑战和机遇华为鲲鹏解决方案数据,已经渗透到每一个行业和业务领域,洞见本质(业务)、预测趋势、指引未来是BigData时代的核心用未来牵引现在,用现在保证未来!大数据时代引领未来电信、金融、政府等行业数据分析的诉求强烈,互联网已开始应用新技术处理价值密度低的大数据。电信、金融结构化经营分析电信信令金融细账金融票据电力调度智能电网经营类结构化+半结构化绩效管理报表分析历史分析社保分析纳税分析决策支持和预测管理类结构化+半结构化智慧交通智慧社区舆情管理银监会稽查食品溯源环保监测监管类非结构化音视频地震勘探气象云图卫星遥感雷达数据物联网专业类金融政府企、事业单位企业级大数据平台应用场景(1)企业级大数据平台应用场景(2)营销分析、客户分析和内部运营管理分别是企业大数据排名前三的应用场景:大数据的市场分析中国大数据产业总体规模及增速2014201520162017201820192020E预测到2020年底,大数据行业整体规模超万亿,行业解决方案和大数据应用占比最高:大数据细分领域市场规模占比固定时间地点获取服务被动接受数据信任市场信息被动接受传播标准化和产业化提供服务关注过程和步骤被动接受信息且信息来源单一通过客户经理联系客户固定渠道单一交互随时随地获取服务分析、创造数据寻找有意义的体验审视细节互动参与内容、产品和体验的创建传统客户传统金融新金融机构关注场景运营客户服务客户个性化的灵活服务全渠道营销客户数据挖掘重要性互动分析推荐新客户大数据的应用-金融5学习成绩1入学率2辍学率3识字的准确率5升学率4作业的正确率6考试时答题的顺序11师生互动的时长与频率回答问题的时长、正确率课堂举手次数回答问题的次数平均每道题花费的时间1278910学校教育中的“大数据”现在,大数据分析已经被应用到教育的各个层面。大数据的应用-教育公共安全场景-自动预警与联动城市/社区监控系统确认事务处理职务部门通报上级部门自动预警系统:富华大厦右侧异常人群超警戒。监管部门即时定位初期问题。发送确认因群体性斗殴时间引发群众聚集围观。可满足城市人口流向监测分析。人流异常增多预警区域人流阈值>10000人区域人流阈值>2000人大数据的应用-政府公共安全路网规划公交线路规划历史人流量超阈值区域工体北门:人流超500/H三里屯:人流超800/H北京工体:人流1500/H结合人群的交通预测建议10%按出行方式比例分析公交地铁汽车其他30%按人群分析20以下20-3030-4035%20%50以上35%15%40%20%交通规划场景-多维度交通人群分析大数据的应用-交通规划大数据的应用-

清洁能源青海连续九天清洁能源供电煤炭消耗量减少80万吨

数据勘测离线数据实时数据数据中心“智能+数据”:让天更蓝,水更清大数据时代的挑战与机遇大数据时代大数据的应用领域大数据计算任务企业所面临的挑战和机遇华为鲲鹏解决方案IO密集型任务(IO-Intensive)涉及到网络、磁盘、内存IO的任务都是IO密集型任务。特点:CPU消耗很少,任务的大部分时间都在等待IO操作完成(因为IO的速度远远低于CPU和内存的速度)。对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。常见的大部分任务都是IO密集型任务,比如Web应用。IO密集型任务执行期间,99%的时间都花在IO上,花在CPU上的时间很少,因此提升网络传输效率和读写效率是重中之重。计算密集型任务(CPU-Intensive)特点:要进行大量的计算,消耗CPU资源。比如计算圆周率、对视频进行高清解码等等,全靠CPU的运算能力。计算密集型任务虽然也可以用多任务完成,但是任务越多,花在任务切换的时间就越多,CPU执行任务的效率就越低,所以,要最高效地利用CPU,计算密集型任务同时进行的数量应当等于CPU的核心数。计算密集型任务由于主要消耗CPU资源,因此,代码运行效率至关重要。数据密集型任务(Data-Intensive)数据密集型应用与计算密集型应用是存在区别的,传统的计算密集型应用往往通过并行计算方式在紧耦合的超级计算机上运行少量计算作业,即一个计算作业同时占用大量计算机节点;而数据密集型应用的特点主要是:大量独立的数据分析处理作业可以分布在松耦合的计算机集群系统的不同节点上运行;高度密集的海量数据I/O吞吐需求;大部分数据密集型应用都有个数据流驱动的流程。数据型密集计算的典型应用可概括为以下三类:日志分析软件即服务(Saas)应用大型企业的商务智能应用大数据应用的主要计算模式批处理计算针对大规模数据的批量处理。主要技术有MapReduce、Spark等流计算针对流数据的实时计算处理。主要技术:Spark、Storm、Flink、Flume、Dstream等。图计算针对大规模图结构数据的处理。主要技术:GraphX、Gelly、Giraph、PowerGraph等查询分析计算大规模数据的存储管理和查询分析。主要技术:Hive、Impala、Dremel、Cassandra等。Hadoop大数据生态圈User/ApplicationAccessSecurity(Kerberos)Security(Kerberos)FlinkSparkStormOozieMapReduceHadoopReal-TimeProcessingBatchProcessingIntermediatedata(HDFS+HBase)Sourcedata(HDFS+HBase)DataStorageEnterpriseApplicationDataBaseLogsOtherDataSourcesLoaderFlumeKafkaHadoop大数据生态圈Ambari(安装部署工具)Oozie(作业流调度系统)Hive(数据仓库)MapReduce(批处理)Tez(DAG计算)Spark(内存计算)Flink(流批一体)Mahout(机器学习)Pig(数据分析平台)YARN(统一的资源调配管理器)HDFS(分布式文件管理系统)Zookeeper(分布式协调服务)HBase(分布式No-SQL数据库)Flume(日志收集)Sqoop(ETL工具)大数据时代的挑战与机遇大数据时代大数据的应用领域大数据计算任务企业所面临的挑战和机遇华为鲲鹏解决方案海量数据的高存储成本数据批量处理性能不足流式数据处理缺失有限的扩展能力单一数据源数据资产对外增值数据扩展性需求和硬件性能之间存在差距传统框架:小型机+磁阵+商用数据仓库面对挑战,传统数据处理遭遇天花板挑战一:业务部门无清晰的大数据需求很多企业业务部门不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又是非盈利部门,企业决策层担心投入产出比不高,在搭建大数据部门时犹豫不决,甚至由于暂时没有应用场景,删除了很多有价值的历史数据。挑战二:企业内部数据孤岛严重企业启动大数据最重要的挑战就是数据的碎片化。在大型企业中,不同类型的数据常常散落在不同部门,使得同一企业内部数据无法共享,无法发挥大数据的价值。挑战三:数据可用性低,质量差很多大中型企业每天会产生大量的数据,但很多企业在大数据的预处理阶段很不重视,导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型,对数据进行清洗和去噪,以提取有效的数据等操作。Sybase的数据表明,高质量的数据可用性提高10%,企业效益提高20%以上。挑战四:数据相关管理技术和架构传统的数据库不适合处理PB级别的数据。传统的数据库没有考虑数据的多样性,尤其对结构化数据、半结构化数据和非结构化数据的兼容。海量数据运维需要保证数据稳定,支持高并发的同时减少服务器负载。挑战五:数据安全问题网络化生活使得犯罪分子更容易获得关于人的信息,也有了更多不易被追踪和防范的犯罪手段。如何保证用户的信息安全成为大数据时代非常重要的课题。此外,大数据的不断增加,对数据存储的物理安全性要求会越来越高,从而对数据的多副本与容灾机制也提出更高的要求。挑战六:大数据人才缺乏大数据建设的每一个环节都需要依靠专业人员完成,因此必须培养和造就一支掌握大数据,懂管理,有大数据应用经验的大数据建设专业队伍。全球每年将新增数十万个大数据相关的工作岗位,未来将会出现100万以上的人才缺口。因此高校和企业共同努力去培养和挖掘人才。挑战七:数据开放与隐私的权衡在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。但是数据的开放不可避免的会侵害一些用户的隐私。如何在推动数据全面开放,应用和共享的同时有效地保护公民和企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。大数据蓝海成为企业竞争的新焦点大数据所能带来的巨大商业价值,被认为将引领一场足以与20世纪计算机革命匹敌的巨大变革。大数据正在对每个领域都造成影响,包括商业、经济等领域。大数据正在促生新的蓝海,催生新的经济增长点,正在成为企业竞争的新焦点。机遇一:大数据挖掘成为商业分析的核心大数据的重心从存储与传输已经逐步过渡到数据的挖掘与应用,这将深刻影响企业的商业模式,既可直接为企业带来盈利,也可以通过正反馈为企业带来难以复制的竞争优势。一方面,大数据技术可以有效地帮助企业整合、挖掘、分析其所掌握的庞大数据信息,构建系统化的数据体系,完善企业自身的结构和管理机制。另一方面,伴随消费者个性化需求的增长,大数据在各个领域的应用逐步显现,已经开始并正在改变着大多数企业的发展途径及商业模式。机遇二:大数据成为信息技术应用的支撑点大数据处理和分析成为新一代信息技术应用的支撑点:移动互联网、物联网、社交网络、数字家庭、电子商务等是新一代信息技术的应用形态,这些技术以大数据为节点,不断汇集所产生的信息,并通过对不同来源数据的统一性、综合性的处理、分析与优化,将结果反馈或交叉反馈到各种应用中,进一步改善用户的使用体验,创造出巨大的商业价值、经济价值和社会价值。因此,大数据具有催生社会变革的能量,但是释放这种能量,需要更严谨的数据治理、富有洞见的数据分析和激发管理创新的环境。机遇三:大数据成为信息产业持续增长的新引擎大数据的商业价值和市场需求成为推动信息产业持续增长的新引擎:随着行业用户对大数据价值认可程度的增加,市场需求将出现井喷,面向大数据市场的新技术、新产品、新服务、新业态会不断涌现。大数据将为信息产业创建一个高增长的新市场:在硬件与集成设备领域,大数据面临的有效存储、快速读写、实时分析等挑战,将对芯片、存储产业产生重要影响,还将催生一体化数据存储处理服务器、内存计算等市场;在软件与服务领域,因为大数据中蕴涵的巨大价值,带来对数据快速处理和分析的迫切需求,将引发数据挖掘、商业智能市场的空前繁荣。大数据从什么地方来?这些数据有哪些特点?大数据可以应用在哪些社会领域?大数据面临哪些挑战?大数据时代的机遇与挑战华为鲲鹏解决方案鲲鹏简介鲲鹏大数据解决方案万物互联-海量数据产生需要更高算力自动驾驶平安城市智能家居IoT工业感应智慧能源数据中心2018年2.5亿台下降1.3%2018年16亿部增长1.2%连续7年下滑连续增长PC过去,PC接入现在,移动智能终端接入移动智能终端逐渐取代传统PC世界正在进入万物互联的时代2018年全球连接设备数超过230亿传统PC向移动智能终端转移海量数据产生新的算力需求应用智能手机物联网自动驾驶数据文本图片语音视频计算应用和数据的多样性需要新的计算架构整型计算文本处理数据分析浮点计算科学计算视频处理超万亿规模的计算产业空间新应用、新技术、新计算架构,百亿级联接、爆炸式数据增长将重塑ICT产业新格局,催生新的计算产业链条,涌现出新的厂家和软硬件:硬件:服务器及部件、企业存储设备。软件:操作系统和虚拟化软件、数据库、中间件、大数据平台、企业应用软件,云服务、数据中心管理服务;企业应用软件4020亿数据中心管理服务1595亿服务器1121亿数据库569亿大数据平台410亿公有云IaaS1410亿基础架构软件1525亿中间件434亿企业存储311亿2023年全球计算产业投资额(美元)鲲鹏计算产业优势和ARM共享优势生态,协同加速发展以中国市场孵化和完善行业应用,与全球产业形成良性循环

优势21鲲鹏计算产业整体架构鲲鹏计算产业是基于Kunpeng处理器构建的全栈IT基础设施、行业应用及服务,包括PC、服务器、存储、操作系统、中间件、虚拟化、数据库、云服务、行业应用以及咨询管理服务等。

数据库虚拟化中间件行业应用存储操作系统Kunpeng处理器服务器云服务鲲鹏计算产业运营商政府金融游戏媒体与娱乐鲲鹏ECS鲲鹏BMS鲲鹏容器鲲鹏RDS鲲鹏DWSopenEuler操作系统TaiShan2280均衡型服务器TaiShan5280存储型服务器TaiShanX6000高密型服务器智能SSD控制器芯片智能网卡芯片智能管理芯片OceanStorV6/FV6存储兼容丰富的操作系统、中间件、数据库软件华为鲲鹏处理器高斯数据库……………PC鲲鹏计算产业的典型应用在5G、AI、云计算、大数据等技术推动下,各行各业对计算平台提出端云同构、海量多样化数据智能处理、实时分析等需求。Kunpeng处理器提供的强劲算力底座,将在各行业数字化转型过程中发挥重要作用。

大数据分布式存储数据库原生应用云服务CPU核数多性能提升加解密引擎压缩时间减少IOPS提升压缩解压缩引擎性能提升RoCE低时延网络NUMA优化算法Arm原生同构无性能损耗五百万原生应用生态裸金属内存带宽提升弹性云多核整形性能提升Kubernetes容器混合部署鲲鹏计算产业生态全景开发者生态社区建设伙伴生态产业生态高校合作技术生态鲲鹏生态技术生态鲲鹏计算平台是一个开放的技术生态,兼容业界主流操作系统,数据库,中间件等软件。高校合作校企合作,持续为计算产业培养和输出人才,合作方式:校企联合课程校企图书出版高校实训室建设人才双选会开发者生态鲲鹏计算平台鼓励开发者基于平台进行业务开发和创新:鲲鹏开发者大赛鲲鹏在线课程/云端实验室鲲鹏职业认证产业生态与伙伴和客户一道,共同打造面向行业的解决方案:伙伴生态三大伙伴计划为伙伴,提供培训、技术、营销、市场的全面支持:鲲鹏凌云伙伴计划鲲鹏展翅伙伴计划鲲鹏智数伙伴计划运营商政府金融游戏媒体与娱乐社区建设鲲鹏社区为客户、伙伴、开发者提供丰富的资源和开放、平等的交流空间:鲲鹏论坛二维码2021华为鲲鹏930199120052009201420162019第一颗传输网络的ASIC芯片第一颗基于ARM的无线基站芯片第一颗基于ARM的移动端CPU第一颗基于ARM的64位CPU业界第一颗支持多路ARMCPU业界第一颗7nm数据中心CPUK3Hi1612(鲲鹏912)华为鲲鹏916华为鲲鹏9202023华为鲲鹏950开放生态开放平台,支持业界主流软硬件;构建鲲鹏生态,与开发者、伙伴和产业组织共同打造智能计算新底座;安全可靠华为鲲鹏处理器基于自研内核,TaiShan服务器计算芯片全自研;17年计算创新铸就稳如泰山的高品质;高效能计算提供兼容ARM架构的高性能华为鲲鹏处理器、TaiShan服务器和解决方案,将高效能计算带入数据中心;基于华为鲲鹏处理器,构建整机计算能力基于Kunpeng920处理器TaiShan200基于Kunpeng916处理器TaiShan100鲲鹏生态兼容的操作系统介绍社区发行版商用发行版国产OS国外OS…………华为云鲲鹏云服务概述全行业多场景覆盖

核心基础设施华为鲲鹏920高性能CPUHi181x存储控制器Hi182x网络控制器Hi171x服务器管理昇腾310/910高性能AI鲲鹏ECS鲲鹏CCE鲲鹏BMS鲲鹏CCI鲲鹏VPC鲲鹏ELB鲲鹏EVS鲲鹏OBS鲲鹏SFS鲲鹏NAT网关……政府金融互联网…大企业全栈鲲鹏云服务全栈专属云HPC大数据企业应用原生应用AI解决方案产业发展鲲鹏全系列云服务华为云鲲鹏云服务基于鲲鹏处理器等多元基础设施,涵盖裸机,虚机,容器等形态,具备多核高并发特点,非常适合AI、大数据、HPC、云手机/云游戏等场景。事物处理大数据分析数据库科学计算云服务存储移动原生应用OLTPOLAPMySQLCAE/CFD前端Web块存储云游戏Web

Server离线分析RedisCAD/EDA数据Cache对象存储游戏开发测试EmailAI-训练Gbase生命科学搜索文件存储终端仿真应用服务AI-推理Oracle分子动力学移动办公ERP人大金仓能源可在ARM运行CRM达梦气象学SAP国防&安全各类业务中,开源软件可以在华为鲲鹏平台上运行,商业软件逐步完善并行度较高或者可以并行化的应用,具有较好的性能华为云鲲鹏云服务支持丰富场景大数据时代的机遇与挑战华为鲲鹏解决方案鲲鹏简介鲲鹏大数据解决方案华为大数据解决方案鲲鹏大数据解决方案华为安全可控鲲鹏大数据解决方案,提供一站式高性能大数据计算及数据安全解决方案,解决公共安全行业大数据智能化建设的数据安全、效率和能耗等基础性难题。BigDataPro大数据解决方案该方案采用基于公有云的存储与计算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的OBS对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,大数据成本最高可降低50%。

结合华为云丰富的大数据平台和基础云服务经验,为企业提供高性能、高可靠的大数据业务基础资源、AI训练推理平台,快速实现企业数据化、智能化转型。MRS服务DWS服务TaiShan服务器大数据平台数据集成物联数据互联网数据通信数据视频数据警务数据社会数据社会媒体分析时空信息管理融合指挥人像/车辆大数据视图大数据华为大数据解决方案优势高安全:服务器及大数据平台自主可控;芯片级数据加密,数据不失密。高性能:比同档通用服务器性能提升30%;超强算力,高并发应用场景优化;支持5000+节点大数据集群。高开放:兼容ARM生态链、支持主流硬软件;建立Openlab,提供软件开发、应用移植、兼容认证等服务。DWS数据仓库CSS云搜索服务GES图引擎数据集成数据规范数据开发数据治理

数据资产数据开放HBaseCarbonData一站式大数据平台-MRS服务Hive批处理SparkSQLPresto交互式查询StreamCQL流查询MLlib数据挖掘FlinkStormSparkStreaming流计算ORCKafkaFlumeLoader数据接入MapReduceTezSpark批处理计算企业应用报表,仪表盘OLAP分析轨迹挖掘智慧助手视觉服务…

IOT接入

第三方工具DLV数据可视化数据服务智能数据湖运营平台DAYUParquetTXTHDFSOBS100%兼容开源生态+三方组件插件化管理,企业一站式平台支持存算分离+鲲鹏优化,性能更优华为云大数据服务数据开发,测试,应用一站式服务华为云MRS服务综述MapReduce服务(MapReduceService,简称MRS)是一个在华为云上部署和管理Hadoop系统的服务,一键即可完成部署Hadoop集群。MRS提供租户完全可控的一站式企业级大数据集群云服务,完全兼容开源接口,结合华为云计算、存储优势及大数据行业经验,为客户提供高性能、低成本、灵活易用的全栈大数据平台,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件,并具备在后续根据业务需要进行定制开发的能力,帮助企业快速构建海量数据信息处理系统,并通过对海量信息数据实时与非实时的分析挖掘,发现全新价值点和企业商机。华为云MRS服务的优势(1)高性能支持自研的CarbonData存储技术,以一份数据同时支持多种应用场景;通过多级索引、字典编码、预聚合、动态Partition、准实时数据查询等特性提升了IO扫描和计算性能,实现万亿数据分析秒级响应;支持自研增强型调度器Superior,突破单集群规模瓶颈,单集群调度能力超10000节点;基于鲲鹏处理器进行软硬件垂直优化,充分释放硬件算力,实现高性价比。华为云MRS服务的优势(2)易运维MRS提供可视化大数据集群管理平台,提高运维效率;支持滚动补丁升级,可视化补丁发布信息;无需人工干预,不停业务,保障用户集群长

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论