曙光XData大数据教战手册

精品文档曙光XData大数据教战手册曙光信息产业(北京)有限公司产品中心2欢迎下载2欢迎下载。精品文档1. 教战手册作用曙光XData大数据教战手册是销售人员在与客户沟通时常见问题的回答要点，是让客户清楚曙光在备份领域能做的事情以及曙光的优势，最终为达成销售的目的提供必要的技术解释。2. 背景介绍2.1 什么是大数据 “大数据”并不是一项技术，而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。因此，大数据在业内并没有一个统一的定义。不同厂商、不同用户，站在不同的角度，对大数据的理解不一样。目前说大数据的定义，主要有下面两种：第一种是Teradata Manager上给出的一个定义，它指出大数据是指超出了常用硬件环境和软件工具在可接受的时间范围内为其用户收集、管理和处理数据的能力。另一种是麦肯锡给出的定义，它说大数据是指大小超出了典型数据库软件工具收集、存储、管理和分析能力的数据集。2.2 大数据的特点“大数据”这个词，光从字面来看，可能会让人觉得只是容量非常大的数据集合而已。但是，容量只不过是大数据特征的一个方面，如果只拘泥于数据量的话，就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以理解”这样的状况，并不仅仅是由于数据量增大这一个因素所造成的。大数据的特征，可以用四个V开头的关键词来描述：1) 数据体积大Volume截止目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类说过的所有的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据已经接近EB级。2) 数据类型多Variety数据的多样性可以把数据分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等。这些多类型的数据对数据的处理能力提出了更高要求。3) 价值密度低Value价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一两秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。4) 处理速度快Velocity这是大数据区分于传统数据挖掘的最显著的特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。3. 产品介绍3.1 产品概述Xdata大数据一体机是一款通用的海量数据处理平台，提供对结构化及非结构化海量数据的存储组织和查询处理功能，满足用户对海量数据的过滤性查询、统计分析类查询和关联分析的处理需求。Xdata大数据一体机可广泛的应用在电信数据统计分析，互联网/移动互联网的日志和用户行为分析，物联网/传感器网络的数据监控和追踪分析，以及金融交易数据的离线统计和挖掘等众多领域。3.2 功能特性Xdata大数据处理机将数据存储单元和处理单元分离，通过构架高效的服务中间件，将底层采用无共享结构的数据存储节点，聚合成一个单一的数据处理系统映像，达到较高的数据读写并发度、计算并发度，以及良好的系统扩展性，可靠性和可维护性。系统结构如图：图表 31 XData系统结构Xdata向用户提供统一的类JDBC的客户端编程接口，向下管理分布在不同存储模块上的不同类型的数据，并提供简易的用户管理界面。Xdata系统的核心计算包括自动的服务注册和负载均衡，可扩展的数据划分和分布策略，高效的批量数据加载，通用的并行查询分析和处理引擎，结构化和非结构化数据的统一访问接口，不同类型数据之间的关联查询和检索，以及全方位的熊故障和恢复处理等多项技术。Xdata的产品功能特性如下：1) 分级存储Xdata支持分级存储，以降低系统的总体持有成本。即按照数据量和数据的访问频率，分为在线、离线和备份三个存储级别，并支持数据在各级之间根据策略进行迁移。2) 复杂数据类型关联分析Xdata支持大表关联和大表嵌套类等复杂的查询语句的处理。Xdata系统通过将复杂查询解析成在多个数据节点上的并行任务流，来提高复杂查询的处理性能。Xdata支持用户自定义的并行查询任务流，可以支持任意复杂的结构化/非结构化数据处理语义，以满足更广泛的应用需求。3) SN-MPP并行处理架构Xdata采用无共享的集群架构，提供高速的数据写入能力。写入过程中，采用并行写入的方式，按照一定的数据划分策略，将数据写入到后端的数据节点。Xdata将查询语句分解成为在多个数据模块并行执行的查询任务流，所有的查询处理都在数据节点上并行的执行，充分利用无共享结构的计算并行度。Xdata提供任务断点执行功能，发生意外情况时，失效任务自动恢复执行。4) SQL/MapReduce一体化执行框架XData提供类SQL访问接口：有SQL 使用经验的用户无需额外学习即可很方便的使；XData提供SQL/MapReduce混合执行框架，提供跨平台的兼容性。3.3 产品特点中科曙光XData大数据一体机的主要硬件组成部分数据模块DataModule，具有如下特点：1) 高性能 采用Intel最新一代的E5-2600系列处理器，处理器内部集成PCI-E控制器； 处理器之间采用更多、更快的QPI总线，大幅提升CPU之间协作效率； 16根DIMM插槽，支持DDR3内存，频率支持1600MHz(由使用的处理器型号决定)，最高可支持512GB内存； PCI-E总线提升到3.0标准，极大的提高了扩展性能。2) 高可靠性 具有高级内存容错功能； 支持多网卡冗余，系统正常时分摊网络流量，当其中一块网卡出现问题时，自动将其负担的工作切换到其他网卡； 机箱温度检测功能，随时检测机箱内部的温度以及系统风扇的情况，发现问题及时报警； 标配2+1冗余电源，防止瞬间掉电，提供用户更稳定可靠的系统电源。3) 高扩展性 16条DIMM插槽，最大可扩展至512G内存； 最大支持36块硬盘，可用作存储服务器； 支持6条PCI-E插槽，提供高扩展能力，支持更多扩展卡，为更多应用提供支持。4) 高可管理性 可选智能硬件监控系统。提供系统内部温度，风扇转速，直流电源电压等工作状态信息显示。自动记录主机因故障停止工作的时间和日志信息，帮助分析故障原因； 支持智能动态调节风扇转速功能，风扇转速随着系统温度动态调整，有效降低了系统噪音和功耗。5) 易维护性 集成iKVM功能可以对数据控制器进行远程操作、维护，具有多项故障指示功能，有效降低用户宕机风险。3.4 产品规格XData大数据一体机包含两类组件：计算模块、数据模块和客户端。计算模块：用于数据的并行加载和查询处理，对客户端提供统一的数据处理接口。数据模块：用于提供结构化/非结构化数据一体化存储空间，内嵌高性能数据存取引擎，并行处理所有计算模块的数据访问请求。客户端：用于和用户应用对接，提供XJDBC/MapReduce统一访问接口和各服务专用访问接口。表格 31 规格列表型号XData 大数据一体机系统规格系统容量16PB计算模块1024数据模块1024客户端OSCentOS5 X86/X86_64CentOS6 X86/X86_64RedHat5 X86/X86_64RedHat6 X86/X86_64SLES11 SP1 X86/X86_64SLES11 SP2 X86/X86_64系统功能系统架构非对称双集群架构，系统由计算集群和数据集群组成访问接口支持类JDBC统一编程接口和各服务专用编程接口，兼容MapReduce执行框架负载均衡支持基于连接数、容量和性能的负载均衡数据迁移支持数据控制器之间的数据迁移分级存储支持同一系统内的数据分级可扩展性加载模块支持计算模块在线动态添加和安全移除，扩展后系统数据加载能力呈线性增长数据模块支持数据模块在线动态添加，扩展后系统数据查询处理能力呈线性增长硬盘Raid0/1/5/6可靠性计算模块多个计算模块以负载均衡方式运行，单个或多个计算模块故障不影响系统整体的数据加载和查询处理，客户端会自动重连切换到可用的计算模块数据模块数据模块以集群方式运行，支持数据的双副本和分级存储策略对数据可靠性进行保护 管理部署支持集中式部署和配置升级支持在用户业务不停止的情况下在线升级，升级过程对原有数据和配置无影响状态监控支持对系统总体状态进行监控，支持对各节点和服务状态进行监控性能监控支持对系统总体性能、资源进行监控，以及各节点的性能、资源进行监控告警支持对系统软硬件故障和系统状体阀值信息进行告警，告警方式支持以界面告警、邮件告警和短信告警等方式3.5 XData大数据一体机管理系统Xdata大数据一体机管理系统主要为用户提供对Xdata系统执行各种操作的图形化交互界面。提供的功能包括：安装维护、系统监控、系统管理、告警管理、报表管理和资源管理等服务。其界面操作如下图所示：图表 32 XData管理系统登录界面图表 33 XData系统管理服务界面图表 34 XData系统安装界面图表 35 XData系统资源监控界面4. 目标行业及典型应用在数据量爆发式增长的时代，数据中蕴含的价值日益受到企业和社会的重视。曙光公司以客户需求为导向，依托十几年的专业技术积累和丰富的项目实践经验，提出以“平台一体，智汇应用”为核心的曙光大数据战略，为各行各业客户提供业界顶尖水准的大数据整体解决方案和服务，助力客户业务持续创新和增长。曙光大数据提供丰富的平台接口，支持与各行业丰富的第三方应用集成，汇集了智慧城市、金融、电信、交通、医疗、教育、军工等各行各业丰富的大数据应用软件，提供高效和个性化的数据分析服务，挖掘数据价值、释放数据潜能，为客户带来创新的技术模式、商业格局和投资机会，从而获得在信息时代的竞争优势。4.1 客户的数据类型客户应用系统的数据通常被分为一下两个大类：1) 结构化数据即存储在关系型数据库里面的行数据，可以通过二维表结构来逻辑表达实现的数据。2) 非结构化数据相对于结构化数据而言，不方便用数据库二维逻辑表来实现的数据即称为非结构化数据，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像、音频/视频、智能终端/智能仪表/传感器产生的数据等等。Xdata大数据一体机致力于对分散的结构化和非结构化数据进行整合存储，实现数据的交叉复用及数据的深层次挖掘等应用。4.2 典型的行业应用曙光在大数据布局上将采用三步走战略，为企业打着简单易用、注重实效的大数据平台。其中，数据落地式三步走战略中的第一步，其关键点在于数据采集存储，帮助用户掌握大数据分析和处理的方法；第二步是分析简化，让数据化简为繁，结合行业应用形成解决方案。在这一步，曙光同时将为用户提供应用迁移、应用优化以平台开发等服务支持；第三步是价值新生，通过深化应用，联手用户共同探寻、挖掘数据价值。4.2.1 金融行业在金融行业，数据存储要求非常高，在我国每天都会产生大量的交易数据，包括银行、证券、保险等各个金融领域都会产生大量的数据。这些数据都会存放在交易系统当中，如果能够把这些历史数据进行分析、挖掘将会产生意向不到的效益。传统金融行业业务系统规范化做的相对来说比较好，大量的数据已经被严格的规范化并存储在关系型数据库当中。目前，金融行业对这些具有潜在价值数据的分析相对来说比较少。基于金融数据的特点，以下这些业务可以被移植到大数据平台中来：1) 监管和改革监管和改革可以为整个国家层面金融统计方面提供依据。除了内部审核之外，还有很多信用风险分析，包括压力分析等。这些都需要金融机构实时的、长期的、频繁的为整个金融数据进行测试和检测。这些对数据的分析对计算能力和计算深度及计算广度的要求都非常的高。利用传统的业务处理手段在处理深度和数据分析的速度上都具有一定的局限性。而大数据的优势是能够针对最底层的交易数据进行全面的模式识别、分析，能够大大提高整个风险分析的能力和效率。2) 盈利方面通过对用户进行分类以及对用户信用能力进行分析，可以改善对用户提供的服务，也能极大地提升金融机构的盈利水平。3) 运行效率方面对于金融机构来说基本上都是跨全国的大型机构或公司，具有很多的分支机构，数据是分散存储的。而现在可以利用大数据手段，把原来分布在各个系统当中的运营数据进行汇总、进行交叉复用分析进而提升整个运营的效益。金融机构的很多业务系统都已经基本成熟，包括BI、信息分析等。在移植到大数据平台后，这些业务系统仍然可以继续实施，而且比传统的方法更高效。这样不仅可以降低数据整合的工作量，把原来那些相对昂贵的工作放到更有效、更高效、性价比更高的大数据处理平台上来运行，这样可以从很大程度上降低原来的独立系统对服务器的要求。曙光 XData 大数据解决方案基于对大数据处理技术的应用层面，对文件管理、历史数据查询以 及数据分析类应用进行深入研究，为信息时代数据爆炸式增长所带来的海量数据存储及分析应用需要提供可靠解决方案。曙光金融行业 XData 大数据解决方案采用曙光自主研发的 SN-MPP 并行数据库，并结合大数据处理事实标准 hadoop，充分考虑了多方 面的数据收集，加入 ETL 工具和连接驱动器，提供了类 SQL 的接口， 和现有金融业务系统进行对接，方案总体架构图如图所示：图表 41 金融行业大数据解决方案曙光金融行业大数据解决方案立足于基础平台建设，同时切实贴合金融行业用户需求，提供优质软硬一体优质解决方案 服务，为用户解决部署、业务移植开发等技术难题，帮助用户跨过应用门槛。为金融行业盘活数据资产，用户抢占新技 术的制高点，推动业务持续不断的发展。4.2.2 电信行业移动互联网时代的来临，给人们的生活和娱乐方式带来了天翻地覆的变化，尤其是3G网络的出现，使得人们已经突破了时间和空间的限制，随时随地都可与他人交流沟通。这一全新事物的迅猛发展，给电信运营商带来许多商机，同时也出现了一些挑战。例如随着移动互联网的普及，用户移动数据流量迅猛增长，数据流量收入已经超过了点对点短信业务，成为拉动数据业务收入增长的主要驱动力。尽管新的商业凸显，但挑战也应运而生。如在3G全业务市场竞争环境下，电信运营商急需根据竞争情况和用户需求，加快实现流量的实时计费和提醒，优化数据流量资费体系，降低资费水平差距，提高精细化营销能力，不断提高客户满意度并降低流量投诉等等。而这一切都催生了对流量大数据分析的需求，大数据依赖于成熟的技术方案，但从目前看来，运营商现有的系统架构并不能很好地满足这些需求。从电信运营商的整体系统架构来看，其主要面临四个方面的挑战：首先，传统电信运营商的系统建设分散，很难实现资源和应用共享。诸如经营分析、信令监测、综合网络分析、不良信息监测以及上网日志留存等大数据系统垂直建设较多。同时，很多省分公司的系统建设存在重复建设、应用重复开发、各类专家资源无法共享等情况。其次，则是数据分散存储，标准化程度低。要对电信行业的流量大数据进行分析，就必须实现数据的集中存储，并有统一的标准。但从目前来看，各级电信运营商各大数据系统的数据模型并未统一，跨系统综合分析较为困难，在原有基础之上实现统一管理的难度较高。再者，以OLTP为核心的传统架构难以满足新业务发展要求。电信运营商IT架构较为传统的做法是采用高端架构建设(类IOE)，成本极高。并且，其仅具备良好的结构化数据处理能力，在飞速增长的非结构化、半结构化数据处理方面显得心有余而力不足。除此之外，传统的IT架构在高速增长的数据背景之下，很难满足其存储需求。除了上述之外，目前电信运营商的大部分业务都只对内提供服务，未能有效地进行成规模商业利用。如何建立商业模式?如何解决用户隐私保护问题?这是各大电信运营商都需要深思的问题。面对上述难题与挑战，并结合电信运营商现有业务，曙光存储提出了针对电信运营商大数据管理总体系统框架模型，其主要分为四层，即物理层、数据层、模型层和应用层。其中数据层是整个运营商大数据管理的核心部分，为上层应用提供数据支持。具体如下图所示：图表 42 电信行业大数据解决方案4.2.3 公安行业 以省市县三级公安的信息中心作为为数据基础，考虑到公安数据及其业务的实际应用主要在公安信息网上运行，同时也需要各种公安信息资源库的支撑，因此在公安网内建设综合应用管理系统平台，通过安全接入平台与汇聚平台进行数据共享和交换，实现与警务基础平台、情报信息平台以及其他重点信息系统的关联对接，为交通管理、治安防控、侦查破案、应急指挥等公安业务提供有效支撑 , 为科技强警、保障社会稳定提供技术支持。公安行业大数据平台总体方案架构图如下：业务的应用包括如下几个方面： 实时监控l 实时监测和查看监控点过车信息、车辆图片等。 关联查询l 机动车数据查询、特殊数据查询、车辆轨迹查询、设备及工作状态查询、其他信息系统的深度关联查询等。 统计分析l 包括点位统计、流量统计、考核统计、设备统计、成功案例统计、车牌识别率统计等各种统计功能，并以表格、曲线图、柱状图、饼形图等多种形式展现。 布控拦截、比对报警l 应能对各类嫌疑车辆进行布控报警，实施拦截处置。针对布控车辆和违法车辆进行比对预警管理，实现对报警信息的接受、查询、确认、发布等。并支持客户端、Web 页面、LED 屏、SMS 短信报警等多通道报警方式。 视频监控l 在各类动态视频（实时图像和录像资料）联网应用基础上，实现实时预览、历史图像检索回放、远程控制、截图功能（图片抓拍、图像抓录）、视频巡检、分组轮巡、网上巡逻、报警联动、智能调度、预案管理、警情联动等主要功能。 PGIS（GPS）集成应用l 通过 PGIS 地图实现可视化日常操作功能与系统图像化管理功能。 交通管理l 主要包括交通违法信息识别和分检、交通违法信息查询处理等。 智能研判l 包括：重点车辆轨迹研判、高危时段、地区车辆研判、频繁出入车辆研判、同行车辆关联研判、套牌车辆研判、车案区域关联研判、车辆活动规律研判等。4.2.4 交通行业随着智慧交通的不断建设，其数据呈现暴增趋势，能够展现并支持这些数据量，需要一套成熟且又稳定的产品或者解决方案，曙光公司基于在大数据处理领域的经验和知识积累，针对交通行业的具体应用特征，推出曙光在交通行业的大数据解决方案，架构如下图所示：区、市数据中心用来收集前端摄像头、拾音器等终端设备的数据，并进行存储、变形以及分析和挖掘。曙光交通行业数据中心解决方案各层功能如下： 底层由曙光专为大数据定制的 Xdata 一体机及网络设备等构成，为上层应用提供计算以及存储资源； 存储层基于曙光 XData 优化版的分布式文件系统 HDFS 以及分布式实时数据库 HBase 技术实现，存储层不仅可以用来 存储从终端设备采集来的实时非结构化数据，还可以用来存储从传统应用的关系数据库里整合来的结构化数据； 应用层基于曙光发行版 XData-hadoop 技术实现，用来对存储层的海量数据进行离线分析、数据挖掘以及在线 / 互动应用。交通系统的数据具有分布性和动态性的特点，需要进行数据统一管理和实时分析，及时快速的处理突发事件。针对交通系统的应用特点，曙光解决方案采用如下几项创新技术，用来优化存储、查询，增强应用结果处理能力： 曙光解决方案提出创新的跨地域 XData 大表技术，支持数据存储在不同地域的多个数据中心，而用户所见为虚拟的单 一数据中心，方便管理和使用，同时，每个数据中心互为备份，在全局范围内提供更高可用性； 曙光大数据平台在 XData 顶部加入 SQL 层，对大量交通数据提供实时分析服务，并且对同一组数据同时支持互动式查 询和离线统计； 曙光大数据平台在 XData 中加入全文本索引和近实时搜索，可以实现对分布式数据库里的结构化数据提供全文本搜索 的能力，并且内建索引以确保交通数据和索引始终同步； 曙光大数据平台在 XData 里加入高效大对象存储，采用标准的 Hbase 接口，提升了交通图像数据的存储性能； 曙光大数据平台将成熟的 R 语言库引入 MapReduce、HDFS 和 HBase，降低了开发复杂的数据挖掘逻辑的工作量。4.2.5 医疗行业曙光大数据支撑平台针对医疗行业大数据应用特点，采用多项曙光创新的结构化与非结构化数据一体化处理、并行处理、 SQL/MapReduce 统一执行引擎、分布式容错及自动故障处理、复杂数据类型关联分析、多 IP 通路负载均衡、处理任务 断点执行、动态扩展等技术，从服务器、网络、操作系统到软件层逐层优化，保证系统具有高性能、高可靠、易扩展、 易使用等特点，同时曙光为大数据支撑平台设计了图形化的统一管理系统，简化用户的管理和维护工作。曙光医疗大数据应用平台将医疗卫生数据中心仓库的数据经过 ETL 后，集中到数据集市，数据集市中的数据经过 OLAP 和数据挖掘分析引擎处理后，应用于大数据的报表展现、卫生数据统计、决策分析、数据挖掘、疾病预警、预测等。通过应用系统，提供给使用者直观展示。其应用方向可包括医疗收入、患者负担、工作负荷、工作效率、疾病监控等多个主题。各主题分析都基于大数据技术构建， 通过采集不同医疗机构业务系统数据，对各项医疗业务进行汇总统计、构成分析、对比分析、因素分析、增量函数分析等， 并通过各种图表形象、直观的表达出来，能够有效的反映医疗管理机构或服务机构的整体运营、管理等情况。同时有利 于管理层正确分析并做出有效决策，强化医卫管理，优化资源配置、控制不合理因素。5. 竞争分析5.1 目前市场上主流的大数据产品目前，大数据产品市场主要分为如下几大阵营：Oracle、IBM、EMC、Intel。在国内主要是类Intel的阵营，包括：华为、浪潮、天云趋势、友友等。5.2 竞争对手主要产品分析5.2.1 Oracle大数据一体机在大数据时代，Oracle推出了软硬一体优化集成的Oracle大数据综合解决方案，如下图所示：图表 51 Oracle大数据综合解决方案其中捕获、组织、分析、决策部分包括的组件如图所示：图表 52 Oracle大数据解决方案组件针对大数据时代数据的特点：1. 可预测的低延迟；2. 高吞吐高交易；3. 灵活的数据结构。Oracle把获取到的数据存放在HDFS、Oracle NoSQL数据库和RDBMS中。Oracle NoSQL数据库的架构如图所示：图表 53 Oracle NoSQL数据库架构Oracle NoSQL数据库的特点如下：1. 分布式键值对数据库；2. 简单编程模型；3. 可伸缩的吞吐量；4. 商业软件和支持；5. 易于管理；6. 存储节点跨多个数据中心；7. 自动处理存储节点故障；8. 无单点故障；9. 与Oracle体系无缝集成；Oracle大数据一体机如图所示：图表 54 Oracle大数据一体机5.2.2 IBM PureSystem一体机IBM PureSystem一体机包括PureFlex System、PureApplication System和PureData System；具体如下所示：n PureFlex Systemp 包含计算、存储、系统管理和网络组件。用于满足IT 基础架构需求n PureApplication Systemp 支持事务性 Web 和数据库应用程序p 易于部署、定制、保护和管理p X86 和 POWER 平台n PureData Systemp 集成、优化、可立即运行的数据库平台p 简化并优化分析应用程序的数据服务的性能p 数据仓库系统，用于交付对业务运营的洞察以实现实时决策p 一台PureData System的售价将从50万美元起n 特点p 继承并管理海量数据p 基于原生数据格式的分析p 可用数据的可视化分析p 为创造新分析模型提供开发环境p 负载均衡及调度p 安全与管理5.2.3 EMC Greenplum统一分析平台UAPGreenplum统一分析平台UAP结合Greenplum DB和Greenplum Hadoop为企业构建高效处理结构化、半结构化和非结构化的大数据分析平台。客户可以以此平台为基础利用Greenplum行业和数学统计方面的专家，充分挖掘自身数据价值，实现数据资产从成本中心到利润中心的转变，以数据驱动业务。图表 55 Greenplum统一分析平台EMC联合Informatica推出高性能数据分析方案HPDA，它利用Informatica Ultra Message产品实时从用户的业务系统中进行数据抽取，通过流计算模式把业务数据处理结果写入Greenplum DB。把传统的ETL周期从小时、分钟级别降低到秒级别。用户再通过Greenplum DB高效的海量数据分析挖掘能力，最大程度把业务数据转变成信息和知识的周期降到最低，实现真正意义的实时商业智能，提升企业的核心业务价值。图表 56 EMC HPDA5.2.4 浪潮云海大数据一体机浪潮云海大数据一体机作为浪潮大数据战略的载体，重点面向行业大数据应用，是一体化数据处理的解决方案，采用新型技术体系架构，整合软硬件系统，涵盖数据存储、数据处理、数据展现等全环节。浪潮云海大数据一体机是金融、电信、公安、工商、交通、卫生、企业等各个行业用户的大数据解决方案理想之选。功能特性：1) 新型技术体系架构；采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断增长，并且能够保持极高的线性度，解决了传统架构在扩展范围和扩展效率方面的难题。2) 软硬一体化的系统；集成计算单元、存储单元、交换单元、管理单元等硬件模块和数据存储、数据管理、数据分析、数据展现等软件功能，是大数据一体化处理的全环节解决之道；针对性的软硬件一体化优化，性能等技术指标大幅提升；工厂预装，集中交付，集中管理，简化配置流程，降低应用门槛。3) 专业化服务；从业务分析、应用移植、应用开发到运维服务的全环节服务保障。解决用户在实施分布式数据理架构面临的软硬件部署、二次开发等实际问题，帮助客户实现由传统数据平台向新型大数据平台的平滑迁移。4) 国产化方案；浪潮可提供基于飞腾处理器、浪潮K-UX系统等产品的全国产化方案，保障数据核心处理平台的自主可控技术规格：SDA-1SDA-2SDA-3SDA-4处理器400Core（高端CPU）576Core（通用CPU）1280Core(通用CPU)288Core（飞腾CPU）内存5TB9TB10TB576GB存储270TB1296TB480TB432TB硬件加速GPU/FPGA/网络总带宽200Gb720Gb1600Gb360Gb应用特点处理密集型的重载通用数据处理海量并发的轻量级高安全、高保密具体应用视频处理、图像渲染、在线交易等模式计算、商业智能、医疗挖掘等企业搜索等国防应用、保密机构等5.2.5 华为大数据一体机华为联合拓尔思出击大数据一体机系列，拓尔思华为大数据一体机系列包括拓尔思-华为信息采集一体机、拓尔思-华为信息检索一体机。 拓尔思-华为信息采集一体机是一款软件与硬件集成并优化整合的产品，可实时监控、采集Internet 网站内容，自动对信息进行过滤、分类、排重等智能化处理，实现全方位信息查询。一体机对软硬件进行了优化整合，在空间占用、采集性能、能耗、成本、管理等多方面具有突出优势。拓尔思-华为信息采集一体