曙光XData大数据产品介绍

曙光XData大数据产品介绍解决方案中心技术路线选择大象扩展性好成本低单机性能差关系型数据库支持差铁人一体化设备扩展性差价格昂贵

曙光自主代码

开源实现

在开源基础上改进

商业产品XData大数据一体机XData-Hadoop管理组件分布式存储系统(HDFS-2.0/P200)非结构化数据库(Hbase-0.94)数据仓库(Hive-0.10)数据挖掘工具(Mahout-0.7)数据传导器(Sqoop-1.4)海量日志收集器(Flume-1.3)协同工作服务(Zookeeper-3.4)类SQL编译器(Pig-0.10)任务调度器(Mesos-0.13)开源关系数据库(PostgreSQL-0.92)商业关系数据库(Oracle-8i/9i/10g/11g)统一编程接口(XJDBC/JDBC/ODBC)类SQL编译器(SQL++)图形化任务流(UDF-1.0/Oozie-3.3)全文检索器(Katta/Lucene)并行处理框架(Map/Reduce)并行执行引擎

XData大数据处理基础平台-v1.0多数据转换器(SETL)大数据专用数据服务器XData-Hadoop大数据软件高密度云存储节点(5U80盘)大数据专用数据服务器1.基于XEON处理器的存储服务器产品；2.机箱采用上开盖，竖插硬盘方式；3.整机深度800mm，可用于普通机柜；4.每U15块3.5”硬盘，业内密度最高的可热插拔服务器存储XData大数据处理基础平台应用程序XDataAPI接口（XJDBC）连接管理数据驱动日志模块预处理加载计数器连接池管理加载服务连接管理数据驱动日志模块类SQL分析分发执行连接池管理查询服务结果汇总连接管理数据驱动日志模块事务缓存管理连接池管理配置服务事务执行数据同步负载均衡服务管理日志管理认证管理系统监控安装部署系统管理HDFS数据节点/数据库节点HDFS数据节点/数据库节点HDFS数据节点/数据库节点HDFS数据节点/数据库节点元数据库存储划分参数设置索引管理模式定义分区管理对象管理元数据管理DIM管理工具

管理API元数据库SQL++工具自定义请求核心技术并行任务流执行控制计算定义和请求描述数据转换和迁移数据关联加载技术数据划分和存储组织

任务流执行同步控制技术

任务间数据划分和传输控制

大表关联和嵌套查询数据划分到文件的映射

数据模式定义和解释计算语义的预定义技术

SQL/MR作业的级联和关联

混合任务流描述和解析结构化/非结构化数据转换技术

并行处理内部隐式数据转换

据导入导出和数据迁移技术

DB/Hadoop数据模式映射

多源关联数据导入HDFS*132451.统一编程接口ETLSQL++2.SQLonHadoop3.数据仓库功能增强元数据统一管理并行执行控制4.分布式存储系统5.任务流控制图形化任务流6.Hadoop图形管理系统曙光Xdata-hadoopHDFS/HBase/Hive增强Hive增强替代HDFS替代Oozie替代AmbariHive/Pig增强直接面向用户，让用户方便地使用XData，提供标准接口，保持用户原有习惯1.统一对外编程接口Oracle/PGHDFSHBaseHive数据定义服务加载服务查询服务ICE中间件数据定义专用接口加载专用接口查询专用接口统一对外编程接口SQL++其他支撑工具XData的命令行工具，XData平台的入口之一，类似于oracle的sqlplus为用户提供快捷方便的使用途径，不需要写代码，直接输入sql语句就可以执行方便地定制显示格式批量执行脚本中的命令结果可保存到本地文件支撑工具-SQL++支撑工具-ETLOracle/PGHDFSHBaseHive抽取转换工具加载服务加载工具本地文件数据库、HDFS、Hbase、Hive的相互转换本地文件的快速加载2.SQLonhadoop关键功能：预定义和自定义FUNCTION分区条件过滤限制数据量结构化与非结构化关联多任务级联并行执行控制3.数据仓库功能增强元数据模块Xdata项目中的元数据服务并行查询执行框架加载服务元数据查询服务控制配置服务数据定义服务统一的客户端访问接口（类JDBC接口）统一的数据访问驱动数据库Hadoop其他类型数据服务管理负载均衡备份恢复容错管理系统图形化管理工具日志管理SQL*结果创建对象记录数据HIVE体系结构中的元数据库元数据库:存储数据仓库里所有的各种表与分区的结构化信息通常存储在关系数据库(MySQL,Derby).HDFS体系结构中的元数据库元数据:维护HDFS文件系统中文件和目录的信息。

存储在文件系统中，由NameNode来维护。

4.分布式存储系统图形化任务流处理技术（在研）5.任务流控制6.XData-Hadoop管理组件PAAS平台一体化集成平台统一调度平台应用开发平台运维设备监控服务监控运行监控统计报表告警管理调优诊断自维护软件部署服务管理配置管理节点管理运行数据查询数据转换任务流作业编写作业提交作业调度数据导入作业监控文件浏览文件上传文件下载文件编辑运用移动终端Portal数据可视化数据分析

一键式快速安装多维度系统监控全方位故障诊断集中式便捷管理XDataaBSM产品套装为我们带来了什么？XData运维功能特色XData运维功能覆盖软件部署服务管理节点管理

向导式安装一键式安装一键式卸载服务启停高可用管理角色配置节点扩容删除节点节点服务监控节点设备监控服务运行监控第三方监控集成告警报表配置管理状态告警阈值告警邮件告警统计报表趋势报表对比报表参数配置配置同步配置备份调优诊断日志分析审计日志推荐参数XData:便捷的部署提供一键安装和向导安装两种方式，助您轻松完成复杂的安装过程：向导式安装：根据向导按步骤的定义相关配置，即可完成复杂系统的安装过程。一键式安装：只需上传xls文件，即可一键完成安装，让您的安装过程轻松自如XData:完善的管理提供完善的管理功能，可以为大数据软件的各种组件提供图形化的：服务启停角色配置增删节点高可用设置复杂的操作、复杂的集群，通过轻点鼠标，即可快速完成XData:全面的监控XData提供全面的监控功能，支持各个层次软硬件的监控：设备监控：提供各物理节点的状态、部件的基本信息监控。组件监控：提供大数据各组件HDFS、MapReduce、HBase、Hive等服务的监控集群监控：提供集群整体性能、状态监控监控全方位、多层次，让你对系统的运行一览无余。多种告警方式告警引擎统一告警平台XData:健全的告警发送策略定义告警关联管理业务人员管理消息模板管理声光显示条件邮件短信控制可用性反应系统各层级设备、应用、软件的当前可用性、历史可用性、资源使用情况等评估预测单指标历史趋势和多指标融合对比，反应系统各个层面状态，预测系统问题挖掘基于应用特性分析，优化配置应用和资源XData:多样的报表XData:易用的调参为用户提供易用的调参工具，针对不同的应用快速调整参数，以使得系统处于最佳运行状态。XData:快速的诊断为用户提供快速的日志定位查询功能，帮助用户准确定位故障的来源，迅速排除各组件的故障。HDFS文件浏览、上传、下载、在线编辑Mapreduce作业/任务编写、提交、调度、监控Hbase/Hive表的增删管理、数据查询图形化任务流工具数据导入、数据导出等批量图形化工具数据抽取转换等ETL工具XData运行功能XData:文件管理利器XData提供全面的基于WEB的文件管理功能，可以轻松实现基于WEB对文件进行上传、下载、浏览、查询、编辑等功能。XData:作业管理助手XData提供基于WEB的MapReduce作业提交、调度、作业级任务级监控功能。祝您轻松完成Hadoop作业管理。XData:数据操作帮手XData提供基于WEB的Hbase/Hive表、数据的创建、删除、修改，查询功能，所有操作借助图形界面轻松完成。XData:图形化，让您生活更轻松XData提供了Hadoop各组件的设计、浏览、管理、监控等WEB图形化工具，让开发人员使用运行Hadoop轻松惬意。XData:PAAS平台功能

一体化的运维、运行、运用功能插件式的一体化软件集成平台应用开发平台统一调度平台一体化集成平台应用模板应用PortalIDE插件MPI和Hadoop统一调度Xdata-Hadoop大数据软件RoadmapQ3’13Q4’13Q1’14Q2’14Q3’14Q4’14789101112123456789101112Hdfs-2.0.01.自动分级存储2.元数据集群（节点数可达128台，可存储400亿以上文件）3.元数据HA（两两互备，30秒内可完成切换，业务不中断）4.N+M数据布局（利用率可达80%-94%）5.存储浏览功能Hbase-0.94.21.支持对处理结构化数据2.UDF引擎支持结构化数据处理3.SQL92大部分支持1

Co-processor改进，提高数据持续写入性能2多线程flush优化，异步flush优化，3应用级分区+regionserver预分配策略1.支持数据表跨数据中心2.表内容直接浏览功能Hive-0.10.01.自定义业务流提交和执行2.多组件联合的数据处理综合业务流3.表内容直接浏览功能Flume-1.3.0Mahout-0.7Sqoop-1.4.2Zookeeper-3.4.5Pig-0.10.0定期与社区保持同步Hadoop管理系统-1.0MapReduce1.JobtrackerHA实现1.数据传输和迁移功能增强2.模式转换功能1.基于WEB界面的上传下载功能2.MR作业提交、任务监控3.Hbase/Hive表浏览及查询、增删4.应用portalHadoop管理系统-2.01.图形化任务流2.数据访问监控3.数据访问工具集4.数据可视化XData一体机RoadMap2013Q42014Q12014Q22014Q32014Q42015Q12015

Q2101112123456789101112123456V4.2:通用结构化/非结构化数据存储和处理中间件ZHX应用定制，形成专门日志分析应用版：研发日志抓取、格式化、加载、统计、展示、用户行为分析等工具。面向日志分析和用户行为分析类应用XHS项目定制，形成新媒体行业专用版：关键词、标签、分类聚类等新闻话题内容处理工具集，面向内容检索和舆情分析类应用GJY广电项目定制，形成广电行业专用版：含用户日志和行为分析，图像特征化提取工具，图像和视频存储和检索工具包，面向广电行业多种应用类型