IBM大数据平台方案

1、 IBM大数据平台方案云 | 移动 | 安全IBM大数据平台和应用框架通过可视化的方法采集、抽取以及探查数据应用加速器，加速应用开发，快速实现分析价值BI / ReportingBI / 报告探索/可视化功能性应用行业应用预测分析内容分析分析应用IBM 大数据平台系统管理应用和开发可视化和发现分析流数据，以及在大数据的是谁数据洞察数据治理（数据质量、生命周期）低成本地分析 PB 级结构化和非结构化数据操作型数据或者历史数据的，基于数据仓库内嵌分析加速器信息整合和治理HadoopSystem流计算数据仓库上下文查询索引和联邦的上下文相关分析“IBM 拥有最深入的 Hadoop 平台和应用产品组合

2、。IBM 是一家久负盛名的 EDW 供应商，拥有其自己的 Hadoop 发行版；一个实施 Hadoop 项目的庞大专业服务团队；开发 Hadoop 技术的庞大研发计划；以及通过其 EDW 到 Hadoop 的密切联系。”Forrester Wave：企业 Hadoop 解决方案，2012 年第 1 季度IBM 在 Forrester Wave 关于大数据的报告一直处于领先地位当前产品强弱弱强战略市场知名度供应商完全参与高风险投资者竞争者表现优秀者领导者IBM 继续在 Forrester Wave：大数据 Hadoop 解决方案报告中领先来源：Forrester Research, Inc. F

3、orrester Wave 的版权归 Forrester Research, Inc. 所有。Forrester 和 Forrester Wave 是 Forrester Research, Inc. 的商标。Forrester Wave 是 Forrester 的市场深入分析结果的图形表示，使用包含公开的分数、权重和评论的详细电子表格绘制。Forrester 不会对 Forrester Wave 中描绘的任何供应商、产品或服务给予背书。信息基于最可靠的资源。观点反映当时的判断，随时可能更改。“IBM 拥有网格计算、数据库和其他许多数据管理技术方面的产品，它可将这些产品融入一个全面的 Hado

4、op 解决方案中。”“IBM 拥有先进的分析工具，全球知名度和实施服务，所以它所提供大数据解决方案将吸引众多的客户。”“IBM 拥有超过 100 个 Hadoop 部署，其中一些规模庞大，数据量达到了数 PB。”当前产品强弱弱强战略市场知名度高风险投资者竞争者表现优秀者领导者图 2. Forrester Wave：大数据 Hadoop 解决方案，2014 年第 1 季度开源 Hadoop 可视化和发现连接器工作负载优化Flume运行时高级引擎文件系统MapReduceHDFS 数据存储HBase 开发工具Eclipse 插件系统管理JaqlPigZooKeeperLuceneOozieHive

5、开源MahoutWhirrSqoopHue可视化和发现整合工作负载优化StreamsNetezzaFlumeDB2DataStageIBM InfoSphere BigInsights Enterprise Edition运行时高级分析引擎文件系统MapReduceHDFS 数据存储HBase 文本处理引擎和提取器库BigSheetsJDBC应用和开发文本分析MapReducePig & JaqlHive管理索引可拆分的文本压缩高级安全性灵活的调度程序JaqlPigZooKeeperLuceneOozieAdaptive MapReduceHive整合的安全程序管理控制台Sqoop自适应算法仪

6、表板和可视化应用工作流监视管理安全审计和历史血统Guardium平台计算CognosIBM开源高可用性Big SQLH CatalogGPFSBig RBigInsights: 超越开源的价值企业功能管理和安全工作负载优化连接器开源组件高级引擎可视化和发现开发工具IBM 认证的 Apache Hadoop 和相关项目重要的独特优势内置文本分析企业软件整合SQL 支持电子表格样式的分析支持的开源和其他组件可实现整合安装用于管理和应用访问的 Web 控制台平台充实：额外的安全性、性能特性、GPFS（替代性文件系统）世界级支持全面的开源兼容性业务优势得益于 IBM 的技术和支持，可更快地实现价值更低

7、的运营风险使用灵活的分析平台增强业务知识充分利用并补充现有的软件BigInsights 包含的内容功能版本整合安装Hadoop（包括通用实用程序、HDFS、MapReduce v1）2.2Pig（编程/查询语言）0.12.0Flume（数据收集/聚合）1.3.1Hive（数据汇总/查询）0.12.0Lucene（文本搜索）3.3Zookeeper（流程协调）3.4.5Avro（数据序列化）1.7.4Hbase（实时读/写）0.96.0Sqoop（RDBMS 批量数据传输）1.4.3 Oozie（工作流/作业编制）3.3.2Jaql（查询和脚本语言）在线文档通过通用 Jaql 模块与 JDBC

8、来源进行整合BigInsights 包含的内容功能Big SQL（标准 SQL 查询支持，JDBC/ODBC 驱动程序，来自 DB2、Netezza、Teradata、Oracle 的 LOAD 等）与 Netezza 集成，DB2 LUW 与来自 Jaql 的 DPF 集成。Big R（支持 Project R 统计和可视化）LDAP 身份验证、Guardium 支持等包含管理工具、应用目录等的 Web 控制台业务流程加速器（社交数据、机器数据分析）平台增强（GPFS-FPO、Adaptive MapReduce、对压缩文本文件的高效处理、灵活的作业调度程序、高可用性、监视和警报等）文本分析

9、Eclipse 文本分析开发工具、Jaql、Hive、Java、Big SQL数据导入/导出、社交媒体、临时查询等应用类似电子表格的分析工具IBM 支持BigInsights：超越开源的价值InfoSphere BigInsights管理和安全工作负载优化 (MapReduce/SQL)连接器开发工具IBM 测试并支持的开源组件加速器基于开源的组件工作负载管理安全开发环境分析/提取器分析提取引擎（System T）可视化和探索提取器和 APISQL APIBigSheets 可视化和探索面向用户的基于 Web 的分析和可视化熟悉的类似电子表格的界面定义和管理长期运行的数据收集作业基于表单的分析

10、InfoSphere BigInsights管理和安全工作负载优化连接器高级引擎可视化和探索开发工具开源 Hadoop 组件开发环境基于 Eclipse 的开发环境，用于构建和部署应用程序开发人员工具和一组分析提取器，推动快速采用和减少编码与调试时间文本分析、MapReduce 编程、Jaql 开发、Hive 查询开发的插件等BigInsights：超越开源的价值开发Eclipse 工具 针对 Jaql、Hive、Pig、Java MapReduce、BigSheets 插件、文本分析等高级文本分析引擎自动识别和理解文本中的关键信息BigInsights: 超越开源的价值Football Wo

11、rld Cup 2010, one team distinguished themselves well, losing to the eventual champions 1-0 in the Final. Early in the second half, Netherlands striker, Arjen Robben, had a breakaway, but the keeper for Spain, Iker Casillas made the save. Winger Andres Iniesta scored for Spain for the win.InfoSphere

12、BigInsights管理和安全工作负载优化连接器高级引擎可视化和探索开发工具开源 Hadoop 组件中文命名实体识别（人名、地名、组织机构名）中文基本情感分析（正面/负面评价）中文分析能力Big RR 客户端可扩展的统计引擎数据源嵌入式执行R 包R 包123使用熟悉的 R 语法和范例来探索、可视化、转换和建模大数据扩展 R分区大数据（“拆分”）对堆叠的 R 代码执行并行集群化（“征服”）所有这些操作都在 R 环境中执行（Jaql、Map/Reduce 对您而言是隐藏的）几乎任何 R 包都可在此环境中运行可扩展的机器学习一种可扩展的统计引擎，提供了预先封装的算法并且能够通过 R 编写新算法端到

13、端的集成 R将数据（摘要）拉取到 R 客户端或者将 R 函数推送到数据上连接器数据库DB2、Netezza、Oracle、Teradata集成InfoSphere Data Stage（数据收集和集成）InfoSphere Streams（实时流处理）InfoSphere Guardium （安全和监视）Cognos Business Intelligence（商业智能功能）IBM Platform Computing （集群/网格基础架构和管理）等等BigInsights：超越开源的价值InfoSphere BigInsights管理和安全工作负载优化连接器高级引擎可视化和探索开发工具开源

14、Hadoop 组件Big SQL （将随 BigInsights v2.1 提供！）用 SQL 访问存储在 BigInsights 中的数据通过 JDBC/ODBC使用丰富的标准 SQL充分利用 Map/Reduce 并行性或实现低延迟Big SQL 标准 SQL 语法和数据类型 连接、联合、聚合VARCHAR、十进制、TIMESTAMP真正的 JDBC/ODBC 预先准备的语句取消支持数据库元数据 API 支持安全套接字连接 (SSL)优化MapReduce 并行化或“本地”访问实现低延迟查询适合 Hadoop 生态系统的可变存储机制集成Eclipse 工具 DB2、Netezza、Tera

15、data 等（通过 LOAD） Cognos Business Intelligence . . . Big SQL ServerJDBC/ODBC 服务器SQL 引擎“本地”查询执行单节点任务HBase 存储驱动程序HBase 存储驱动程序Hive 存储驱动程序Hive 存储驱动程序MapReduce 并行性MapReduce 任务MapReduce 任务Hadoop 数据：分布式文件、Hive 数据、HBase 服务器为什么要用 SQL 访问 HadoopHadoop 作为数据仓库应用MapReduce 比较困难MapReduce Java API 复杂，需要编程技巧不熟悉的语言（如 Pi

16、g），需要特殊技巧SQL 有着更广泛的基础，而且可以重用已有的企业应用熟悉、众所周知的语法识别数据和结构的通用目录声明性 清晰地分离对象（您关注的数据）和方式（处理）预处理中心可查询的归档探索分析信息集成数据仓库流实时处理所有数据的 BigInsights着陆区数据仓库BigInsights可与非结构化信息组合数据仓库123BigInsights 与数据库和数据仓库连接NetezzaBigInsights工作负载管理 任务 映射 自适应映射 减少Hadoop System Scheduler根据以前的经验识别小型和大型作业排序工作，以减少开销Adaptive MapReduce就地替换 Had

17、oop 批处理调度程序显著提升对延迟很敏感的应用工作负载的执行性能敏捷的调度，在运行时动态调整优先级InfoSphere BigInsights管理和安全工作负载优化 (MapReduce/SQL)连接器开发工具IBM 测试并支持的开源组件加速器基于开源的组件工作负载管理安全开发环境分析/提取器分析分析提取引擎可视化和探索提取器和 APISQL APIAdaptive MapReduce (Platform Symphony) 性能优化其他网格服务器代理引擎每个引擎每秒轮询代理约 5 次（可配置）在引擎准备就绪时发送工作客户端序列化输入数据网络传输（客户端到代理）等待引擎轮询代理网络传输（代理

18、到引擎）去系列化输入数据计算结果序列化结果将结果推送回代理时间代理计算时间Platform Symphony 优势：高效的 C 语言例程使用CDR（通用数据表示）和 IOCP，而不是缓慢、繁重的 XML 数据编码通过避免基于文本的 HTTP 协议并以更紧凑的 CDR 二进制格式编码数据，减少网络传输时间通过为系统服务使用原生的 HPC C/C+ 实现而不是 Java，减少了所有 Symphony 服务的处理时间Platform Symphony 拥有更高效的“推送模型”，完全避免了使用轮询方式的架构问题Platform Symphony 序列化输入网络传输SSM 计算时间和调试时间网络传输（SSM 到引擎）去序列化序列化网络传输（引擎到 SSM）计算结果没有轮询导致的等待时间、更快的序列化/去序列化更多高效的网络协议Web 控制台启动/停止服务运行/监视作业（应用）探索/修改文件系统内置的应用简化了常见任务BigInsights: 超越开源的价值InfoSphere BigInsights管理和安全工作