Oracle Big Data SQL全数据管理技术

1、Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Oracle Big Data SQL全数据管理技术殷致云 2016年10月Oracle Confidential Internal/Restricted/Highly RestrictedCopyright 2014 Oracle and/or its affiliates. All rights reserved. |Safe Harbor StatementThe following is intended to outline our general p

2、roduct direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or

3、 functionality described for Oracles products remains at the sole discretion of Oracle.Oracle Confidential Internal/Restricted/Highly Restricted2Copyright 2014 Oracle and/or its affiliates. All rights reserved. |数据分析挑战数据分析挑战隔离的信息孤岛难以分析Copyright 2014 Oracle and/or its affiliates. All rights reserved.

4、 |数据分析挑战数据分析挑战不同的数据访问接口4Copyright 2014 Oracle and/or its affiliates. All rights reserved. |数据分析挑战数据分析挑战没有能跨Oracle, Hadoop和NoSQL的统一接口Copyright 2014 Oracle and/or its affiliates. All rights reserved. |客户想要什么客户想要什么丰富，全面的SQL访问企业的所有数据NoSQLCopyright 2014 Oracle and/or its affiliates. All rights reserved.

5、|突破创新突破创新 ：融合的大数据解决方案融合的大数据解决方案一条SQL可以访问所有数据源OracleHadoopBig Data SQLNoSQLAnd moreCopyright 2014 Oracle and/or its affiliates. All rights reserved. |Oracle 大数据大数据SQL大规模并发SQL查询，横跨Oracle, Hadoop和NoSQLOracle Database 12c卸载查询到Exadata存储服务器Offload Query toExadata Storage Servers小数据集快速返回Small data subsetqu

6、ickly returnedHadoop & NoSQL卸载查询到数据节点Offload Query toData NodesSQL数据子集data subsetSQLCopyright 2014 Oracle and/or its affiliates. All rights reserved. |Oracle Big Data SQL的用户Oracle Confidential Internal/Restricted/Highly Restricted9大数据分析服务 研发、供应链、客户和消费者的数据 集中化部署的数据科学组织提升客户体验、业务创新 西班牙最大的零售银行，客户超过1

7、300万 收集来自不同接触渠道的多种信息，形成客户的统一视图 网络威胁检测产品创新 国际商业和技术 咨询公司， 非/半结构化、运营和社交媒体大数据分析，探测网络入侵BDAExadataBDAExadataBDAExadataCopyright 2014 Oracle and/or its affiliates. All rights reserved. |OracleBig Data SQL 提供的能力关键功能特性关键功能特性Confidential Oracle Internal/Restricted/Highly Restricted10Copyright 2014 Oracle and/

8、or its affiliates. All rights reserved. |Big Data SQL: 企业级海量大数据管理 智能的外部表External Tables分布式数据存储的简单集成 智能扫描SmartScan充分利用大数据平台的计算能力 存储索引Storage Indexing自动减少I / O，从根本上提高查询分析性能 谓词过滤下移Predicate Push-Down将分区修剪处理下移到大数据平台Confidential Oracle Internal/Restricted/Highly Restricted11丰富的丰富的SQL、更强的灵活性、更多的数据源、更强的灵活性

9、、更多的数据源Copyright 2014 Oracle and/or its affiliates. All rights reserved. |12元数据: 延伸Oracle 外部表CREATE TABLE movielog ( click VARCHAR2(4000)ORGANIZATION EXTERNAL ( TYPE ORACLE_HIVE DEFAULT DIRECTORY DEFAULT_DIR ACCESS PARAMETERS (com.oracle.bigdata.tablename logscom.oracle.bigdata.cluster mycluster ) R

10、EJECT LIMIT UNLIMITED; 新型态的外部表ORACLE_HIVE (使用 hive 元数据)ORACLE_HDFS (指定元数据) 大数据参数获取Hadoop 集群远程 Hive 数据库/表 DBMS_HADOOP Package 用于自动导入Copyright 2014 Oracle and/or its affiliates. All rights reserved. |13智能外部表External TableOracle TableHDFS Data可定义可定义:可获得可获得: 数据表名 自动发现Hive 表的元数据metadata定义 Oracle数据类型 自动将数

11、据从Hadoop types转化成Oracle数据库类型 从任意的InputFormat自动转换 任意的查询并行度 在Hadoop cluster上并行执行 Copyright 2014 Oracle and/or its affiliates. All rights reserved. |存储层14Big Data SQL: Hadoop 的另一个处理引擎文件系统 (HDFS)NoSQL 数据库(Oracle NoSQL DB, Hbase)资源管理(YARN, cgroups)处理层MapReduceand HiveSparkImpalaSearchBig DataSQL元数据存储Copy

12、right 2014 Oracle and/or its affiliates. All rights reserved. |Hadoop上的智能扫描: 优化性能Oracle Confidential Internal/Restricted/Highly Restricted15Data NodeDiskBig Data SQL 服务服务External Table ServicesSmart Scan“Oracle服务位于上层服务位于上层”应用谓词过滤列投影（列过滤）半结构化数据解析（XML、JSON）“Hadoop服务位于底层服务位于底层”贴近数据进行处理工作使用Hadoop classe

13、s实现Schema On Read转换为Oracle数据格式Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Big Data SQL 数据流DisksData NodeBig Data SQL AgentExternal Table ServicesSmart ScanRecordReaderSerDe101100101011001010110010123从HDFS数据节点读取数据 直接路径读取 尽可能使用基于C编写的reader 否则使用Hadoop 原生的classes将数据翻译转换为Oracle数据格式

14、对Oracle格式数据应用智能扫描Smart Scan 谓词过滤 列投影 语法解析JSON/XMLCopyright 2014 Oracle and/or its affiliates. All rights reserved. |Big Data SQL 位于任何数据的顶层1717任何类型的文件InputFormat创建分割/n/n/n/nRecordReader创建记录SerDe创建属性Big Data SQL转换数据&智能扫描Hive 元数据Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Big

15、 Data SQL 细胞解析 18输出输入流数据转换Exadata 存储服务器软件起源Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Big Data SQL 细胞解析 19智能扫描 输入输出流数据转换转换成Oracle 文件快格式应用智能扫描及其他调优工具Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Oracle Big Data SQL 存储索引存储索引可以通过减少HDFS数据块的IO实现查询屠苏SQL查询中的列通过外

16、部表定义映射到HDFS文件每个HDFS数据块中，所定义字段的最小和最大值保存在存储索引中20HDFSField1, Field2,10011010104511091043100110451609104311455190912430130101045019092043Field3, ,FieldnHDFSBlock1(256MB)HDFSBlock2(256MB)IndexB1 Movie_IDMin: 1001Max: 1609B2 Movie_IDMin: 1909Max: 13010Example: 查找查找MOVIE_ID 为1109的所有打分的所有打分Copyright 2014 Or

17、acle and/or its affiliates. All rights reserved. | Confidential Oracle Internal/Restricted/Highly Restricted21谓词下推Data NodeBig Data SQL AgentExternal Table ServicesSmart ScanData NodeBig Data SQL AgentExternal Table ServicesSmart ScanSELECT ticker, AVG(price)OVER (PARTITION BY tickerORDER BY mnth) a

18、s avg_priceFROM stock_pricesWHERE mnth :yAND stx_xchange = :zORDER BY mnthWHERE mnth :yAND stx_xchange = :zSELECT ticker, price, mnthWHERE mnth :yAND stx_xchange = :zOracle 数据库将SQL查询语句的谓词条件发送到Hadoop层（包括绑定变量）用于数据过滤 Parquet/ORC 文件格式的过滤 Hive 分区修剪 Hbase Subscan再通过智能扫描SmartScan过滤出满足条件的行Copyright 2014 Ora

19、cle and/or its affiliates. All rights reserved. |Big Data SQL 效能特征22减少IO的使用带来了综合性效能提升的效果100 TB使用者查询分区裁剪10 TB1存储索引1 TB2谓词下推100 GB3Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Big Data SQL 安全特征Hadoop 安全ACLs | Sentry | HDFS 加密 | 动态加密Copyright 2014 Oracle and/or its affiliates. All

20、 rights reserved. |Big Data SQL 安全特征 相同的数据安全模块应用于更广泛的数据存储 先进的特性如: 数据编辑,目前已经可以应用在不同数据源之间的结合 Oracle 安全层建构在现有 Hadoop 功能之上Hadoop 安全ACLs | Sentry | HDFS 加密 | 动态加密Copyright 2014 Oracle and/or its affiliates. All rights reserved. | (Hive) 分区裁剪 在查询运行之前读取 Hive 目录跟裁剪分区 12.2 利用Oracle 数据库元数据优化分区裁剪 目的: 消除不必要的IO损

21、耗 存储索引 维护元数据元素以标记文件块,减少不必要IO使用 目的: 消除不必要的IO损耗 智能扫描 最终过滤以确保只有被请求的数据元素会被传送到Oracle数据库 目的: 消除不必要的数据移动 Bloom Filtering (布隆过滤器) 联接转换成布隆过滤器并下推到Hadoop 节点 目的:连接优化和本地化 谓词和 Column Projection 下推 下推查询元素到文件如 Parquet 跟 ORC 目的:减少优化文件格式所产生不必的IO消耗 安全 应用 Oracle 数据库安全策略到非Oracle 数据存储上 目的: 启动高效安全特性25Big Data SQL 主要特征Copy

22、right 2014 Oracle and/or its affiliates. All rights reserved. |Oracle Big Data SQL能支持的平台Version 3.0Confidential Oracle Internal/Restricted/Highly Restricted26Copyright 2014 Oracle and/or its affiliates. All rights reserved. |Big Data SQL 支持的平台27XBBig Data SQLCloud ServiceorCopyright 2014 Oracle and/

23、or its affiliates. All rights reserved. |1、Big Data SQL运行在Oracle集成系统平台Exadata运行Oracle 数据库 12.1.0.2以上 版本，BDA运行 CDH 5.5以上版本智能扫描Smart Scan支持所有的数据通过Infiniband网络提供极致性能BDA是专门为海量数据处理而优化的Hadoop部署方式28BBBBig Data SQLCopyright 2014 Oracle and/or its affiliates. All rights reserved. |2、Big Data SQL运行在通用硬件平台12c+集成平台BDA采用通用x86硬件运行Oracle 数据库 12.1.0.2以上 版本，BDA运行 CDH 5.5以上版本利用Oracle SQL 进一步增强BDA Hadoop平台的能力BDA是专门为海量数据处理而优化的Hadoop部署方式29BBBBig Data SQLCopyright