数据技术的发展和平台创新

1、稳筑基石，云帆万里数据技术的发展和平台创新197719831984198919921994199519962005200920092010201220142015201620172018开源与开放技术百花齐放，不同产品落地寻获最佳实践云时代的数据库:企业面临更复杂的产品形态$4B$2.5B$2B$200B$1B云时代的企业:安全、连续、高效、智能的持续要求智能：智慧智能是未来的必然方向，是制高点， 是产品和技术演进的终极目标。高效：性能是支持业务高速增长，获得竞争力 的关键，是成本和效率的核心。连续：永续运行是云时代和互联网时代的核心 诉求，无连续就无发展。安全：安全是基石，尤其是云时代的数据

2、安全， 没有安全就没有企业。 欧盟 GDPR 在2018年 5 月 25日生效。右向增长索引经常在索引分裂时引起严重竞争；尤其是以序列单调递增的方式；优化了叶块分裂算法缩减集群消息传递；使用更佳的索引特性18c的Scalable Sequences；模拟 Scalable 方式创建散列索引；0102030405060085664Executions / sec (thousands)1624324048# Clients / Instance (4 RAC instances) Baseline12.2 with all optimizations1 2In3de4x B5lo6ck7 81

3、2In3de4x Block5 6In7de8x B9lo1c0k115 6In7de8x Block9 1011 Baseline高效性能：右向增长索引分裂竞争优化Fault Tolerant水平扩展最高达到1，000个数据分片，每个分片包含一个数据子集；用户可以基于性能、灾备等原因自定义 数据的摆放；可以通过在线增加Shards扩展数据 库的吞吐能力；支持数据分片的在线 Split 和rebalance；分布式软硬件隔离故障的影响 度；不同的Shards可以运行不同的Oracle数据库版本；对于用户设计的OLTP应用，进行自动的数据分片Geographic DistributionLine

4、ar Scalability水平扩展：Oracle数据库的Sharding分布式将分片能力引入到RAC集群实例中指定了分区键值的SQL查询将被路由到特定的实例;分区可以避免竞争减少跨实例的访问;不包含分区键值的请求会透明的被处理以最小的应用改变提供分布式性能Oracle RAC DatabaseInstance 1 Partition P1Instance 2 Partition P2Instance 3 Partition P3垂直水平扩展：Sharded RAC 的内存分片基于列的值定义PDB级别的分区策略；Application Root定义CONTAINER_MAP每个 PDB 对应特

5、定的分区数据；Partition N_AMERPartition EMEAMAP tablePartition APAC内部扩展：多租户的容器分区映射PDB$SEEDPDB$SEEDN_AMERAPACEMEAApplicationROOTWHERE region= N_AMER;WHEREregion = FRANCE;WHERE regionIN (CANADA, GERMANY, INDIA);NAAPACEMEA18cCDB fleet 可以将来自不同 CDB 的 PDB 联合成一个逻辑CDB统一管理外部扩展：多租户的联合舰队Web Apps 1-nStandby DatabaseAc

6、tive Data GuardPrimary DatabaseSYNCASYNCOracle数据库的读写分离通过Data Guard技术ADG 支持备库读请求快速扩展读性能在11g支持最高 30 个ADG可读备 库；主备一致性可以得到确保；L O A DB A L A N C E苹果公司的应用案例：/au/products/database/311400-01-132521.pdf架构扩展：读写分离的主备经典实现ReadStandbyRead/WriteStandbyPrimaryADG 上的只读会话在切换期间极大缩减了切换后的连接风暴架构扩展：主备切换的会话保持和内存保持连接保持Read/W

7、rite内存保持Read/WriteReadActive Data Guard StandbyRead/WriteFailed PrimaryPrimaryBuffer Cache在切换过程中被维护和保持Primary在ADG 上发出的DML 重定向到主库执行，备库等待主库日志传递到备库并应用12PRIMARYACTIVE STANDBYDML12DML IS REDIRECTED TO PRIMARY2DML IS APPLIED TO PRIMARY3DATA CHANGE IS STREAMED TO STANDBY5DATA IS VISIBLE TO CLIENT架构扩展：备库的自动

8、的DML转发云上：自治执行核心的数据库维护工作供 应 - Provision Create RAC cluster with Data Guard Standby安 全 - Secure Encrypt data, Database Vault, apply security patches online更 新 - Update Online patching and upgrade of database保护 - ProtectBackup, failover, repair整合 - Consolidation User driven PDB and CDB creation迁移 - Mig

9、rateEasy DB migration,load data from object store扩 展 - Scale Elastically adjust OCPUs, expand DB统计信息 - StatisticsReal-time maintenance of optimizer statistics配置 - Configuration Automatically tune memory, process, sessions, etc.控制SQL - Runaway SQL Automatically kill runaway SQL and prevent re-executi

10、on until tuned索 引 - Indexes Automatic creation and monitoring of indexes执行计划 - PlansAutomatic detection and correction of regressions due to plan changesTIMESALEHASHMachine Learning机器学习：自治执行工作负载运行时优化云下：数据库运维工作的形态安装部署安装生产数据库 安装开发测试库 开发测试导数据 打临时补丁升级数据库 数据库迁移性能优化维护管理技术支持技术咨询 故障处理日常巡检安全状况 各类日志文件状态 备份状态分

11、析性能统计信息管理 优化SQL容量分析用户权限 审批变更 表空间管理备份恢复 恢复测试手工运维自动运维AIOps应用基础设施数据库数据库的自治是一个渐进的过程，需要持续不断的技术进步；系统的开发、部署、运维，需要全流程的、端到端的优化，才能确保数据库稳定自治。全流程的自动化和智能化以数据驱动，做数据资产管理引领者为数据时代提供顶层审核 SQM为数据时代提供中层纳管 zCloud通过融合多数据库于一体，简化企业数据库管理的复杂度：同一套界面，管理不同种类的数据库；类似的操作，降低数据库运维的门槛；分布式存储架构实现的高性能一体机去“IE”架构通过Virtual SAN替代FC SAN同样的成本获

12、得 10倍+ 的 I/O 性能动态扩展、高性能的存储解决方案为数据时代提供底层加速 zData顶层审核：基于规则的应用SQL管理和优化索引推荐索引异常时的优化 绑定执行计划隐式转换的优化顶层审核：智能的SQL分析和优化中层纳管：多数据库统一管理平台 - zCloud1、多数据库统一管理平台2、支持MySQL、Oracle、Redis、 MariaDB3、将支持DB2、MongoDB、SQL Server云和恩墨zCloud数据库PaaS平台是多种数据库的 统一运维管理的云管平台支持自助式数据库创建申请，快速完成数据库自动部署：支持自动的连接串披露，减少服务器干涉交互需求：中层纳管：数据库的自动

13、化部署中层纳管：数据库的高可用容灾中层纳管：数据库的高可用容灾NLS LANGUAGE=AMERICAN-SIMPLIFIED CHINESE NLS_TERRITORY=ARMENIA-CHINA NLS_CURRENCY=?.-NLS ISO CURRENCY=ARMENIA-CHINA NLS_DATE_FORMAT=DD.fmMM.RRRR-DD-MON-RR NLS DATE LANGUAGE=AMERICAN-SIMPLIFIED CHINESE NLS_TIME_FORMAT=fmHH24:fmMI:SS-HH.MI.SSXFF AM NLS_TIMESTAMP_FORMAT=D

14、D.fmMM.RRRR fmHH24:fmMI:SS-DD-MON-RR HH.MI.SSXFF AM NLS TIME TZ_FORMAT=fmHH24:fmMI:SS TZR-HH.MI.SSXFF AM TZRNLS TIMESTAMP TZ FORMAT=DD.fmMM.RRRR fmHH24:fmMI:SS TZR-DD-MON-RR HH.MI.SSXFF AM TZR NLS DUAL CURRENCY=?.-中层纳管：数据库的最佳实践优化减少人工参与可以提高安全性和标准化ORA-00600: internal error code, arguments: krvrdccs60,

15、 6, , , , , , , , , , 中层纳管：数据库的最佳实践优化中层纳管：统一的数据库监控和性能管理烟 闷2018-08-21 匕03: 弘2018-08-28:03: 丛取消分布式存储架构实现的高性能一体机底层加速：分布式一体机解决方案 zData标准版 zDatazData Light Compute & Storage Server超融合版 zData FusionzData Light Compute & Storage Server仲裁 节点精简版 zData Lite底层加速：备份一体机解决方案 ZDBM软硬件数据库备份一体机，将数据库保护及数据管理提升到了新的高度几乎零

16、数据丢失对生产系统性能影响很小100% 的数据库恢复能力相比传统，510 倍备份恢复速度保证数据库恢复至任意时间点急速提供虚拟数据库用于升级测试等用途TEST 3DEV 1DEV 2DEV 3TEST 1TEST 2客户现有环境7倍以上的存储空间消耗21TB3TB9TB15TB3TB3TB + CHANGE BLOCKS3TB + CHANGE BLOCKS3TB + CHANGE BLOCKSDEV 1DEV 2DEV 3TEST 1TEST 2TEST 3510倍压缩率，ZDBM节省大量存储空间ZDBM存储生产数据小型机传统存储统计结算电渠计费 数据库数据库数据库数据库电渠 数据库计费 数据库统计 数据库结算 数据库Oracle 12c 多租户zData分布式存储资源池A线性扩展灵活D降低成本B降低管理复杂度C提升资源利用率传统数据库架构数据库云平台某省移动-12c多租户数据库云最佳实践：融合IaaS 集成 PaaS 的数据库云平台数据资产，端到端解决方案提供商数据管理数据承载数据加工数据架构：数据环境复杂化平台化：打造多源异构统一的 PaaS 平台，通过纳管降低管理 复杂性；智能化：通过自动化和智能化建设，改善成本和人力投入