MySQL最新技术架构介绍

1、MySQL State of the DolphinMySQL 最新技术架构介绍议程概要MySQL 8.0MySQL Cloud ServiceMySQL Analytics ServiceDB-Engines 2019数据库排名开发者喜欢MySQLStack Overflow Developer Survey 2019MySQL是最受开发者欢迎的数据库Global Datasphere175 ZB数据:最有价值的资产数据违规和罚款2019年上半年，40亿条记录被盗，3,800起违规British Airways faces record 183 million fine for data b

2、reachA hacker gained access to100 million Capital One credit card applications and accountsMarriott discloses massive data breach affecting up to 500 million guestsEquifax to Pay $575 million as Part of Settlement with FTC, CFPB, and StatesCIO: 首要投资重点安全性人/人才数字化转换分析/BI/AI云改善应用程序和基础设施少量代码/无代码业务/IT 连续性

3、应用程序升级从投资中获得更大价值数据保护法律法规HIPPAPCICCPALGPDAAPPAPOIPAPIPEDAAPPIDPAPDALaw 1581PDPAPDPLCPADISANISTFIPSSTIGFedRAMP管理权限用户2保护开发测试数据3数据库合规的5个步骤*7#$%!%#*$#3数据加密检测数据库活动45评估安全风险:敏感数据、访问权限、数据库配置1ensitive Data, Access Privileges, D管理权限用户2保护开发测试数据3数据库合规的5个步骤*7#$%!%#*$#3数据加密检测数据库活动45Assess Security Risks: SMySQL En

4、terprise Monitor atabase ConfigurationMySQL 企业版MySQL Enterprise Masking MySQL Enterprise BackupMySQL Enterprise Audit MySQL Enterprise Firewall MySQL Enterprise MonitorMySQL Enterprise AuthenticationMySQL Enterprise TDE MySQL Enterprise Encryption1数据库的市场未来是云DBMS Market Size$46BDBMS Cloud Services$10

5、B十年来最快的增长18%云部分增长68%MySQL as a ServiceMySQL企业版和Oracle云基础架构的结合惊人的底层软件和高性能硬件自我管理 & 易于使用自动执行大多数常见的DBA任务:备份、补丁、更新、复制配置等弹性& 高可用性跨不同场所复制安全性 & 合规高级安全性并且符合最苛刻的企业法规要求MySQL Analytics as a Service来自甲骨文实验室的突破性技术 极端的内存分析性能针对Oracle云基础设施进行了优化提供令人瞩目的性能/$大规模可扩展性结合MySQL实例化新服务或添加到正在运行的MySQL服务支持实时 SQL 分析通过相同的事务存储提供分析An

6、alyticMySQL 8.0MySQL 8.0 亮点MySQL Document StoreMySQL SecurityMySQL InnoDB ClusterMySQL ShellMySQL 8.0: SQL的一次巨大飞跃“This is a landmark release as MySQL eventually evolved beyond SQL-92 and the purely relational dogma.Among a few other standard SQL features, MySQL now supports window functions (over) a

7、nd common table expressions (with). Without a doubt, these are the two most important post-SQL-92 features.”/blog/2018-04/mysql-8.0MySQL 8.0: 快速采用April 2018 (8.0 GA)August 2019MySQL 8.0:升级检查器快速简单的 MySQL Shell 实用工具JavaScriptPython根据严重性确定问题没有问题潜在错误升级前必须修复的错误建议修复Schema, 配置服务器上的数据，等等NoSQLJSON Documents

8、Schemaless JSON CollectionsSQLRelational Tables Foreign KeysX Dev APISQL CRUDMySQLDocument StoreMySQL 8.0: Document StoreNoSQL + SQL = MySQLMySQL用于面向文档的数据存储通过SQL和新的X DevAPI NoSQL接口支持完整的JSON文档同一技术栈中包含关系型和非关系型数据同时使用非关系型数据的COLLECTIONs，关系型数据的 TABLEs快速原型设计 & 简单的CRUD APIs现代的APIs 使用“method chaining” 和异步执行(

9、e.g. promises, callbacks, etc.)适用于不同语言和框架的连接器Node.JS, Java, NET, C+/C, PHP, PythonMySQL 8.0: Shell数分钟内开始使用快速原型能力使用JavaScript 和Python完整支持SQL 和X DevAPI内置自动补齐功能支持InnoDB Cluster几分钟内配置HA 解决方案DevOps 工具为DevOps 操作设计MySQL 8.0: CTEs & Window 函数Common Table Expression (WITH clause)非递归递归用于层次结构遍历Window Functions

10、聚合，排名，分析用于分析和报表MySQL 8.0: Hash Join对于大型结果集，通常比嵌套循环快速可能的话在内存中处理必要时，溢出到磁盘处理用于内连接 可扩展到外连接，半连接和反连接替换 BNL通过Hints 强制使用 hash join 或 nested loop8.0.18MySQL 8.0: EXPLAIN ANALYZE检测并执行查询估算成本实际执行统计数据第一行返回时间全部行返回时间返回行数循环次数EXPLAIN 使用树状输出格式8.0.18MySQL InnoDB ClusterApp Servers withMySQL RouterMySQL Group Replicati

11、onMySQL Shell Setup, Manage, OrchestrateMySQL原生HA功能MySQL Group Replication高可用性弹性, 容错,自愈MySQL Router路由连接，负载均衡MySQL Shell易于设置和管理MySQL InnoDB ClusterNew! 可以配置集群范围的一致性级别CLONE: 自动完整数据快照部署MySQL InnoDB ClusterNew! 使用CLONE 插件自动部署集群节点MySQLGroup ReplicationJoining MemberMySQL NDB Cluster基于MySQL 8.0将容量增加到数百tb，

12、更多的数据节点支持 3 或4 副本通过实时资源池自动配置更快，更健壮的磁盘数据改进的SQL性能，并行备份，更大的行MySQL的最高吞吐量实时数据存储8.0.18RCMySQL Enterprise Edition支持高级功能管理工具可扩展性高可用性验证审计加密+ TDE防火墙数据屏蔽监控备份开发管理迁移技术支持顾问支持Oracle 认证MySQL Enterprise EditionMySQL Enterprise EditionMySQL Enterprise Monitor监控数据库配置、用户权限、数据库模式和密码的更改MySQL Enterprise Backup备份安全性, AES 2

13、56 加密MySQL Enterprise Masking去识别，匿名敏感数据MySQL Enterprise TDEAES 256 加密, 密钥管理MySQL Enterprise Authentication外部验证模块MySQL Enterprise Encryption公私钥, 非对称加密MySQL Enterprise Firewall阻止SQL 注入攻击, 入侵检测MySQL Enterprise Audit用户活动审计，合规MySQL KeyringNew! Hashicorp Vault SupportVault APIVault APIVault APIKeyring Plu

14、ginKeyring PluginKeyring PluginHashicorp VaultHashicorp Vault 高度可伸缩、高度可用、生成、管理和 存储秘密的方式MySQL Keyring检索和保护来自密钥保险库的密钥和秘 密消息保护MySQL内存中的密钥和其他秘密消 息启用 TDE/At Rest 加密支持 OKV 和其他 KMIP 标准的密钥保管 库MySQL Enterprise Data Masking去识别，匿名敏感数据Employee TableIDLastFirstSSN1111SmithJohn555-12-M1a1s1k2ed View TempletonRich

15、ard5555444-12-4444IDLastFirstSSN2874SmithJohnXXX-XX-55553281TempletonRichardXXX-XX-4444数据屏蔽字符串掩蔽，字典替换随机生成数据基于范围, 支付卡, Email, SSN满足监管要求GDPR, HIPAA 和 PCI DSS改善开发、测试和分析环境保护机密数据MySQL as a ServiceMySQL Cloud Service特点由MySQL工程团队开发和操作MySQL 8.0企业版Oracle Cloud Infrastructure Gen 224x7 Oracle 标准支持服务专属! MySQL

16、Analytics Service托管的MySQL: 专注于业务Oracle 负责备份和恢复具有自动故障转移的高可 用性垂直和水平扩展数据库和操作系统补丁监视和日志处理MySQL企业版提供安全性用户负责逻辑模式建模查询设计与优化定义数据访问和保留策 略Dev or AdminCUSTOMER PREMISESMySQLaaS INTERNAL TENANCYOCI REGIONVIRTUAL CLOUD NETWORK (VCN)AVAILABILITY DOMAIN 1USER TENANCYClient AppMySQLprotocolMySQLaaS APIMYSQLDB SYSTEMS

17、 & INSTANCESMYSQL DATABASE ENDPOINTSVNICVVNNICICHTTPSSSH弹性 & 高可用性跨不同物理位置复制内部管理自动故障转 移，不需要用户操作水平伸缩-添加只读副 本AVAILABILITY DOMAIN 2AVAILABILITY DOMAIN 3OCI REGIONVIRTUAL CLOUD NETWORK (AVAILABILITY DOMAIN 1VCN)ID & Access ManagementObject Storage (Backups)PUBLIC IP ADDRESSListenerInternet GatewayMYSQL CL

18、OUD SERVICE ENDPOINTSLoad Balancer PrimaryLoad Balancer FailoverBACKEND APPVNICVVNNICICOracle Cloud NativeOCI平台的统一体验Web控制台监测和通知日志记录事件和审计身份成本跟踪搜索标签DevOps的工具MySQL Analytics ServiceMySQL 数据分析MySQL is #1 Open Source DB, But No Simple Solution for Analytics在MySQL之外运行分析MySQL 针对事务处 理进行优化需要数据迁移最后得到两个数据库不支持实

19、时分析研究始于硬件和软件共同设计目标是实现SQL分析的最佳性能将分析计算推入RAPID节点在每个节点上进行高度优化的内存分析处理大规模横向扩展RAPID: Rapid Analytics Processing In DRAM内存分析处理的最佳架构InterconnectRAPIDnodesDBMSAnalytic PushdownDBMSAnalytic PushdownDBMSAnalytic PushdownDBMSAnalytic Pushdown集成MySQL 数据库更加有效地利用资源针对Oracle云基础设施进行了优化最优价格的云计算实例最优化的内存、计算实例、存储和网络带宽引人注目

20、的性能规模系数高，最佳规模成本MySQL Analytics ServiceAn Oracle Cloud native service with compelling PerformanceperDollarInterconnectMySQLOCINodesNow Available in Pre-LARAPID Node整合查询过程Query ExecutionQuery/Job SchedulerSetup for ExecutionDBMSSQL ExecutionUsers queries (unaltered)RAPID ServerSQL Query CompilerQuery

21、OptimizationAnalytic PushdownResultsResults现有的应用程序/工具可以无缝地对接ConfidentialMySQL Analytics PlatformService ManagementOracle Exadata Cloud ServiceOracle DatabSaersveiceCCloonusodleS/ReErSvTicAPeI/CLIExpress Cloud ServicMe ySQL AnalyticsMySQLRAPIDReal-time AnalyticsAnalytics CompartmentsAuto Machine Lear

22、ning OLTPOracle Cloud InfrastructureAdministrationSecurityLogging & MonitoringMySQLInnoDBMySQL Server Integration提供实时分析MySQL ServerRAPIDCluster Manage rRAPIDLoad ModuleRAPIDChange Propagati onRAPIDCompile r & Optimiz erGlobal State DSNetwork LayerRAPIDRAPIDServer Node 1RAPIDServer Node 2Storage Engi

23、ne (InnoDB)支持更改进行传播RAPID Server NodeNMySQL Analytics Service单一系统用于 OLTP 和分析MySQL PlatformOLTPApplicationsBI & AnalyticsSocialECommerceFinTechSaaSMySQLMySQLAnalyticsLive ReportingReal-Time QueriesAutomatic, Real-time Data PropagationIn-Memory AnalyticsTPCH Query Performance: 400 x FasterImprovement o

24、ver MySQL 8.0, Single Node, 512GScalability for TPCH: Good Scale Factor24 servers, 64 cores eachPerformance Comparison with AWS RedShift2.7x Faster than dc2.8xlarge, TPCH 2TB本地复制到云端启用对未移动到云中的数据的分析On-PremiseOracle Cloud InfrastructureMySQLReplicationMySQL Analytics (Department 2)MySQL Analytics (Depa

25、rtment 1)MySQL SlaveMySQL SlaveMySQL MasterMySQL SlaveRAPIDNodesRAPIDNodesMySQL DB master instance一个平台，简化数据管理单一的平台满足OLTP和分析的需要单一管理平台通过一个平台管理MySQL + 分析部署管理工具包括OCI控制台、REST API、CLI和现有 的MySQL工具单一 MySQL 引擎支持基于标准的MySQL驱动程序，支持JDBC、ODBC、PHP、Python和其他语言单一存储消除孤立的数据 消除了ETL基于机器学习的自治Research RoadmapUpdat eInsert

26、DeleteSelectMySQL Performance ModelAuto-ProvisioningAuto- IndexingAnalytic Capacity ModelEncodin gOverhea dJoinScanAnalytic Performance ModelAuto-ConfigAuto Data PlacementCommon Machine Learning Infrastructure自动配置MySQL AnalyticsSolution根据数据确定正确的集群大小Problem需要选择合适的集 群大小Machine Learning Based Automation数据经过压缩和编码后进行内存处理 能够扩展到多台机器在内存中容纳更多数据更快地执行查询Why Auto-Provisioning简单易用，降低成本MySQLOCINodes传统配置流程分析DB模式/表猜