容器化数据库私有云平台建设之路

1、容器化数据库私有云平台建设之路技术创新 变革未来基本需求安全需求 双活需求云化需求最大化解放人的生产力，提高业务敏捷度，降低企业TCO成本QData Cloud & QFusionQData Infinite业务永远在线的需求，数据绝对安全的需求QBackup数据安全、数据备份的需求，数据库容灾的需求QData高性能、高可靠、易扩展CIO眼里的私有云建设目标123服务敏捷交付物理资源使用率智能运维管理按需分配高密度自愈能力自动部署智能调度智能监控快速扩容灵活资源自动扩展 开发应用 打包成容器 创建k8s集群 部署容器应用 服务暴露k8s clusterLoad BalancerActorNgi

2、nxwebwebActorwebStateless ServicesStateful ServicesRDSRDSRDSActor数据一致访问入口一致规格配置一致kubernetes MasterController- manageretcdapiserverschedulernode1node2node3计算资源 / 存储资源独立扩展, 架构更清晰, 部署更容易将有状态的数据下沉到 存储层 ,Scheduler 调度时, 无需感知计算节 点的存储介质, 只需调度到满足计算资源要求的 Node, 数据库实例启动时,只需在分布式文件系统挂载mappingvolume 即可. 可以显著的提高数据库

3、实例的部署密度和计算资源利用率计算层网络层存储层DockervolumeDocker分布式存储SAN存储mount/umountPVCkubernetes MasterapiserverController- managerscheduleretcdExternal AttacherCSI存储插件controller(Statefulset)External Provisionercreate/ deleteNode1Node2mount/umountPVCAttach/ detachCSI扩展插件Create/deleteattachmountdetachumount软件定义存储etcdSe

4、t : Read-onlyCSI逻辑流程预防双写场景存储端支持ACL访问控制nodecontrolleripmi-fence绝大多数的性能问题都由IO瓶颈导致Most of the performance problems are caused by the IO bottleneck计算存储分离本地存储References: /document/d/19sFo4IWHJ95yDiRZ9DGvPA_LOmMhiLhUwwctBSifadk/editdirty pagedirty pageDoublewrite Buffer 2M数据文件.ibd1M1M共享表空间copyI/O writerec

5、overyI/O writemutil-replicasReferences: /document/d/19sFo4IWHJ95yDiRZ9DGvPA_LOmMhiLhUwwctBSifadk/editdouble write10 GBdisable double write带宽下降50%References: /document/d/19sFo4IWHJ95yDiRZ9DGvPA_LOmMhiLhUwwctBSifadk/editdouble write100 GBdisable double writeIOPS提升30%RDS服务暴露kubernetes MasterapiserverCo

6、ntroller-managerscheduleretcdnode1node2node333063306Node 2kubeletkube-proxyflanneldeth0iptablescnikubeletkube-proxyflanneldeth0iptablescnikubernetes MasterapiserverController-managerscheduleretcd3306330633063306keepalivedLoad Balancerkeepalived- controllerclientNode 1Node 3eth0kubeletflanneldkube-pr

7、oxycniiptables33063306Keepalived态配置更新RDS实例服务暴露的IP对应real serverIP(rs)，当一个mysql应用异常 退出，会新建一个RDS实例来替代它。 但有个特点，就是新mysql应用的IP会 和之前不一样。而对应的结果就是要更 新keepalived配置文件中的realserver(rs)。keepalived-controller监听RDS实例服务的变化 ，如果有变化 则更新keepalived的配置，并通知keepalived重新加载配置。Keepalived重新加载配置后，会更新 IPVS规则，定时检测新RDS实例是否正 常，管理新的i

8、pvs规则。监听服务IP 变化更 新 keepalived配 置，通知加 载配置重新再加配 置检测服务状 态管理ipvs规则RDS的访问地址virtrual server(VS)realserver(rS)keepalivedKeepalived-controllerkeepalived与kubeproxy引发的IPVS冲突问题隐蔽，网络环境复杂各个组件相互干扰keepalived 连接泄露导致VIP异常无法连接利用Operator构建数据库应用业务Kubernetes APIMySQLCluster OperatormysqlProxyMS1S2S3serviceserviceOperato

9、r watches MySQL custom resourcesobserveAnalyzeActmysqlcluster is running 5 podsmysql-proxy，replica=1mysql-master,replica=1mysql-slave,replica=3Differences from desired state:mysql-proxy,replica=1mysql-master,replica=1mysql-slave,replica=2How to get to desired state:start new pod for mysql-slaveconfig mysql-slave replicationdata rebalancing伪代码mysqlcluster.yamlkubectlmysqlclustermysqldatabasecontroller-managerschedulerapiserverpvc Eventsstatefulsets Eventsconfigmap Eventsoperatorkubernetes Cl