UCloud联合创始人兼CTO课件

云端数据云端数据12000-2003呼叫中心存储、CDN、半公开云计算启蒙

——

东软2003-2005系统化——

华为

智能网2005-2011互联网——

腾讯2011-云计算——

UCloud2000-2003呼叫中心存储、CDN、半公开云计算启蒙—2云VS

IDC常见云端存储组件云端数据架构倾向基本云价值观云VSIDC3云

VS

IDC云VSIDC4最简应用架构接入层逻辑层存储层Cache层Nginx/Apache

…Memcache/Redis/TC

…Mysql/MongoDB/Postgre

…最简应用架构Nginx/Apache…Memcache/R5存储层会有什么不同？存储层会有什么不同？6虚拟化PK

物理机网络IO延迟增大、并发增强IO分享顺序IO

随机IO数据库的一般设计事务——

同步等待Binlog

——

假设顺序IO虚拟化PK物理机7如何调整适应如何调整适应8PlanA

——

弱化局部IO依赖强化Cache？化整为零？PlanB

——

选择合适机型SSD物理云PlanC

——

拥抱云产品KeyValueSQL对象归档日志。。。PlanA——弱化局部IO依赖9云存储产品简介云存储产品简介10数据库

——

UDB快速部署、弹性扩容数据安全、管理便捷自动冷备、精确回档双主热备、秒级切换链路高可用、半同步复制跨数据中心灾备MySQL/MongoPGSQL/Oracle数据库——UDB快速部署、弹性扩容11缓存/KV持久化——

UMEM系统分布式数据持久化数据多副本在线容灾，系统高可用在线扩容Memcache/Redis缓存/KV持久化——UMEM系统分布式12对象存储——

Ufile海量存储、高并发图片、视频多媒体支持多Region、跨Region副本就近上传、访问加速国内外数据打通对象存储——Ufile海量存储、高并发13数据方舟

——

UDataArk在线备份、业务无影响精确到秒级数据恢复实时连续数据保护系统/手工备份控制台自助操作数据方舟——UDataArk在线备份、业务无影响14冷存储/归档存储低成本备份数据归档取代磁带数据按需激活持久化、高安全性冷存储/归档存储低成本备份15分布式文件系统容量突破性能突破并行存储业务端管理端分布式文件系统分布式文件系统16分布式数据库可扩展(存储、CPU、内存）SQL扩展一定程度的功能损失（复杂的Join、模糊查询等）路由节点存储节点存储节点存储节点SQL分布式数据库路由节点存储节点存储节点存储节点SQL17Bitmap/Bloom

Filter

——

小存储名字服务配置服务日志服务备份服务Bitmap/BloomFilter——小存储18云端数据架构的倾向（针对大规模软件系统）云端数据架构的倾向19分布式事务事务中间件存储A存储B事务请求序列。。。。。。解除单点强依赖系统可平行扩展多事务、大事务支持分布式事务存储A存储B事务请求序列。。。。。。解除单点强依赖20尽量无状态优点随机选取简单容灾缺点模块增多接入服务业务逻辑接入服务SESSION集群业务逻辑尽量无状态接入服务接入服务SESSION集群21异步通信优点并发能力极大提升缺点开发复杂度提升同步模型：进程数*

1000

/

(每个后端请求的延迟ms)异步模型：内存大小、CPU处理能力决定并发能力研发模型异步/业务逻辑异步举例PHP

VS

NodeJS存储SDK？WebSocket异步通信22跨IDC容灾/数据分布最简实践：主从跨机房优化实践：条带化分布可容灾可平行扩展可在线搬迁AB’A’B服务代理服务代理分布管理Hash一致性Hash跨IDC容灾/数据分布服务代理服务代理分布管理23KV

+

分析型数据库KV是最容易分布的数据库KV是能力相对较弱的数据库KVLevelDB分析型数据库MysqlHadoopHiveKV+分析型数据库24微服务面向对象的封装数据内部流动解耦合业务A业务B数据库A数据库B业务A业务B数据库A数据库B微服务业务A业务B数据库数据库业务A业务B数据库数据库25基本理念基本理念26去单点能力有限容灾需求切换时间影响范围常用方法无状态条带化去单点27碎片化单点影响小扩展能力强成本更优？管理网元增多，运维复杂？碎片化28服务化解耦维护性好可测试性好容易度量服务化29自动化监控驱动定时驱动故障恢复设计AutoScaling一些技术辅助服务发现LoadBalance远程配置自动化30谢谢谢谢31云端数据云端数据322000-2003呼叫中心存储、CDN、半公开云计算启蒙

——

东软2003-2005系统化——

华为

智能网2005-2011互联网——

腾讯2011-云计算——

UCloud2000-2003呼叫中心存储、CDN、半公开云计算启蒙—33云VS

IDC常见云端存储组件云端数据架构倾向基本云价值观云VSIDC34云

VS

IDC云VSIDC35最简应用架构接入层逻辑层存储层Cache层Nginx/Apache

…Memcache/Redis/TC

…Mysql/MongoDB/Postgre

…最简应用架构Nginx/Apache…Memcache/R36存储层会有什么不同？存储层会有什么不同？37虚拟化PK

物理机网络IO延迟增大、并发增强IO分享顺序IO

随机IO数据库的一般设计事务——

同步等待Binlog

——

假设顺序IO虚拟化PK物理机38如何调整适应如何调整适应39PlanA

——

弱化局部IO依赖强化Cache？化整为零？PlanB

——

选择合适机型SSD物理云PlanC

——

拥抱云产品KeyValueSQL对象归档日志。。。PlanA——弱化局部IO依赖40云存储产品简介云存储产品简介41数据库

——

UDB快速部署、弹性扩容数据安全、管理便捷自动冷备、精确回档双主热备、秒级切换链路高可用、半同步复制跨数据中心灾备MySQL/MongoPGSQL/Oracle数据库——UDB快速部署、弹性扩容42缓存/KV持久化——

UMEM系统分布式数据持久化数据多副本在线容灾，系统高可用在线扩容Memcache/Redis缓存/KV持久化——UMEM系统分布式43对象存储——

Ufile海量存储、高并发图片、视频多媒体支持多Region、跨Region副本就近上传、访问加速国内外数据打通对象存储——Ufile海量存储、高并发44数据方舟

——

UDataArk在线备份、业务无影响精确到秒级数据恢复实时连续数据保护系统/手工备份控制台自助操作数据方舟——UDataArk在线备份、业务无影响45冷存储/归档存储低成本备份数据归档取代磁带数据按需激活持久化、高安全性冷存储/归档存储低成本备份46分布式文件系统容量突破性能突破并行存储业务端管理端分布式文件系统分布式文件系统47分布式数据库可扩展(存储、CPU、内存）SQL扩展一定程度的功能损失（复杂的Join、模糊查询等）路由节点存储节点存储节点存储节点SQL分布式数据库路由节点存储节点存储节点存储节点SQL48Bitmap/Bloom

Filter

——

小存储名字服务配置服务日志服务备份服务Bitmap/BloomFilter——小存储49云端数据架构的倾向（针对大规模软件系统）云端数据架构的倾向50分布式事务事务中间件存储A存储B事务请求序列。。。。。。解除单点强依赖系统可平行扩展多事务、大事务支持分布式事务存储A存储B事务请求序列。。。。。。解除单点强依赖51尽量无状态优点随机选取简单容灾缺点模块增多接入服务业务逻辑接入服务SESSION集群业务逻辑尽量无状态接入服务接入服务SESSION集群52异步通信优点并发能力极大提升缺点开发复杂度提升同步模型：进程数*

1000

/

(每个后端请求的延迟ms)异步模型：内存大小、CPU处理能力决定并发能力研发模型异步/业务逻辑异步举例PHP

VS

NodeJS存储SDK？WebSocket异步通信53跨IDC容灾/数据分布最简实践：主从跨机房优化实践：条带化分布可容灾可平行扩展可在线搬迁AB’A’B服务代理服务代理分布管理Hash一致性Hash跨IDC容灾/数据分布服务代理服务代理分布管理54KV

+

分析型数据库KV是最容易分布的数据库KV是能力相对较弱的数据库KVLevelDB分析型数据库MysqlHadoopHiveKV+分析型数据库55微服务面向对象的封装数据内部流动解耦合业务A业务B数据库A数据库B业务A业务B数据库A数据库B微服务业务A业务