网易海量数据存储平台PPT课件

1、网易海量数据存储平台王磊网易杭研院 海量存储空间 高效的数据访问：高并发、低延迟 高可扩展性 高可用性：7x24 安全性和可靠性 功能和接口丰富、简单易用 有效应对系统（数据、模式、环境）变更和升级 易维护：管理便捷，自动化程度高 控制成本互联网应用的数据存储需求设计目标：为博客、相册、邮箱、网盘、IM等各类大型互联网应用提供一种通用通用的用户数据存储和管理解决方案。实现方案：分布式数据库+分布式文件系统分布式数据库（DDB）：基于关系数据库集群解决结构化数据的海量存储和高效访问。分布式文件系统（DFS）：以文件为存储单位的非结构化数据存储解决方案。网易海量数据存储平台简介 基于水平Shard

2、ing的Scale Out，表大小不受限。 多平台和多语言环境下的SQL访问接口。 支持常用的RDBMS功能：DDL：支持大多数常用语句，union和嵌套查询除外DML：表、视图、存储过程、触发器等用户管理和权限控制全局ID分配 事务支持：节点内、跨节点、跨DDB。 支持MySQL和Oracle混合使用。 命令行和图形化管理工具。DDB的功能特点DDB系统架构DDB Sharding实现原理DBN1DBN2 访问性能优化 安全性问题 监控和故障处理 系统更新和升级 系统扩容需要解决的问题 去中心化，Client通过DBI直接访问DBN 尽量避免分布式查询 DBI CacheMeta Data

3、CacheDBN Connection PoolDBN PreparedStatement CacheSQL Syntax Tree Cache 优化排序操作：Merge Sort优先 内部游标 基于Master-Slave的读负载均衡和读写分离DDB访问性能优化系统设计优化 访问认证用户名、口令认证和IP地址检查DDB认证+DBN(RDBMS)认证 权限管理区分普通用户和管理员用户权限粒度控制到表的读、写和授权用户访问配额控制管理员权限细分：Schema配置、维护、监控统计、用户管理管理员操作日志 其他：口令加密传输和保存只允许内网访问DDB系统安全 DBN状态监视：By Master心跳监

4、视和报警，故障时切换到Standby Node。Session自动监视、统计和报警Slow Log自动监视、统计和报警复制延迟和异常自动监视和报警 Query Server监视：By Master心跳监视和报警，动态调整和广播可用的QueryServer列表。负载监视，动态调整和广播可用的QueryServer访问权值。 Master监视：By Monitor or Zookeeper采用主从模式，故障时自动切换Meta Data复制DDB状态监视和故障处理 系统变更：产品升级、硬件升级、系统软件升级、DDB版本升级 技术挑战：降低影响、避免误操作、时间可控、自动化、可回退 应对策略 硬件和系

5、统软件升级：主备切换，逐步替换 测试环境 - 线上环境：正确性验证和实施时间评估 管理操作支持命令行方式执行，降低重复操作中的误操作 计划任务：支持多任务、多模式、异常处理、详细日志和执行结果通知 数据备份：Mirror + backup(snapshot) + Binlog DDB版本升级：Master和DBI升级，通信协议向下兼容应对系统变更和升级 技术挑战技术挑战 降低对线上服务的影响 灵活地扩充资源 降低复杂度 保证执行效率 实现原理实现原理DDB扩容（1）实现方案实现方案方案一：DBN间数据导出导入优点：迁移效率较好，实现较简单，灵活性好缺点：停服时间长，容易导致数据不一致，删除数据

6、的负面影响方案二：基于事务的批量数据迁移优点：不用停服，应用透明，灵活性好缺点：实现复杂，迁移效率低，对线上访问有一定影响。方案三：基于复制的数据扩容优点：对应用透明，不需停服，效率高，对线上访问基本无影响。缺点：操作较为复杂，只能实现成倍扩容，灵活性较差。DDB扩容（2） 面向海量的非结构化用户数据存取 支持大量的高并发数据操作 支持动态扩展，存储量和处理能力线性增加。 高可靠性，避免数据丢失和单点故障 负载均衡，可控性好 存储成本可控DFS的设计目标数据访问去中心化 文件读取和写入不经过中心节点，提高访问效率 通过ID（64bit）标识和定位文件 文件元信息：不支持目录、文件名、权限信息，

7、支持SIZE，UpdateTime，MD5。访问接口： 不支持POSIX文件接口 面向Java/C+的API：read,insert,delete,append,update等 HTTP文件读取接口支持多副本支持数据复制和迁移支持文件粒度的数据去重定制硬件降低成本DFS的功能特点DFS系统架构数据定位ID到文件地址的映射 以Bucket为单位进行配置和管理 将Bucket映射到不同SN的不同磁盘上 FSI负责多副本的同步写 FSI和前端机随机挑选副本读取数据 SN故障处理：1.MDS检查到SN心跳失效2.MDS通知所有FSI和前端机停止对故障SN的访问3.MDS通知其他副本所在SN将桶数据复制

8、到空闲SN上4.MDS修改数据映射表多副本管理应用场景： 恢复或增加副本 SN系统软硬件更换或升级，服务器搬迁 跨数据中心灾备 均衡负载实现策略:以桶为单位进行迁移,通过Redo日志避免停服或只读.操作步骤:1. 源SN记录Redo日志2. 源SN将桶目录复制到目标SN的指定目录3. 在目标SN上Redo操作日志并记录完成时的日志结束位置4. 禁止到源SN的写操作5. 从记录的位置Redo操作日志6. 增加桶到目标SN的映射关系7. 开启源和目标SN上对应桶的读写操作数据复制和迁移 定制存储服务器 配备桌面级SATA硬盘 24x2T 电源管理功管理磁盘上下电状态 DFS对定制服务器的支持 通过多副本减少磁盘故障的影响 对只读或只有少量写操作的磁盘组轮流上下电，通过Redo日志保证数据一致。 带来的好处： 降低硬件采购的成本 降低功耗 延长磁盘寿命