面向业务的IT系统容量规划和资源分配体系的创新与实施

中国移动四川公司 2011科技成果材料 面向业务的 IT系统容量规划和资源分配体系 四川省公司音乐运营中心 如何判断 IT系统能否跟上业务的发展，做到适时扩容 如何保障现有服务水平的条件下，降低系统运维成本 未来虚拟化、云计算的浪潮中，如何 科学 的分配虚拟资源 面 临 的 挑 战 亟待解决 1. IT系统提供的服务和应用与资源消耗量是关系是什么 2. 如何根据业务的需要 ， 科学的进行 系统资源调度和系统 容量规划 解决方案： 为 IT系统进行面向业务的容量规划 什么是面向业务的容量规划 1、面向业务的容量规划方法不同于原始的依靠经验来估算系统规模，通过模型的计算更为准确； 2、性能建模自动化，速度更加快捷； 3、将有力的解决未来虚拟化、云计算资源分配问题。 通过运用多种数学理论和工具，建立业务量与系统资源消耗量的数学模型；并根据业务发展的要求，对系统处理能力和规模进行科学的分配和 规划。 实施 案例 无线音乐音乐基地的下载平台，承载了全国范围内的振铃、全曲下载，日均下载量为百万次以上。 下载平台应用服务器负责音乐文件的实体下发任务 振铃、全曲单次下载的平均时长分别为 5 20s 和 30 60s 用户的每次下载请求均要对应用服务器资源产生一定消耗 因此，要确定平台资源是否能够满足下载业务的快速发展，我们需要了解下载量与资源消耗的相互关系。 故建立下载量与 CPU资源使用率的性能模型。 实际建模主要内容 建立并检验性能模型 数据 预处理 性能数据收集 设定监控采集粒度： 10分钟 收集历史数据 有效性检验 重复值、空值处理、 噪点滤除 性能模型求解算法设计及编程 性能模型： CPU = 0.0245 业务 + 92 预测下载平台应用服务器扩容后资源使用情况 模型验证及准确度计算 历史数据验证；模型精确度： 87% 经济收益 原有方案 本成果 收益 咨询项目费用 30 50 （万） 0 30 50（万） 硬件投资 13台 ATAE服务器 4台 ATAE服务器 58 9 = 522（万） 运维成本 降低运维成本： 10（万）以上 环境运行费用 减少设备耗电成本： 0.2 9 0.75 24 365 = 1.18（万） 合计 可减少资本投入及运维成本 ： 563.18 万以上 本成果应用到下载平台后经济收益估算表 社会收益 节能减排， 彰 显央企的社会责任感 本成果在下载平台的应用，经测算仅 设备耗电量一项上就可以 降低1.6万度以上 为集团虚拟化技术的推广提供有利条件 本成果提出了虚拟资源预分配方案，可以避免资源频繁漂移问题，为集团虚拟化技术的推广提供了有利条件。 音乐基地在完全依靠自身的条件下，运用多元线性回归理论和时间序列分析等理论，推导和总结了一套面向业务的、适用于多种 IT架构的系统容量规划和资源分配体系； 与传统依靠经验的容量规划相比，新方法更准确、更快捷 总 结 性能建模 经验 IT系统的容量规划 将该方法运用到音乐基地的下载平台，建立了振铃、全曲下载量与应用服务器资源利用率的数学模型。 通过与实际结果的对比，检验了模型的准确性，同时也验证了性能建模方法的可靠性。 建立的性能模型准确的预测了下载平台扩容后资源的使用情况。 使用面向业务的容量规划方法后，预计可为基地带来 500万元以上的收益。 总 结 了解业务量与资源使用率的真实关系 根据业务需要进行系统资源分配 快速适应业务的发展 避免过度投资，降低成本 提升系统稳定性和服务水平 更精确的 IT资源预算 虚拟化资源分配的好帮手 资源、业务的选取没有限制 降低维护人员的工作量和运维成本 普适度高 有利于整合业务发展与 IT规划目标 IT容量规划更加便捷 面向业务的 容量规划的优势： 根据 多元线性回归理论 ，通过数学的方法构建系统中承载的业务量与资源消耗量间的关系： 等式左边描述了不同业务对系统资源的消耗情况 对应业务 1到 j 的消耗因子； 表示非业务应用对资源的消耗量，例如操作系统、监控等 R 表示系统中采集到总的一种资源使用量。 详 细 原 理 介 绍 0 1 1 2 2 jja a N a N a N R K0a12, ja a aL 等式中资源 R 由监控软件采集得到 根据建模的目标，设定监控采集的粒度 建立每天业务量均值与资源使用量的模型，粒度： 1小时 建立每小时业务量与与资源使用量的模型，粒度： 5 10分钟 根据需要，选择建模资源 R，资源的选取没有限制 CPU、内存 磁盘、表空间 I/O、网络，等等 原 理 快速、准确的性能建模 可以调整业务间不同的占比， 进行测试 或通过收集充足的、大量的历史信息 12,i i i jN N NK0 1 1 1 2 1 2 1 10 1 2 1 2 2 2 2 20 1 1 2 2jjjji i j i j ia a N a N a N Ra a N a N a N Ra a N a N a N R KKMOMK T T1 1 1 2 1 12 1 2 2 2 20 1 21 + 112 1+111=1jjjji i i j i iijN N N RN N N Ra a a aN N N R LLLM O M ML矩阵变换 建立多组业务量与资源消耗等式 1 1 1 2 12 1 2 2 212111jji i i jN N NN N NHN N NLLM O ML根据矩阵理论，在求解 a0， a1 ， aj 时， 只有当矩阵 H秩， R（ H） j 时等式才有最优的近似解。 T1210 1 21 + 11=jji iRRa a a a HR LM 业务 1， 2.， j 相互独立，之间不存在相互调用关系 若业务 m、 n存在相互调用，则需排除相互调用发生的业务量 容量规划和资源分配流程 Step1 数据收集 明确性能建模目标。 获取系统应用和负载列表。 根据模型精度需要，设置监控的采集信息的粒度。一般而言，粒度越小，所建立的模型精度越高。 通过性能测试，或收集 5至 6周系统的业务和系统负载数据 对原始数据按时间先后顺序排序，确定数据有效性 删除重复数据 对空值 使用插值法 处理 将业务和资源消耗的采集值转化为小时均值，并将业务量数据与资源负荷相对应。 相关性分析 噪点滤除 数据收集 Step2 数据预处理 代入预处理后的数据，计算得出业务 j与资源消耗因子 aj 的数学模型 模型建立与验证 Step3 建立模型 Step4 模型验证 将业务数据代入数学模型，得出相应的资源消耗情况 计算模型精确度 将模型计算值与实际值进行对比，判定模型是否有效 Step5 业务分析 将业务分为月初、月末，节假日及日常三种类型 计算三种类型时段的业务中位数，找出系统忙时 运用时间序列分析法和指数平滑法得出未来 6至 12个月业务发展数据。 业