业务系统规划建议ppt课件.ppt

在线业务IT系统架构 提纲 IT架构设计应重点思考问题IT架构设计要求预期目标设定指标测算预估IT架构扩展 硬件扩容策略IT架构部署分配初步方案成本核算风险评估架构方案实施详细说明运维方案制订 IT架构设计应重点思考问题 一 抗风险能力从机房环境 软硬件故障 防攻击策略 灾备机制 数据备份策略等环节都做到深入分析并提供解决方案支撑高并发量访问 下载能力支持50万 100万台终端设备的online服务 初期需支持2400人同时在线ftp及http下载 后期根据实际需要可随时扩展webserver应支持150次 s的并发访问请求 考虑数据库最大连接数大容量文件下载的用户体验用户通过online系统下载的游戏及应用安装包尺寸很大 在超过100MB游戏下载时需要系统保证用户下载体验 关注可能造成瓶颈的因素并予以应对通过负载均衡 集群 cache等手段对访问进行分流 提升系统响应效率降低系统负荷压力可扩展性IT架构需具备高度伸缩性 基础架构稳固不轻易改变 在业务处理量增加以及业务覆盖范围扩大后可以通过硬件设备的扩充即满足业务支撑需求从IT基础架构上支持分布式软件系统北京IDC软件系统采用集群架构 中心和地方系统 IT架构设计应重点思考问题 二 高可用性 将停止服务时间降低到最低甚至是不间断服务安全性 结构上的安全及主机的安全策略高性能可靠性 经过优化的体系结构及合理的备份策略可扩展性 随着访问的增加 系统具备良好的伸缩能力可视性 系统 服务的状态处于一个实时的监控之下 IT架构设计要求 指标测算预估 一 预设两期目标 说明 1 第一期按实际可支撑20万台机器访问需求按照终端每台机器平均3天开机一次 登录量80 集中在中午2个小时和晚上4个小时两个时间段计算 系统须能支撑200000 3 80 2 24000同时在线访问2 第二期按实际可支撑150万机器访问需求算法同上 系统须能支撑1500000 3 80 2 200000同时在线访问 web页面并发访问预估 说明 web页面请求大量集中在appstore的访问上 20万台机器以每天1 2开机上线预估 每天10万人在线 其中访问appstore的以50 即50000人估计 人均PV 10 那么总日PV即50万 按80 访问量集中在6个小时之内 页面并发访问平均值在25次 秒2期支撑150万台机器在线访问 PV按350万预计 计算方法同上 并发访问均值预计为180次 秒 指标测算预估 三 Web页面访问带宽配置 根据业务设计能力 并考虑到网络带宽利用率40 40 为效率最佳 利用率到70 为极限值 游戏详细介绍页面和首页平均大小500KB 假设用户等待容忍时间为10秒峰值并发增加率 通常取30 我们需要的web带宽为 一期 25 500KB 130 10 0 4 1625KB 30Mb二期 180 500KB 130 10 0 4 800MB 200Mb 指标测算预估 四 指标测算预估 二 并发下载预估 说明 峰值下载出现在系统软件升级及热门游戏发布时 当系统软件升级 所有在线设备都会执行升级操作 从服务器下载升级包 下载方式包括3种 其中耗费IDC带宽主要是ftp和http下载方式 假设同时在线用户30 经验值 待验证 会使用到下载功能 平均下行速度在100KB s 则100M的包下载时间在20分钟以内 且下载行为平均分布在高峰期120分钟内计算 1 第一期 24000 30 6 1200并发下载2 第二期 200000 30 6 10000并发下载 下载带宽预测 指标测算预估 五 第一期 下载峰值需求带宽940Mbps 其中50 通过P2P方式 节省IDC流量 剩下50 的带宽预估470Mbps第二期 10000并发下载 7 8Gb 其中80 通过P2P方式 剩下20 带宽预估1 6Gbps 南京机房部署服务SSL网关认证服务器负载均衡策略分发服务器下载文件服务器P2P服务器在线商店WebServerWebcachememorycache IT架构部署分配初步方案 一 架构方案 南京机房 南京IDC架构图防火墙区规划建立端口和数据包策略启用NAT建立安全区域建立VPN远程管理通道自定义规则防火墙日志记录和分析网络部分规划建议建立VLAN保护区 主机系统规划建议关闭无用的端口删除不用的软件包不设置缺省路由口令管理分区管理防范网络嗅探完整的日志管理终止正进行的攻击使用安全工具软件使用私有IP地址选择发行版本补丁问题 南京Site业务系统架构 接入链路方面带宽由于南京Site主要承载用户访问 下载服务等请求和流量 大带宽是保证业务服务的基础接入链路冗余在条件允许的情况下 我们建议采用多链路来承载南京Site的服务一方面 多链路接入可以提供链路服务的冗余另一方面 多链路接入方便流量控制和业务服务的管理带宽和流量监控监控带宽的使用情况 对进出流量 链路质量等进行监控和管理 LVS区LVS区由LoadBalancer和ServerPool组成LVS区采用IP负载均衡技术和基于内容请求分发技术 调度器具有很好的吞吐率 将请求均衡地转移到不同的服务器上执行 且调度器自动屏蔽掉服务器的故障 从而将一组服务器构成一个高性能的 高可用的虚拟服务器 南京Site业务系统架构 负载均衡器 LoadBalancer 负责均衡器由前端调度器 LinuxDirector 和备份调度器 Backup 组成负载调度器 loadbalancer 它是整个集群对外面的前端机 负责将客户的请求发送到一组服务器上执行 而客户认为服务是来自一个IP地址上的 它可以是用IP负载均衡技术的负载调度器 也可以是基于内容请求分发的负载调度器 还可以是两者的结合前端的调度器 LinuxDirector 有可能成为系统的单一失效点 为了避免调度器失效导致整个系统不能工作 设立调度器的备份调度器LinuxDirector和Backup直接通过心跳线来相互汇报各自的健康情况 当备份调度器不能听得主调度器的心跳时 备份调度器会接管主调度器的工作来提供负载调度服务 南京Site业务系统架构 南京Site业务系统部署说明 1 防火墙区规划建立端口和数据包策略端口规则了解公司对内对外的应用以及所对应的源地址 目的地址 TCP或UDP的端口 并根据不同应用的执行频繁程度对策率在规则表中的位置进行排序 然后才能实施配置比如只开放80 443 21等常用端口数据包过滤动态包过滤技术 动态维护通过防火墙的所有通信的状态 连接 基于连接的过滤启用NAT利用NAT技术 将有限的IP地址动态或静态地与内部的IP地址对应起来 用来缓解地址空间短缺的问题建立安全区域可以设置信任域与不信任域之间数据出入的策略比如只接受特定IP段或者域名的访问请求建立VPN远程管理通道具有VPN功能 可以实现跨互联网安全的远程访问自定义规则可以定义规则计划 使得系统在某一时可以自动启用和关闭策略比如某些应用或者流量只在出现特定的时间段 那么针对这个应用或流量启用自定义规则防火墙日志记录和分析建立防火墙日志记录 对防火墙日志进行分析 南京Site业务系统部署说明 2 网络部分规划建议建立VLAN保护区建议建立5个VLAN区域访问验证 TempData web在线商店 下载应用 管理建立不同的VLAN区域 可以隔离各个功能区的数据通信流量 降使网络吞吐量大大增加 减少了网络延迟 方便流量管理和故障隔离 降低APR攻击风险 网络硬件安全 硬件采用CiscoASA5520防火墙 Cisco2960G交换机 防火墙的工作模式为NAT 将外网IP地址 通过NAT转换为私有地址 如192 168 13 交换机设置VLAN 不同应用 使用不同VLAN 网络链路安全 采用双交换机连接 防止因交换机硬件故障而使应用服务断网 北京IDC与南京IDC之间的数据传输计算是通过MPLSVPN专用网络加密通道 保证数据不泄露在互联网上 应用数据安全 1 核心数据安全 将数据库分散在N台服务器中 同时每一台数据库服务器为其他DB服务器的热备机 如果一台DB服务器服务中断 中断服务器中的数据在其他服务器中还可提供数据服务 2 数据备份 在数据库服务器同一层中 设置一台服务器专做数据备份 对DB的备份策略为完整备份 保存期为最少1个月 其他服务器的应用数据 如Web在线商店应用程序文件 eKu后台管理应用程序文件等等 在备份服务器中同时备份 3 数据备份服务器只有IT运维工程师才有权登录 访问IP来源只限定为公司出口IP 业务系统架构 事件预防 应用系统在线运营过程中 产生的事件 最主要网络攻击 硬件故障 软件系统故障 并发访问瞬时提高 为应对各种事件的发生 从初期的IT架构上就要考虑如何预防事件 网络攻击 预防网络攻击 在硬件上使用物理防火墙 只开放对外服务的端口 关闭其他所有不用的服务及服务端口 打开网络设备的日志功能 并将日志保存到日志服务器 以记录各种网络访问行为 以便日后出现攻击时 可以从日志中发现问题 在服务器系统层面 使用软件防火墙 同样只开放对外服务的端口 其他端口关闭 并安装调试防DDOS攻击系统 安装杀毒软件及木马防火墙 并由运维人员定期更新病毒库 以及更新软件本身的版本 同时打开服务器的日志功能 记录服务器日常运行的记录 业务系统架构 硬件故障 硬件包括了网络硬件设备以及服务器硬件设备 为了预防硬件故障的发生而影响系统的正常运行 本架构采用双链路连接 详情可见IDC架构图中的双交换机拓扑结构 从服务器硬件方面 本架构对最前端为用户提供直接服务的各服务器 采取了负载均衡及双机热备的方案 这样 如果一台交换机或应用服务器因硬件原因宕机 可由另一台随时顶上工作 不会造成服务中断 其处理过程可订制具体的运维流程及方案 软件系统故障 软件系统包括了服务器操作系统及应用服务系统 服务器操作系统故障或应用服务系统故障 都可以利用硬件故障预防措施 先利用另一台服务器对外提供服务 由运维人员在最短时间内将软件系统故障清除 业务系统架构 瞬时高并发 预防客户端的瞬时高并发 在设计本架构时 优先考虑了使用前端的负载均衡方案 可由LinuxDirector将用户的访问自动分配给服务器池中的提供相应服务的服务器 降低单个服务所承载的压力 同时 在用户访问前端 采取部署WebCache及MemoryCache服务 以减轻Web在线服务及App服务的压力 如果随着产品销售数量的增多 访问量越来越大 可以使用平向扩充服务器的方式 修改Director的配置 即可减缓访问压力 业务系统架构 事件响应 事件响应 是应对事件预防中所提到的各类故障的应对方案 IT运维部门内部统筹制订并安排事件处理的制度 流程以及责任人 制订详细的SLA并严格执行 应对网络攻击行为 通过查看网络设备日志记录 定位攻击者的IP地址 并列入IP黑名单 及时查杀病毒木马等危险程序 查找木马攻击的漏洞 并及时修复系统漏洞 应对硬件故障 运维部门制订并部署各硬件的性能监控系统并设置自动报警系统 实时监测各网络硬件及服务器硬件的各项系统指标 发现异常 及时调配到备用设备 为应用系统提供服务 应对软件系统故障 运维部门制订并部署各应用服务器的软件环境监控系统并设置自动报警系统 实时监控软件环境的运行状态 发现异常 及时调整到备用系统 为应用提供服务 应对瞬时的高并发 除了在服务器系统部署时使用负载均衡技术外 可以调整服务器应用系统环境变量参数 来提高服务器运算能力 以及临时限制访问最高的IP地址访问 业务系统架构 事件恢复 通过运维人员的