数字化项目云资源规划设计方案

第一章云服务器资源需求分析 31.1服务器虚拟化带来的益处 31.2对虚拟机安全的考虑 61.3计算能力测算 81.4硬盘资源测算 91.5设备或资源需求测算 第二章云存储系统需求 2.1大数据存储需求 2.2图片应用需求 2.3大文件存储需求 2.4大文件存储的几个问题 2.5云存储资源计算 第一章云服务器资源需求分析活),应用和管理类服务器采用虚拟机部署(同城双活)。采用虚拟化技术是图14.1-3●能够迅速保存、复制和供应虚拟机，从而实现零停机时间维护并支持全新的"golive(实时化)"方案；●动态共享服务器平台中的闲置资源，从而在消除烟囱式(stovepipe)部署的同时，进一步提高性能和利用率；与此同时也能为应用提供一个隔离性的操作环境；●可以实现更高的技术标准化水平和流通率，从而降低运营和维护成●可在虚拟服务器组件发生故障时进行无缝故障切换，从而提高系统可用性；●降低复杂性，从而改进逻辑和物理灾难恢复。在服务器虚拟化的软件平台方面，主流的软件提供商均提供了所有软件厂用软件和开源软件，这些软件都提供了对于服务器●系统稳定性和可扩展性●迁移的便利性，包括从物理服务器向虚拟机的迁移●对于虚拟化硬件平台的支持●良好的兼容性◆服务器虚拟化的硬件平台选型原则为服务器虚拟化选择适当的硬件平台正如选择适当的虚拟化软件一样重要●优越的性能：服务器虚拟化的主要目的是更加充分的利用资源。在单台服务器上增加的工作负载需要更高的系统性能，以保持所需的服务等级和应用响应时间。目前广泛采用的多核处理器架构，以及对多核处理器架构提供支持以充分利用其性能和能力的系统，可以进一步提高服务器的性能和吞吐率。在服务器性能需求方面，除了要考虑在非虚拟化模式下运行工作负载所需的性能之外，还需要考虑运行虚拟机(VM)所需的额外资源。硬件系统中的处理器与芯片组所包含的硬件辅助特性，可以在最大限度降低这一开销方面发挥能效与空间：在成本或物理限制影响最终用户正常工作的能力的情况下，例如，当成本超出预算，或功耗要求超出可用资源时，功耗与散热问题最为明显。当不断扩展的IT占用空间导致数据中心或IT空间扩建时，占地空间就会成为一个大问题。虚拟化与整合有助于减少硬件占地空间和能源利用。更高能效的系统能够进一步降低功耗要求，从而节省能源和降低运营成本。功耗要求较低和/或性能功耗比较高的系统可帮助IT人员有效控制能源与资本从旨在推动创新和提高IT价值的计划中抽离了出来。使用虚拟化环境将可以提高系统利用率，降低功耗与散热要求，减少空间要求，简化运营和降低系统管理要求。优化的平台特性：组件与系统厂商将不断推出多种专为虚拟化而优化的特性。例如，主流的硬件厂商均为处理器增添了虚拟化能力，能简化强大虚拟化软件的设计，又能降低在虚拟化环境中运行应用的优化可进一步提升信息交换平台的处理与扩展能力。良好的厂商协作：通过着眼于当前全行业范围内的协作，将能够更好地了解虚拟化的特征。鉴于虚拟化涉及多个层次上的软硬件组件，系统厂商、操作系统与应用厂商以及虚拟化厂商需要携手合作，共同制定出可行的解决方案。目前，多家行业合作伙伴正在全新平台上针对虚拟化进行优化。图14.1-2根据传统的安全设计模型，需要在每个操作系统中层部署入防火墙、侵检测或入侵防御系统，但是在这种CPU,网络，底层的ESX都在工作中，关闭的操作系应用程序，尽管这个"应用程序"没有运行，但仍然有被病毒感染的可能；生成新的系统，这些新系统要打补丁，进行病毒代安全虚拟机利用API来访问关于每一虚拟机的特权状态信息，包括一般采用“售前估算法”,通常的做法是：选择应用系统中业务重要性、业务频繁度、客户连接数最多、最具有代表性的一个业务全部操作请求中，更新、查询、分析、其它各占1/4;经验系数为1.6;(实际工程经验)考虑服务器保留30%的冗余；TPC-E=U1*N1/60*(T1+T2+T3+T4)/4*3*经验系数/(1-冗余系数)根据以上公式测算，计算服务器要求的TPC-E值为2171tpsE,具体估算如业务类型用均在线数量次数务数务数务数他操作产生事务数均每次操作产生事务数数数据库tpsE值(每秒事务数)****核心系统5883合计根据以上公式测算，计算服务器要求的TPC-E值为2171tpsE,以目前主流高端4路(CPU类型E7-4890V2,15核)x86服务器测试基准值5576为参考标准，可得出每颗CPU核心的处理能力为5576/4/15=93tpsE/核。****计算服务器所需资源总量(CPU总核数)=所需TPC-E值/每颗CPU核心的处理能力*(1+数据库业务能力预留参数)=2171/93*1.3=30核。按照每天发生案件数据3000件，其中每条案件数据包括定位数据、字段数据约0.5M,包括至少两张图片数据和音频数据约3M,则每条案件信息量约为3.5M,每天案件信息量为3000*3.5=10500M;视频按照每条50M计算，每天1200条视频计算，视频存储周期按90天计服务器类别服务器角色(系统中的角色名称)数量内存主频数据库****数据库(两台做负载均衡)2台32核1.5Ghz以上应用台32核1.5Ghz以上2台32核1.5Ghz以上2台32核1.5Ghz以上第二章云存储系统需求●动态添加删除用户●用户容量控制●用户流量，网速控制●用户副本灵活配置2、性能需求●吞吐量指标24小时无故障服务●大数据量情况iops指标无明显变动●大数据量下吞吐量指标无明显变化●系统负载在一定阀值下服务●在无自然灾害性的真个机房出现故障的情况下24小时服务●系统奔溃后可恢复服务5、可扩展性●支持在线横向扩容●支持在线纵向扩容●节点自动感知●二进制小文件●大文件随机读●大文件随机写(不容易实现)7、接口●大小文件支持类posix的接口●支持rest接口(前期不一定实现)●最好能支持读写分离的锁8、测试●随机写测试●并发读写测试●上量读写测试测试平台台分布式测试平台本质是一个必行任务系统，可以有多种的实现方式，原理如由控制节点发出测试开始的指令，测试机根据挂载的测试任务，进行并发测试，结束后，将结果返回给任务分发机器，经过统计，返回给测试任务控制机。实现方式：●使用自动化测试框架(未使用过)●自写并行任务分发系统，进行测试●利用hadoop等开源软件进行测试，入mapreduce,可以再map中进行测试任务，由reduce汇总测试结果，reduce个数设置成1。自动部暑自动部暑图14.1-5选隔●创建操作员，该操作员只能操作指定的用户空间●上传，下载，删除，获取图片属性，清除缓存●设置图片特有格式如http请求/xx.jpg,可用格式定义为：10*5的图片，或是其他类型，如等高，等宽等●每一个命名空间可以有不同的格式限定●实时性保证为支持如相册器下务最器下务最器器器服务图14.1-6●随即读支持，支持客户端请求文件内任意位置任意长度的数据●断点续传功能4、性能要求的要求，如果前端节点是100,那没上传一个文件，在相同的时间内，需要有存储，前端缓存节点，可能会在一定周期内淘汰冷数据，比后又有用户请求从该节点请求文件，并且cdn调度该节点做