上海超级计算中心三期-作业调度系统软件事项需求书

期--作业调度系统软件项目需求书上海超级计算中心三期配套工程项目是引进峰值速度为200Tflops的高效能可信计算培训等内容，并继续承担国家863网格主结点建设任务。求所采购作业调度系统，其配置满足如下指标要求：(一)基本指标(1)安装要求：可在上海超级计算中心三期200T主机系统全机范围内调度所有计算资源。(2)高可靠性：具有大规模集群商业系统可靠运营的成功案例，在国内具有可靠运营的功案例(3)作业运行正确性：在大规模集群的并行作业运行环境中，作业调度和运行正确性达(4)高可扩展性：单一机群具有可管理5000个以上节点、10000个以上CPU的能力；并行运行(5)良好的可操作性：可支持系统管理员根据实际需求变化，在线动态调整系统配置参响作业运行和用户使用，同时确保作业运行统计准确性(6)多集群管理能力：可以同时在同一作业管理系统下管理多个物理或逻辑分割的集群集群间根据条件自动迁移(7)统一的系统级管理平台：提供系统监控、计费、作业调度等功能的统一管理平台，web多个集群(8)Linux及windows混合机群的支持：具备统一管理单一机群中的WINDOWS服务CPU应用程序在多路多核CPU可自动扩展调度策略处理(10)作业控制能力：可对作业的运行时间、CPU时间、内存大小、数据区大小、CPU文件大小等进行设置和控制(11)支持并行文件系统，并可根据并行文件系统的技术架构特点灵活部署：支持如(12)WebPortal开发支持：支持二次开发与用户自行开发，可根据用户需求进行二次开发(13)基于XWindows的交互式图形支持：提供基于XWindows的交互式作业的提交和且具有实际成熟客户案例(14)动态服务器(即无须重启服务)：支持服务器对调度规则的手工、自动移出或者加服务或配置，操作不影响实际业务运行(15)支持网格计算环境，如863国家网格环境的Globus网格计算平台：支持主流网格计算平台，提供详细技术规范要求。(16)支持同构、异构机群系统互相提交作业：支持在同一的机群内具有不同的操作系统相反。(17)与主机厂商建立良好合作关系；(18)支持并提供与如下系统软件及商业应用软件的集成接口：NASTRAN、ISIGHT、PATRAN、PAM-CRASH、Analysis等(二)调度策略指标进行单独控制，包括：(1)先来先服务FCFS：最基本、常用调度策略，可配置成单一的调度策略。(2)公平调度及份额控制Fairshare：对主机资源进行公平竞争。也可对用户资源进行一定的预分配，保证某些资源对特定用户的需求。(3)抢占式调度Preemption：用户按照不同的权限可进行对主机资源的抢占式调度。尤其可采用抢占的计算资源来满足特定需求(工程商业软件)的用户使用。(4)独占式调度Exclusive：需支持(5)主机公平调度HostParation：需支持(6)资源预约调度ResourceReservation：需支持(7)高级处理器预约AdvanceReservation：需支持CPU存大小、数据区大小、CPU数量、文件大小等进行控制。(三)软件许可证管理指标(1)许可证可预约：应用程序启动前，可预约程序所需的许可证，避免互相冲突。(2)许可证抢占式调度：高优先级的作业可抢占低优先级作业正在使用的许可证。而低优先级作业将被挂起直到有许可证可用为止。(3)许可证所有权控制：用户可保留自己的许可证，确保需要时能立即获得所需要的许可证。(4)使用份额控制：每个用户可使用所分配的许可证份额。(四)统计报表分析指标收集起来，通过数据库管理，同时充分考虑所有数据的备份与容灾。 (1)、统计报表a)提供系统各种资源(CPU、内存、许可证等)的全面使用情况统计报表b)对各种硬件性能(nice值)的统计c理:对每种报表，可规定用户权限，只有满足权限的用户才能查看该报权限支持至少三级：系统管理员、主管领导、用户 (2)、分析报表在商业软件license昂贵的前提下，确保调度系统具有软件许可证分析能力，确保使用合理化、最优化，解决许可证的无效占用，获得最大的投资回报。在提供各种分析报表的同时，系统支持分析报表定制。a包括峰值、平均值、利用率等情况：可按具体Feature统计的许可证统计使用情况，包括平均使用、峰值使用、平均利用率、峰值利用率和目b)许可证利用率峰值分析:可根据许可证利用率峰值排行榜分析。c)许可证拒绝分析：可根据许可证、服务器、用户统计的许可证拒绝统计分析d按具体Feature统计的许可证使用情况e)按具体Feature统计的各用户、部门使用情况f)按用户统计的许可证使用情况a)基于机群的工作负载分析b)基于项目的工作负载分析c)基于用户的工作负载分析d)基于主机的工作负载分析e)基于队列的工作负载分析f)基于资源使用的负载分析g)用户和项目的作业统计分析(五)计费系统指标的功能，同时具有灵活方便的管理账单工具或者平台，可以WEB界面方式进行费率设定相应费率，体现出不同的计算资源以及软件的不同进行收费。所有计费数据形成可定制报表，并以电子或纸质方式输出。a)以用户使用计算资源进行计费b)以CPU时间进行计费c)以运行时间进行计费d以CPU数目进行计费e)以作业队列进行计费f)以存储资源进行计费g)以商业软件许可证资源进行计费(六)web管理平台指标基于WEB技术所提供的易用性，为系统管理员及用户提供可视化的、统一的web管理平台以及访问接口，同时根据要求进行不同的用户授权。 (1)、系统管理员远程管理和控制理员提供主机系统的web远程管理和控制：a)系统监控：包括整个机群运行状况实时监视以及单个计算节点的实时监视。b)用户管理：可对用户信息，权限等以及所使用的主机资源进行管理。c)队列管理：可对队列资源进行管理d作业管理：用户作业的在线监视、查询，杀除、监控等e)节点管理：支持对节点的状态等监测及配置f)软件管理：支持对软件集成的配置、调整等g监视和管理：通过WEB方式实时监视各商业软件许可证的使点。h)计算资源使用统计分析：i软件许可证使用统计分析k)用户使用及收费查询：根据不同的主机资源进行查询 (2)、用户远程使用基本功能为用户提供高性能计算资源使用基本功能：a)用户作业的提交和管理：实现Web方式作业的提交和管理b)用户作业查询、杀除、监控等：提供用户在作业运行中的在线操作c)XWindows交互作业的提交、管理：支持基于XWindows的交互式作业的提交和管理，且具有实际成熟客户采用。、优先级控制、强占式调度等e)用户数据管理f)用户作业统计与查询：用户可以通过Web界面进行统计与查询(七)二次开发进行二次开发，并在实际运行中，根据业务需求，配合上海超级计算中心进行开发。1)在主机采用作业调度软件后可根据实际的需求变化对整个据安全可定制开发，完善和提高系统架构的健壮性。2)对提供的管理平台可根据实际需求进行改造、开发定制。3)根据多核、多CPU、网络通信等硬件结构的特点，对基本功能的优化开发。1)自定义调度策略的开发和定制：允许根据用户需求进行定制开发调度策略。同时随着实际业务的运行的需求不断改变提供不同的定制与开发。2)多路多核CPU的调度和支持：可以根据硬件(多核、多CPU、网络通信等)以及应用软件的情况开发专用的、有针对性的调度策略。1)定期对主要商业应用软件版本升级提供集成、策略制定和优化开发：可根据商业软件版本的升级，及时对新版本进行集成、优化等工作。2)根据不同软件的特点提供许可证管理监控、调度、统计、计费等，根据需求定制开发。1)统计报表的定制：提供方便的扩展机制，从而可以根据用户需要定制相应的统计报表。2)计费系统开发：包括基于许可证、CPU、存储份额等进行开发，并根据用户实际业务需求开发基于某些计算资源的计费系统。5、web管理平台指标基于WEB技术所提供的易用性，为系统管理员及用户提供可视化的、统一的web管理平台以及访问接口，同时根据要求进行不同的用户授权。1)可根据实际业务特点管理定制web平台，方便使用。包括系统管理、用户管理、系统监控、队列管理、软件管理、许可证的监视和管理等。2)根据用户应用以及业务流程，定制不同行业软件的提交方式。允许根据用户实际需求定制web统计报表。(八)技术支持指标(1)提供免费技术支持服务：此期间保证技术支持服务质量，配备专门的技术支持团队，保证技术支持力度和响应速度，具有快速解决问题的能力。(2)提供调度系统运行主、备服务器、license管理服务器、报表分析计费主、，并提供相关维保(3)7x24的电话或者邮件技术支持(4)现场响应：有紧急救援现场支持服务，对于紧急情况可以在2小时内到达现场处置。(5)驻场服务：在系统部署、试运行阶段，对产品调试、模块开发提供至少1个月的专业工程师驻场服务。(6)专职维护工程师：为本项目设立专职维护工程师，专门负责超算中心的技术支持和维护事项，以便更好了解中心实际业务需求，有利于快速分析、解决问题。(7)由专职工程师提供每半年一次定期全系统检查及服务(8)免费技术服务过期后，每年后续服务总费用不超过系统总价的10%；(9)提供5年质保期。(九)公司能力(1)本地技术支持团队：在国内具有10~20人以上本地技术支持团队，包括一线技术支持、二线技术支持(源程序级问题调查)和软件维护团队(提供源程序级的问题解决方案)(2)本地解决方案团队：在国内具有