AI算力池化与动态资源调度软件需求说明

AI算力池化与动态资源调度软件需求说明1、货物清单明细序号货物名称（标的名称）数量单位1模型管理软件1套2监控运维软件1套3资源管理软件1套4统一管理软件1套5数据管理软件1套6智能调度软件1套7GPU池化软件58节点8作业管理软件1套9用户管理软件1套2、技术要求序号货物名称技术要求1模型管理软件1.1预置模型：为满足不同用户在各类场景下的多样化需求，提供至少20个预置模型，涵盖图像类与自然语言类。图像类预置模型（不少于10个）•图像分类模型：能够对各种类型的图像进行快速准确的分类，涵盖人物、动物、植物、风景、建筑、交通工具等多个常见类别。无论是识别照片中的花卉品种，还是区分不同风格的建筑，该模型都能展现出卓越的性能。•目标检测模型：专注于在复杂图像背景中精准定位和识别特定目标物体。例如，在安防监控领域，可准确检测出人员、车辆等目标的位置；在工业质检中，能快速发现产品表面的缺陷或瑕疵。•语义分割模型：可将图像中的每个像素都分配到对应的语义类别中，实现对图像内容的精细理解。在医学影像分析中，有助于医生准确识别病变区域；在城市规划中，可用于对城市土地利用类型的划分。•图像生成模型：基于给定的条件或随机噪声，生成具有高度逼真度和多样性的图像。在艺术创作、广告设计等领域具有重要应用价值，能够为用户提供丰富的创意灵感和素材。•图像超分辨率模型：通过先进的算法技术，将低分辨率图像转换为高分辨率图像，显著提升图像的清晰度和细节表现力。在安防监控、卫星遥感等领域，可帮助用户获取更清晰的图像信息。•图像风格转换模型：能够将一种风格的图像转换为另一种风格，如将普通照片转换为梵高风格的画作。这一模型在艺术创作、文化传承等方面具有独特的应用优势。•图像修复模型：针对受损、残缺或模糊的图像，利用先进的修复算法进行自动修复和还原，恢复图像的原始面貌。在文物保护、老照片修复等领域发挥着重要作用。•3D图像重建模型：从二维图像或多视角图像数据中重建出三维模型，为虚拟现实、增强现实、建筑设计等领域提供强大的支持。例如，在建筑设计中，可根据建筑图纸和照片快速生成逼真的三维建筑模型。•图像检索模型：通过提取图像的特征信息，实现快速、准确的图像检索功能。用户可以通过上传一张图片，在海量图像库中找到与之相似的图像，广泛应用于图像搜索引擎、版权保护等领域。•医学图像分析模型：专门针对医学领域的图像数据，如X光、CT、MRI等，进行疾病诊断、病变检测和分析。辅助医生更准确地判断病情，提高医疗诊断的效率和准确性。•遥感图像分析模型：用于处理和分析遥感卫星获取的图像数据，实现对地球表面资源、环境、灾害等的监测和评估。在农业、林业、水利、气象等领域具有广泛的应用前景。自然语言类预置模型（不少于10个）•文本分类模型：能够对各种类型的文本进行自动分类，如新闻报道、社交媒体评论、学术论文等。可按照主题、情感倾向、领域等多个维度进行分类，帮助用户快速筛选和整理大量文本信息。•情感分析模型：深入分析文本中的情感色彩，判断其是积极、消极还是中性。在社交媒体监测、市场调研、客户服务等领域具有重要应用价值，能够帮助企业了解用户的情绪和需求。•命名实体识别模型：从文本中准确识别出各类命名实体，如人名、地名、组织机构名、日期、时间等。在信息检索、知识图谱构建等领域发挥着关键作用，为用户提供更精准的信息提取和分析服务。•关键词提取模型：自动从文本中提取出最具代表性和重要性的关键词，帮助用户快速了解文本的核心内容和主题。在搜索引擎优化、文本摘要生成等方面具有重要应用。•文本摘要生成模型：根据给定的文本，自动生成简洁明了的摘要，保留文本的核心信息和关键观点。在新闻报道、学术论文处理等领域，能够帮助用户快速获取文本的要点，提高信息获取的效率。•机器翻译模型：实现不同语言之间的自动翻译，支持多种语言对的互译。无论是日常交流、商务合作还是学术研究，都能为用户提供便捷、高效的翻译服务。•问答系统模型：能够理解用户提出的自然语言问题，并根据知识库或相关数据源提供准确的答案。在智能客服、在线教育、智能助手等领域具有广泛应用，为用户提供便捷的信息查询和解答服务。•对话生成模型：模拟人类对话的方式，根据用户输入的文本生成自然流畅、符合语境的回复。在聊天机器人、智能客服等应用场景中，为用户提供更加智能、友好的交互体验。•文本生成模型：根据给定的提示或主题，自动生成自然语言文本，如新闻报道、故事创作、诗歌写作等。在内容创作、广告营销等领域具有重要的应用价值，能够帮助用户快速生成高质量的文本内容。•语义角色标注模型：分析文本中各个词语的语义角色，如主语、谓语、宾语、修饰语等，深入理解文本的语义结构和含义。在自然语言处理的基础研究和应用开发中具有重要作用，为其他任务提供更准确的语义信息支持。•语言模型微调模型：基于大规模预训练语言模型，针对特定领域或任务进行微调优化，以提高模型在特定场景下的性能和效果。在医疗、法律、金融等专业领域，能够为用户提供更加专业、精准的语言处理服务。1.2模型版本管理与维护：支持，包括包括模型大小、创建时间、模型描述、参数信息和模型来源等信息维护。1.3模型自动评估：提供至少4种指标自动化评估方式，包括评估指标如准确度（ACC）、F1评分、精确度（Precision）、召回率（Recall）。1.4模型共享：支持模型在不同租户和用户之间实现共享，以满足多样化的业务需求和提升资源利用效率。多租户环境下的共享机制•租户级别的共享策略：在多租户架构中，系统为每个租户提供了独立的运行空间和数据隔离机制，同时允许管理员根据租户的业务需求和权限设置，灵活配置模型的共享策略。例如，对于一些通用的基础模型，如文本分类模型、图像识别基础模型等，管理员可以选择将其设置为跨租户共享模式，使得不同租户的用户都能够使用这些模型进行相应的任务处理，从而提高模型的利用率，降低各租户的使用成本。•细粒度的访问控制：为了确保数据安全和隐私，系统在实现模型共享的过程中，引入了细粒度的访问控制机制。即使模型在不同租户之间共享，每个租户仍然可以对其内部用户的访问权限进行精确控制。例如，租户A的管理员可以根据用户角色和业务需求，为部分用户授予对特定共享模型的只读权限，而另一些用户则可能被赋予读写权限，以便他们能够根据实际业务情况对模型进行微调或优化。这种细粒度的访问控制机制有效地保障了各租户的数据安全性和业务独立性。用户层面的共享功能实现•用户间的模型共享协作：除了租户级别的共享，系统还支持用户之间的模型共享与协作。在一个租户内部，不同用户可能具有不同的专业背景和技能水平，通过模型共享功能，经验丰富的用户可以将自己创建或优化好的模型分享给其他同事，促进团队成员之间的知识交流和技术协作。例如，在一个数据分析团队中，数据科学家可以将其训练好的深度学习模型共享给其他分析师，使得他们能够利用该模型进行更深入的数据分析和挖掘工作，提高整个团队的工作效率。•个性化的共享设置：为了满足用户在不同场景下的个性化需求，系统提供了丰富的共享设置选项。用户可以根据自己的意愿选择共享模型的范围、权限和使用期限等。例如，用户A可以将自己创建的一个特定领域的预测模型共享给用户B，并设置该模型仅在一个月内可供用户B使用，且用户B只能进行查询操作，不能对模型进行修改和删除。这种个性化的共享设置方式为用户提供了更大的灵活性和控制权，使得模型共享更加符合实际业务需求。共享过程中的安全保障与性能优化•数据加密与隐私保护：在模型共享过程中，系统采用了先进的数据加密技术，对模型的参数、权重等关键信息进行加密处理，确保模型在传输和共享过程中的数据安全性。同时，结合严格的隐私保护策略，防止模型在使用过程中泄露敏感信息。例如，在跨租户共享模型时，系统会对模型的数据进行加密传输，并在接收端进行解密和验证，只有经过授权的用户才能访问和使用模型，有效保障了各租户的数据隐私。•性能优化与资源管理：为了确保模型在不同租户和用户之间共享时的性能稳定性和高效性，系统进行了深度的性能优化和资源管理。通过智能的资源调度算法，根据模型的复杂度、用户的使用频率以及系统的负载情况，动态分配计算资源和存储资源，避免因资源共享导致的性能瓶颈。例如，当多个用户同时请求使用同一个共享模型时，系统会根据用户的优先级和当前系统资源状况，合理分配计算资源，确保每个用户都能够获得及时、高效的模型服务。1.5模型资源弹性扩缩容：支持。1.6模型周期管理：提供模型的各个生命周期阶段，为用户提供模型的创建、删除、修改和查询界面，以及在线服务能力的新增、删除、伸缩等操作的界面。1.7模型一键部署：支持。1.8NPU设备上进行Pytorch模型推理的资源占用率：不低于95%。1.9NPU设备上进行Tensorflow模型推理的资源占用率：不低于95%。具体而言，在整个推理过程中，NPU设备的各类关键资源，包括但不限于计算单元、缓存、内存带宽等，都应被充分调动和利用起来，使得这些资源的实际占用情况稳定且持续地维持在一个较高的比例区间，即不低于整体可用资源的95%。这意味着在进行Pytorch模型推理时，NPU设备需要以接近满负荷的高效运行状态来处理模型相关的计算任务，充分利用其硬件性能优势，以实现快速且准确的推理结果输出，同时最大程度地发挥NPU设备在深度学习模型推理方面的效能，减少因资源闲置而可能导致的性能损耗和时间浪费。2监控运维软件2.1预置模型的的测试工具和评测结果。2.2总体资源统计：支持集群算力的使用量和可用量的统计。2.3作业的资源使用情况统计：支持设定统计周期，对用户的作业的GPU使用情况进行统计。2.4用户资源自动释放策略：管理员可设定用户资源使用率阈值与统计周期，当前用户的资源利用率在统计周期内低于阈值，该用户资源将被自动挂起并释放资。2.5单AI作业资源：支持作业资源使用率的统计和收集。具体而言，对于计算资源，如CPU核心的使用率，系统能够以精细的时间粒度进行监测和记录，精确统计出每个作业在不同时间段内占用CPU核心的比例，以及多个作业并发运行时CPU资源的分配和消耗情况。对于内存资源，系统可以详细追踪每个作业在运行过程中对内存的占用量变化，包括初始内存分配、内存增长以及最终的释放情况，从而全面了解作业对内存资源的使用效率。除了计算和内存资源，系统还能对存储资源的使用率进行有效的统计和收集。它可以实时监控作业在读写数据过程中对磁盘I/O的占用情况，记录数据的读写速度、读写量以及磁盘寻道时间等信息，以此评估作业对存储资源的依赖程度和使用效率。同时，对于网络资源，系统能够监测作业在数据传输过程中的网络带宽占用情况，包括上传和下载的速度、数据流量大小等，以便分析作业在网络通信方面的资源消耗情况。在统计和收集作业资源使用率的过程中，系统采用了先进的技术手段和算法，确保数据的准确性和实时性。通过对大量作业运行数据的持续收集和分析，不仅可以为系统管理员提供详细的资源使用报告，帮助他们了解系统的整体运行状况和资源分配情况，还能为作业调度和优化提供有力的数据支持。例如，根据作业资源使用率的统计结果，系统可以自动调整作业的优先级和资源分配策略，以提高系统资源的利用率和作业的执行效率。2.6资源节点性能监控：支持节点维度的监控，包括CPU、memory、GPU算力和显存、网络、磁盘I/O等性能的监控和收集。2.7运行稳定性：不低于99%。2.8支持最大并发任务数：不低于200。2.9页面响应时间：不高于1s。2.10租户安全隔离：支持。2.11租户算力时消耗达到预警阈值时，对租户管理员邮件告警。2.12用户配额达到上限阈值时，对用户邮件告警。2.13系统高级资源如GPU耗尽时，对系统管理员进行邮件告警。2.14针对容器作业使用的高级资源如GPU,如资源周期使用率低于阈值，对作业进行自动告警并关停。3资源管理软件3.1国产异构芯片兼容：支持包含华为昇腾在内的不少于三种国产异构加速卡的管理与任务调度。3.2模型训练与预测：支持至少五种CPU、GPU、NPU等异构AI计算芯片的模型训练与预测。3.3专有资源池管理：支持提供专属和共享资源池，实现异构资源的池化管理，能够高效地实现异构资源的池化管理，满足不同用户在多样化场景下的复杂需求。专属资源池•定制化资源分配：专属资源池是为特定用户、项目或业务单元量身定制的独立资源集合。根据用户的特定需求和业务特点，系统可以为其分配专属的计算资源（如特定型号的CPU、GPU等）、存储资源（如大容量的高速硬盘、固态硬盘阵列等）以及网络资源（如独立的网络带宽、专用的IP地址段等）。这种定制化的资源分配方式确保了用户在运行关键业务或对资源有特殊要求的任务时，能够获得稳定、可靠的资源保障，不受其他用户或业务的干扰。•安全隔离保障：专属资源池在物理和逻辑层面都实现了严格的安全隔离。从物理层面来看，通过独立的硬件设备或服务器集群来构建专属资源池，确保不同用户的资源在硬件层面上相互独立，避免因硬件故障或其他用户的操作失误而影响到自身业务的正常运行。在逻辑层面，采用先进的访问控制技术和安全策略，对专属资源池的访问进行严格的身份认证和授权管理，只有经过授权的用户才能访问和使用专属资源池中的资源，从而有效保障了数据的安全性和隐私性。•性能优化与定制服务：针对专属资源池的特点和用户需求，系统可以进行深度的性能优化和定制化服务。例如，根据用户业务的特点和负载模式，对资源池中的硬件设备进行针对性的配置和调优，以提高系统的整体性能和响应速度。同时，还可以为用户提供定制化的软件环境和工具集，满足用户在特定领域的专业需求，进一步提升用户在专属资源池上的业务处理能力和效率。共享资源池•资源的高效利用：共享资源池是一种将多种异构资源集中管理和分配的模式，旨在实现资源的高效利用和共享。在共享资源池中，不同用户可以根据自己的需求动态地申请和使用资源池中的各种资源，包括计算资源、存储资源和网络资源等。系统通过智能的资源调度算法和负载均衡机制，根据用户的需求和资源的使用情况，自动分配和调整资源，确保资源能够在不同用户之间得到合理的分配和利用，避免资源的闲置和浪费。•灵活的资源调配：共享资源池具有高度的灵活性和可扩展性，能够根据用户的业务需求和系统负载情况，动态地调整资源的分配和配置。例如，当某个用户的业务负载突然增加时，系统可以自动从共享资源池中调配更多的计算资源和存储资源给该用户，以满足其业务需求；当业务负载降低时，系统又可以将多余的资源释放回资源池，供其他用户使用。这种灵活的资源调配机制使得共享资源池能够适应不同用户的多样化需求，提高资源的利用率和系统的整体性能。•多用户协同与资源共享：共享资源池为多个用户提供了一个协同工作和资源共享的平台。不同用户可以在共享资源池中共同使用各种资源，开展合作项目和业务活动。通过资源共享，用户可以充分利用其他用户的闲置资源，降低自身的成本投入；同时，也可以将自己的闲置资源提供给其他用户使用，实现资源的互利共享。这种多用户协同和资源共享的模式不仅有助于提高资源的利用效率，还能够促进不同用户之间的交流与合作，推动业务的发展和创新。异构资源的池化管理•统一管理与调度：异构资源池化管理是指将不同类型、不同规格的资源（如不同型号的CPU、GPU、存储设备等）整合到一个统一的资源池中进行管理和调度。系统通过建立统一的资源管理模型和接口，对异构资源进行抽象和封装，使得不同类型的资源在资源池中具有统一的表示和管理方式。这样，用户在使用资源时无需关注资源的具体类型和规格，只需要根据自己的需求向资源池申请相应的资源即可，系统会自动根据资源的实际情况进行分配和调度，大大简化了资源管理的复杂性。•智能适配与优化：在异构资源池化管理过程中，系统具备智能适配和优化的能力。由于不同类型的资源具有不同的性能特点和适用场景，系统会根据用户提交的任务需求和资源池中各类资源的实际情况，自动选择最适合的资源来满足用户的任务需求。例如，对于计算密集型任务，系统会优先分配高性能的CPU或GPU资源；对于存储密集型任务，则会分配大容量、高读写速度的存储资源。同时，系统还会根据资源的实时使用情况和性能变化，动态调整资源的分配和配置，以确保任务能够在最优的资源环境下运行，提高任务的执行效率和性能。•资源监控与维护：为了确保异构资源池的稳定运行和高效利用，系统还提供了全面的资源监控和维护功能。通过对资源池中的各类资源进行实时监测和分析，系统可以及时发现资源的异常情况和潜在问题，并采取相应的措施进行处理。例如，当某个硬件设备出现故障时，系统会自动报警并尝试进行故障恢复；当资源的使用率过高或过低时，系统会及时调整资源的分配策略，以保证资源的合理利用和系统的稳定运行。此外，系统还会定期对资源进行维护和更新，确保资源的性能和安全性始终保持在最佳状态。3.4集群管理虚拟环境GPU集群支持集成anaconda管理虚拟环境，内置python开发环境jupyter,可立即启动在线开发程序，并向下计算节点进行分发任务。3.5算力计量管理：支持算力卡时计量。3.6性能优化的复杂度分析工具：支持。3.7资源共享：支持。3.8资源切分：支持对一张GPU卡，切分不同粒度，1/2，1/4,1/8,1/16,1/32。3.9资源监控日志：保留180天日志服务和180天资源监控指标。3.10动态指定运行节点：支持。3.11计算资源碎片优化：支持。3.12计算资源碎片优化：支持。4统一管理软件4.1建设以算力池化为基础的AI算力池化与动态资源调度平台，实现计算、数据、模型等更多能力的内网共享使用。算力池化基础建设•异构算力资源整合：平台将广泛汇聚各种不同类型、不同规格的计算资源，包括CPU、GPU、FPGA等，形成一个庞大且丰富的算力资源池。通过底层的硬件抽象和适配技术，将这些异构算力资源进行统一的抽象和封装，屏蔽掉硬件差异，使得上层应用能够以统一的方式对这些资源进行访问和使用。例如，对于一个深度学习训练任务，平台能够根据任务的具体需求和算力资源的实时状态，自动从算力池中选择合适的GPU和CPU资源进行组合分配，以实现最佳的计算性能。•算力资源的动态分配与优化：算力池化不仅仅是简单的资源集合，更重要的是实现资源的动态分配和优化。平台将引入智能的资源调度算法和负载均衡机制，实时监测各任务的计算需求和算力资源的使用情况。根据这些信息，系统能够动态地调整算力资源的分配，将闲置的计算资源及时分配给有需求的任务，避免资源的闲置和浪费。同时，通过对算力资源的合理调配，提高整个平台的计算效率，降低任务的执行时间。例如，在业务高峰期，当大量AI任务同时提交时，平台能够自动根据任务的优先级和计算复杂度，合理分配算力资源，确保重要任务能够得到优先处理，同时整体任务的处理效率也能得到保障。数据共享与管理•安全的数据共享机制：数据是人工智能的核心要素之一，平台将建立一套安全、高效的数据共享机制，实现数据在内网环境下的共享使用。首先，通过严格的数据访问控制和身份认证机制，确保只有授权的用户和应用程序能够访问和使用特定的数据资源。其次，采用数据加密技术对敏感数据进行加密处理，防止数据在传输和共享过程中被窃取或篡改。同时，为了提高数据的可用性，平台将提供数据缓存、数据预取等功能，减少数据的访问延迟，提高数据的读取速度。•数据的规范化与标注：为了更好地支持AI模型的训练和应用，平台将对共享的数据进行规范化处理和标注。建立统一的数据格式和标注规范，对不同来源的数据进行清洗、转换和标注，提高数据的质量和一致性。同时，通过数据质量管理工具，对数据进行质量监测和评估，及时发现和解决数据中存在的问题，确保数据的准确性和可靠性。经过规范化与标注的数据能够为AI模型的训练提供更优质的素材，提高模型的性能和准确性。模型共享与优化•模型的集中存储与管理：模型是人工智能应用的核心资产，平台将建立模型库，实现对各种AI模型的集中存储和管理。模型库将支持多种常见的模型格式和框架，方便用户上传、下载和共享自己开发的模型。同时，为了方便模型的管理，平台将提供模型的版本控制、元数据管理等功能，记录模型的创建时间、开发者、参数配置等信息，便于用户对模型进行追溯和管理。•模型的动态加载与优化：在模型使用过程中，平台将支持模型的动态加载和优化。根据业务需求和任务特点，系统能够自动从模型库中选择合适的模型，并将其加载到计算资源上进行运行。同时，通过对模型的性能监测和分析，平台将提供模型优化功能，如模型压缩、量化、剪枝等，降低模型的计算成本和存储需求，提高模型的运行效率。此外，平台还将支持模型的在线更新和升级，确保模型能够适应不断变化的业务环境和数据分布。动态资源调度平台功能•实时资源监测与分析：动态资源调度平台将具备强大的实时资源监测和分析能力，通过对算力、数据、模型等资源的实时监测，获取各资源的运行状态、使用情况等关键指标。基于这些数据，平台将运用数据分析和挖掘技术，对资源的使用趋势进行分析和预测，为资源的调度和优化提供决策依据。例如，通过对历史数据的分析，预测不同时间段的业务需求，提前调整算力资源的分配，以应对业务的波动。•智能的任务调度策略：根据实时资源监测和分析的结果，平台将制定智能的任务调度策略。任务调度策略将综合考虑任务的优先级、计算复杂度、资源需求等因素，合理分配算力、数据和模型等资源，确保任务能够高效、稳定地运行。例如，对于高优先级的实时任务，平台将优先分配充足的计算资源，确保任务能够在规定的时间内完成；对于一些批处理任务，平台将根据资源的空闲情况进行合理安排，提高资源的利用率。•资源弹性伸缩与管理：为了应对业务的突发变化和资源的动态需求，动态资源调度平台将支持资源的弹性伸缩。当业务需求增加时，平台能够自动从算力池中调用闲置的资源，满足任务的运行需求；当业务需求减少时，平台将自动释放多余的资源，避免资源的浪费。同时，平台将提供资源管理的功能，允许用户根据自身的需求灵活调整资源的配置和使用策略，实现资源的最优配置。通过建设以算力池化为基础的AI算力池化与动态资源调度平台，实现计算、数据、模型等更多能力的内网共享使用，将为AI应用的发展提供有力的支持，推动各行业的技术创新和业务升级。4.2教学实训作业资源和科研资源自定义配置：支持。4.3教学实训作业资源和科研资源隔离：支持。4.4具备AI作业的自动分发和自适应调度能力，GPU利用率实现50%以上。4.5容灾策略：支持三节点以上容灾策略，系统管理节点可分批关机维护。4.6系统时钟同步：支持。5数据管理软件5.1数据标注：支持四种标注方式，分类、标框、区域、标点。5.2支持用户创建、注册、管理模型和数据集。5.3数据集隐私设置：支持。5.4提供数据传输能力，支持用户以文件和目录形式在本地导入导出数据。5.5数据集版本管理：支持。5.6支持系统创建预置模型和数据集。5.7数据预览：支持用户通过目录挂载方式在容器作业中调用公开数据以及编辑个人数据。5.8数据源管理：提供2种以上数据源管理。6智能调度软件6.1作业优先级等级：支持高、中、低不同等级作业。6.2集群调度策略：支持集群亲和性和反亲和性策略，可以优化特定类型作业的分配。6.3作业调度策略：实现多种调度策略，包括FIFO（先进先出）、公平调度、能力调度、批调度、重调度，以满足不同场景下的调度需求。6.4作业依赖配置：支持。6.5作业任务排队：支持任务排队和调度，同时提供查看训练任务详情的功能，包括任务的基本信息和训练进展等。6.6总体算力资源平衡：提供算力资源的性能评分机制，考虑处理能力、能耗效率等因素。6.7资源均衡：提供算力资源的弹性伸缩能力，适应突发计算需求。6.8调度配置：支持细粒度资源条件调度，包括作业配置节点属性、节点亲和性和反亲和性等条件，以满足特定的资源需求。6.9资源调度能力：提供二级调度能力，支持多集群场景，使作业可以智能跨集群调度。6.10资源标签化：支持。6.11资源动态调整：支持。6.12专用资源配置：支持。6.13智能调度：支持根据任务、资源情况智能调度适配的资源上。6.14系统响应：页面响应时间需要小于500ms。6.15作业迁移时间：不超过3分钟。6.16分布式训练：支持，支持一机多