人工智能公共支撑平台建设需求_第1页
人工智能公共支撑平台建设需求_第2页
人工智能公共支撑平台建设需求_第3页
人工智能公共支撑平台建设需求_第4页
人工智能公共支撑平台建设需求_第5页
已阅读5页,还剩44页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

人工智能公共支撑平台建设需求(一)项目概述建设人工智能公共支撑平台,旨在构建一个集‌大模型‌、‌智能算法‌、‌智能体‌、‌知识库‌于一体的综合性技术体系,打造‌大模型可信算法‌与‌传统人工智能算法‌相融合的管理体系。平台将建设统一的‌算法模型管理服务门户‌,提供“一站式”服务,实现模型能力最大化与算力资源合理化的高效平衡,形成高质量算法能力,全面支撑“‌大模型+智能体+智能算法+知识库‌”的技术研发与应用创新。通过提供共性通用的‌业务支撑‌、‌能力建设‌与‌数据服务‌,平台将最大程度避免重复开发,助力各单位实现数字业务的智能化转型,逐步构建‌数字业务中枢‌、‌数字能力中枢‌和‌数字数据中枢‌,推动人工智能技术在更广泛领域的深度应用与价值释放。(二)项目目标本项目主要依托我市业务云资源,建设“1门户+1中心+1中台+1体系”的人工智能应用支撑能力,统筹、规范全市AI应用建设和归集管理AI数据资产提供抓手,实现对全市AI业务应用建设的“全面赋能、协同集约、标准规范、安全可控”。(三)建设内容本项目主要依托我市业务云资源,建设“1门户+1中心+1中台+1体系”的人工智能应用支撑能力。具体如下:(一)1门户。建设1个服务人工智能应用建设的门户,包括AI服务门户、AI服务广场,是各类用户的统一入口,是业务AI服务的展示广场。(二)1中心。建设1个AI应用建设服务中心,规范AI应用建设流程,提供AI服务评测,沉淀过程资产和经验。聚焦AI应用建设的场景规划、需求分析、详细设计、数据准备、应用研发、评测上线、监测分析等各流程,提供规范化建设流程引导,沉淀建设过程中的资产和经验。(三)1中台。建设1个AI服务能力中台,是AI服务的“仓库”,建设大模型运行、精调能力,构建基础能力域、通用能力域、专业能力域,进行统一的AI能力治理与服务调度。(四)1体系。建设1个AI应用建设标准规范和模型安全防控体系。(四)软件开发服务需求11门户1.1AI服务门户AI服务门户需提供的功能包括大屏、市业务和数据部门门户、各市直单位门户、开发企业门户、模型企业门户、运维企业门户。具体功能模块要求如下:序号功能模块功能项技术要求1大屏实时动态概览需支持新应用上线情况、新案例发布情况、新智能体发布情况。应用建设主题需支持应用场景分析、应用建设项目分析、重大应用建设项目清单。AI服务主题需支持AI服务量分析、AI服务分布分析、AI服务活跃度分析。大模型主题需支持部署大模型数量、部署大模型清单下钻、大模型调用分析。算力使用主题需支持算力规模分析、算力使用率分析、算力高占用应用展示、资源使用预警监控。多维度筛选与过滤支持用户按照不同的维度(如时间、单位)筛选和过滤数据。2市业务和数据部门门户/需提供的功能包括市业务和数据部门的快捷功能、业务概览、AI服务广场链接、本单位任务、预警消息、通知公告。3各市直单位门户/需提供的功能包括各市直单位的快捷功能、业务概览、AI服务广场链接、本单位任务、预警消息、通知公告。4开发企业门户/需提供的功能包括开发企业的快捷功能、业务概览、AI服务广场链接、本企业任务、预警消息、通知公告。5模型企业门户/需提供的功能包括模型企业的快捷功能、业务概览、AI服务广场链接、本企业任务、通知公告。6运维企业门户/需提供的功能包括运维企业的快捷功能、业务概览、本企业任务、预警消息、通知公告。1.2AI服务广场AI服务广场需提供的功能包括AI服务广场、AI服务能力管理。具体功能模块要求如下:序号功能模块功能项技术要求1AI服务广场模型广场需提供的功能包括大模型信息展示、大模型申请、大模型体验。2智能体广场需提供的功能包括智能体信息展示、智能体申请、智能体体验。3知识库广场需提供的功能包括知识库信息展示、知识库申请。4提示词广场需支持提示词信息展示。5组件广场需提供的功能包括组件信息展示、组件申请。6评测集广场需提供的功能包括评测集信息展示、评测集申请。7AI服务能力管理大模型管理需提供的功能包括大模型编目管理、大模型分类管理。8智能体管理需提供的功能包括智能体编目管理、智能体分类管理。9知识库管理需提供的功能包括知识库编目管理、知识库分类管理。10提示词管理需提供的功能包括提示词编目管理、提示词分类管理。11组件管理需提供的功能包括组件编目管理、组件分类管理。12评测集管理需提供的功能包括评测集编目管理、评测集分类管理。21中心2.1AI应用建设服务中心AI应用建设服务中心需提供的功能包括AI应用场景规划、AI应用建设需求梳理、AI应用建设项目创建、AI应用建设详细设计、AI应用数据准备、AI应用研发、AI应用评测上线、AI建设经验推广、AI应用建设项目归档、AI全景监测分析。具体功能模块要求如下:序号功能模块功能项技术要求1AI应用场景规划/需提供的功能包括场景台账、场景申报、场景智能评估、场景备案、场景清理、评估指标体系管理、场景分类设置。(1)场景备案需支持场景备案详情查看、场景评估结果确认、场景评估备案表预览、场景评估备案表下载。(2)场景清理中的预警清理需支持场景审计、清理推送、清理确认、清理操作。2AI应用建设需求梳理/需提供的功能包括需求梳理台账、一般场景需求梳理、报告生成场景需求梳理、行政办文类需求梳理、产业资金监管需求梳理、建设模式选择、需求梳理阶段关闭、需求模板管理。需求模板管理需支持需求模板概览、需求模板分类分级管理、需求模板自定义、需求模板预设。3AI应用建设项目创建/需提供的功能包括项目台账、新项目创建。4AI应用建设详细设计/需提供的功能包括AI应用建设项目实施启动、详细设计台账、架构设计、业务详细设计、数据准备方案设计、算力调度方案设计、集成设计、安全设计、服务选配方案设计、详细设计审批备案、详细设计模板内嵌。5AI应用数据准备/需提供的功能包括数据准备台账。6AI应用研发/需提供的功能包括应用研发台账、大模型选型。大模型选型需支持大模型推荐、大模型选型报告生成、模型选型报告下载。7AI应用评测上线/需提供的功能包括项目上线台账、智能体发布、知识服务发布、大模型发布、组件发布、提示词集共享、测试集共享、应用上线备案。智能体发布需支持智能体发布列表、智能体发布申请、智能体发布审批。8AI建设经验推广/需提供的功能包括内外部案例收集、案例审核、案例发布、案例推广。

案例推广中案例卡片需支持包括案例卡片信息、优秀案例展示、热门案例展示。9AI应用建设项目归档/需提供的功能包括项目归档台账、一键归档、过程资产归集展示。10AI全景监测分析/需提供的功能包括综合监测分析、专项主题分析、项目数字画像。2.2AI服务评测AI服务评测需提供的功能包括参评对象管理、评测集仓库、裁判模型管理、评测任务中心、评估结果管理、业务人员管理。具体功能模块要求如下:序号功能模块功能项技术要求1参评对象管理/需提供的功能包括参评模型管理、参评智能体管理、参评知识库管理。2评测集仓库/需提供的功能包括评测集分类管理、评测集管理、评测结果集信息、评测集看板。3裁判模型管理/需提供的功能包括裁判模型仓库、裁判模型评分模版管理、裁判模型效果管理、裁判模型健康检查。4评测任务中心/需提供的功能包括评测任务管理与配置、评测任务看板。5评估结果管理/需提供的功能包括评测报告管理、评测榜单管理、评测比对管理。6业务人员管理/需提供的功能包括业务人员管理、业务人员专业领域管理。31中台3.1AI能力治理与服务调度系统AI能力治理与服务调度系统需提供的功能包括AI能力服务接入管理、AI能力服务订阅管理、AI服务调度管理、AI能力服务治理、AI能力服务监控。具体功能模块要求如下:序号功能模块功能项技术要求1AI能力服务接入管理/需提供的功能包括系统管理、AI能力应用管理、AI能力服务管理、AI能力目录管理、AI能力API管理、配置管理。2AI能力服务订阅管理/需提供的功能包括AI能力服务申请管理、AI能力服务代办工作台。需支持对于指定应用/服务/API的订阅申请,将由该应用的管理员进行审批,审批通过之后相应的应用即有权限调用对应范围的API。3AI服务调度管理/需提供的功能包括服务调度配置、数据处理策略、数据处理策略模版。4AI能力服务治理/需提供的功能包括服务治理策略、服务治理策略模版。需支持VIP通道服务下的精细化路由控制和服务治理策略,包括集群分区管理、网关实例、路由配置、下游配置、访问策略、限流策略和降级熔断策略功能。5AI能力服务监控/需提供的功能包括服务拨测、日志监控、服务告警、统计分析。3.2预置免费大模型需预置6个免费大模型,预置工作包括大模型收集/下载、大模型上传、大模型轻量化、国产化硬件适配、大模型运行部署、大模型体验(后台及页面交互开发)、大模型运行测试、编写大模型功能描述及使用方法等。具体服务要求如下:序号服务内容服务要求1预置免费大模型需预置6个免费大模型,其中3个大语言模型,分别为1B~10B、10B~70B、大于70B,2个多模态大模型大小分别为1B~10B、大于10B,一个向量化大模型,模型大小需在1B以内。预置工作包括大模型收集/下载、大模型上传、大模型轻量化、国产化硬件适配、大模型运行部署、大模型体验(后台及页面交互开发)、大模型运行测试、编写大模型功能描述及使用方法等。3.3智能体编排智能体编排需提供的功能包括智能应用开发、智能应用监控、租户权限管理。具体功能模块要求如下:序号功能模块功能项技术要求1智能应用开发智能体管理需提供的功能包括简易智能体、编排智能体、模板智能体、访问智能体。2编排API管理需提供的功能包括创建的API管理、被编排的API管理。3配置管理需提供的功能包括公共变量配置、视图模板。4规则管理需提供的功能包括规则管理、规则分类。5规则检查需提供的功能包括数据脱敏规则、数据补全规则、数据转换规则、数据生成规则、数据质量规则。6流程调度需提供的功能包括主备调度模式、独立调度机模式、调度队列模式、调度队列设置、所有任务、待领取任务、已领取任务、执行中任务、失败的任务、成功的任务、任务队列检索。7智能应用监控流程监控需提供的功能包括运行状态监测、待执行任务、待审批流程、待补偿流程、补偿失败流程、待补偿节点、所有补偿节点、异步等待队列、未结束流程、已结束流程、已归档流程。8监控分析需提供的功能包括控制台日志、任务队列监控、历史运行统计、流程调度量统计、任务领取分布。9租户权限管理用户管理需提供的功能包括用户数据对接、用户数据管理。10权限管理需提供的功能包括角色管理、数据维度管理、授权管理、菜单管理。11组织管理需提供的功能包括组织数据对接、组织数据管理。12用户行为管理需提供的功能包括用户操作日志、用户登录日志。3.4提示词工程提示词工程需提供的功能包括提示词模板管理、提示词优化。具体功能模块要求如下:序号功能模块功能项技术要求1提示词模板管理/需提供的功能包括预置模板、自定义模板、模板收藏。2提示词优化/需提供在线优化功能。3.5通用组件库通用组件库需提供的功能包括组件管理、智能组件、智能体流程基本组件、智能体数据处理组件、智能体脚本组件、消息队列连接组件、流程事件组件、应用连接组件具体功能模块要求如下:序号功能模块功能项技术要求1组件管理/需提供的功能包括组件管理、组件分类管理。2智能组件/需提供的功能包括大模型组件、向量检索、Rerank、文本摘要、目标检测、通用分割、人像抠图、通用文字识别、数据脱敏、数据过滤、异常符号清洗、符号标准化、中文繁体转简体。3智能体流程基本组件/需提供的功能包括RestfulAPI组件、WebService组件、TCP/IP消息组件、变量设置组件、人工审批组件、异步回调组件、异步队列组件、网关节点组件、子流程组件、数据合并组件、数据拆分组件、数据库表输入组件、数据库表输出组件、文件上传组件、文件下载组件、HTML页面组件、流程路由组件。4智能体数据处理组件/需提供的功能包括结果数据裁剪、字段名映射、数据过滤器、字段值转换、数据清洗规则、XML转JSON、JSON转XML、格式转换模板、高级映射配置。字段名映射组件支持添加映射配置以及查看映射关系图;数据过滤器组件支持添加多个过滤条件进行数据数据过滤。5智能体脚本组件/需提供的功能包括调用JavaBean、执行Java脚本、执行Java规则、执行JS脚本、执行SQL脚本、Python脚本、Shell脚本。Python脚本组件支持基本属性配置、Python脚本配置、输出参数配置、结果断言配置。6消息队列连接组件/需提供的功能包括Kafka消息连接组件、RabbitMQ消息连接组件、Mqtt消息连接组件、JMS消息连接组件。定时器组件支持定时类型、时间、最大执行次数等参数配置。7流程事件组件/需提供的功能包括调试日志连接组件、自增量设置连接组件、定时器连接组件、微信消息连接组件、钉钉消息连接组件、发送邮件连接组件、说明文字连接组件。8应用连接组件/需提供的功能包括供崖山数据库连接组件、达梦数据库连接组件、业务微信连接组件。3.6文档智能结构化系统文档智能结构化系统需提供的功能包括材料要素索引、非结构化文档转换工具、文档要素化工具、要素校验工具、要素清洗工具、要素验证与确认工具、材料要素质效管理。具体功能模块要求如下:序号功能模块功能项技术要求1材料要素索引/需提供的功能包括材料类型索引、单项材料索引、文件提取详情、材料要素索引、数据同步与更新。2非结构化文档转换工具/需提供的功能包括文档转换列表、文档智能分类组件、文档智能索引引擎、文档鉴别辅助。3文档要素化工具/需提供的功能包括要素化文档清单、解析基本信息配置、正则关键词解析配置、NLP关键词解析配置、适用性解析配置、通用标题解析配置、通用列表解析配置、通用段落解析配置、表格智能解析配置、文本摘要解析配置、要素结构化引擎。4要素校验工具/需提供的功能包括要素校验规则引擎、自动化批量校验、校验规则优化配置、校验规则优化工具。5要素清洗工具/需提供的功能包括要素清洗引擎、要素清洗执行、要素清洗溯源追踪、要素标准化处理。6要素验证与确认工具/需提供的功能包括材料清单、提取数据标注、数据验证确认、溯源参考、数据验证统计分析工具。

溯源参考需支持允许用户根据数据的唯一标识(如数据ID、名称等),查询该数据的溯源信息。支持展示数据在原始材料中的具体位置,并支持用户直接跳转至该位置进行查看。7材料要素质效管理/需提供的功能包括材料要素质效反馈查看、材料要素质效反馈回复、材料要素质效反馈已处理标记、材料要素质效反馈未处理标记、材料要素质效反馈提交删除、导出材料要素质效反馈列表、设置材料要素质效反馈提醒、取消材料要素质效反馈提醒、优化管理工具、质效管理工具。3.7智能报告生成系统智能报告生成系统需提供的功能包括报告数据准备、报告变量管理、报告生成提示词、报告模板创建、报告生成、报告发布、报告质效分析、报告预置。具体功能模块要求如下:序号功能模块功能项技术要求1报告数据准备/需提供的功能包括报告数据浏览、智能报告数据指标计算、智能报告数据主题计算。2报告变量管理/需提供的功能包括智能报告变量管理、大模型提示词变量配置、大模型思维链变量配置、大模型RAG变量配置、SQL变量配置、接口变量配置、其他变量配置、智能报告变量结果配置。3报告生成提示词/需提供的功能包括智能报告提示词模板、智能报告提示词推荐。4报告模板创建/需提供的功能包括智能报告模板推荐、智能报告模板设计。5报告生成/需提供的功能包括智能报告预生成、大模型切换报告预生成、智能报告修订与确认。6报告发布/需提供的功能包括智能报告版本管理、智能报告发布、智能报告通知提醒、智能报告反馈收集。7报告质效分析/需提供的功能包括效率评估分析、效果评估分析。8报告预置/需提供的功能包括预置智能报告管理、A1场景规划监测分析报告生成预置、AI应用建设监测分析报告生成预置、AI服务监测分析报告生成预置、大模型部署和运行使用分析报告生成预置、算力使用报告生成预置、项目画像报告生成预置、评测智能报告预置。3.8业务支撑业务支撑需提供的功能包括运维任务管理、平台基础管理和平台运营管理。具体功能模块要求如下:序号功能模块功能项技术要求1运维任务管理/需提供的功能包括运维项目卡片、运维任务台账、运维请求工具、运维任务分派工具、运维反馈工具、运维评估工具、运维监测工具、自动化运维工具。2平台基础管理/需提供的功能包括流程引擎组件、表单设计器组件、组织管理、用户管理、角色管理、权限管理、数据字典工具、附件配置管理。3平台运营管理/需提供的功能包括算力使用评估与管理、用户帮助中心、AI标准管理。3.9多源AI资产管理系统多源AI资产管理系统需提供的功能包括多源AI资产目录、多源AI资产接入、多源AI资产存管、多源AI资产洞察、多源AI资产处理矫正、多模态语料元数据管理、多源AI资产安全。具体功能模块要求如下:序号功能模块功能项技术要求1多源AI资产目录/需提供的功能包括语料目录概览、语料多维搜索、数据集画像、语料选数车。2多源AI资产接入/需提供的功能包括连接源管理、多源数据接入、过程语料资产回流。

多源数据接入需支持原始数据格式支持pdf、docx、pptx、html、epub、mobi、txt、json等文档数据接入;需支持jpg、png等主流图片格式、MP4、AVI等主流视频格式、mp3、WAV等主流音频格式等数据集接入。3多源AI资产存管/需提供的功能包括语料数据集管理、语料集版本管理、数据集详情、语料数据血缘、语料集标签管理、目录树管理。语料数据血缘需支持记录数据从接入到加工、标注、组合等各类操作全过程以及上下游链路信息形成语料数据血缘,支持通过可视化看板以图形化的方式展示数据集在系统中的流动和转换过程。4多源AI资产洞察/需提供的功能包括SFT微调语料洞察、SFT微调语料检索、文档文本语料洞察。5多源AI资产处理矫正/需提供的功能包括语料轻处理、标注矫正。语料轻处理需支持轻处理任务编排创建,包括算子选取编排、自定义处理算子、算子参数配置,以及处理算子的效果示例查看;支持算子检索。6多模态语料元数据管理/需提供的功能包括多模态元模型、多模态适配器。7多源AI资产安全/需提供的功能包括语料安全质检、分类分级管理、文本分级规则、分级分类识别。

(1)语料安全质检需支持质检任务执行结果,对质检任务运行统计、单文件运行状态监测、单文件运行时长、单文件重新运行、单文件运行日志进行查看。(2)语料安全质检需支持质检分析报告,通过质检结果统计分析、全量文件质检列表查看、单文件质检指标查看、重复文件查看。4.系统对接服务需与市可信统一身份认证管理平台、算力调度平台、语料平台、项目管理系统、CDOS系统进行对接。具体要求如下:序号功能模块功能项技术要求1市可信统一身份认证管理平台/与可信统一身份认证管理平台对接,获取用户数据和组织架构数据,并实现身份认证体系对接。2算力调度平台/与算力调度平台对接,获取算力资源信息,包括算力资源目录、算力资源分配信息、算力资源使用信息。3语料平台/与语料平台对接,获取语料资源信息,包括语料资源目录、语料资源分配信息、语料资源使用信息。4项目管理系统/与项目管理系统对接,提供本平台支撑的AI应用建设类项目信息接口,满足项目管理系统对全部项目的信息管理要求。5CDOS系统/与CDOS系统对接,提供大模型、智能体信息目录接口,满足CDOS对数字资源的全面掌控。(五)成品软件采购需求1.1中台(成品软件采购部分)1.1大模型运行系统为了构建一个高效、稳定且可扩展的大模型运行系统,满足大规模AI模型的训练、部署和应用需求。大模型运行系统需提供的功能包括数据中心、模型管理、模型部署、应用编排、应用中心、边缘中心。需具备40个GPU节点(每节点8张GPU卡)的纳管能力(与大模型精调系统共用)。具体功能模块要求如下:序号功能模块功能项技术要求1数据中心数据源管理需支持远程数据源管理。2模型管理模型仓库需支持模型导入、模型共享。3模型部署在线服务一、新建服务(1)需支持容器绑定模型文件及镜像运行环境;(2)需支持公共镜像作为模型服务化运行环境;(3)需支持私有镜像作为模型服务化运行环境;(4)需支持绑定多个容器+镜像组成多容器模型服务;(5)需支持通过录入、选择提供必要的基本配置启动在线推理服务;(6)需支持Deployment和Statefulset两种负载类型;(7)需支持GPU卡类型至少包括A100、A800、H800、910B;(8)需支持选择实例扩缩容策略(手动调节,自动调节);(9)需支持配置容器自定义环境变量;(10)需支持关联secret,configmap配置启动服务;(11)需支持配置鉴权调用的用户白名单。(12)需支持服务上线审批。二、服务组管理(1)需支持根据“名称、创建者、状态”搜索服务组。三、服务管理(1)需支持通过服务组分组管理发布的推理服务,查看服务运行相关信息。(2)需支持对服务进行生命周期管理操作。四、服务更新(1)需支持对服务的配置信息进行更新操作,需支持滚动更新。五、多版本管理(1)需支持在同一服务组内,创建多个服务版本。(2)需支持为多个服务版本分配流量权重。六、接口管理(1)需支持在服务组内,创建接口,编辑接口,删除接口。七、调用请求日志(1)需支持统计已启用鉴权服务的接口调用次数。八、创建接口(1)需支持选择网络协议(JSON/PB),根据不同网络协议提供不同交互录入方式。(2)需支持HTTP+PB接口管理,支持WebSocket接口注册。(3)需支持JSON协议手动创建或json批量导入,支持录入调用地址,接口名称,选择请求方法(POST/GET),录入请求头,录入输入参数,录入输出参数,录入错误码,录入调用示例,录入输出示例。(4)需支持PB协议录入PB代码,通过PB代码解析得到接口信息,复杂类型信息,支持录入错误码。九、复杂类型管理需支持在服务组内,创建复杂类型,编辑复杂类型,删除复杂类型。十、服务日志需支持按容器查看服务日志。十一、服务监控需支持按容器查看服务调用量和资源使用量监控。十二、服务事件查看需支持查看服务事件信息,包括容器启动/销毁记录等。十三、容器登录实例pod运行后,需支持远程登录容器。十四、配置管理需支持管理、编辑、删除configmap/secret。边缘服务需支持边缘服务的新建、管理、更新和查看。端推理部署需支持部署包管理、部署详情查看。4应用编排工作流(1)需支持工作流列表:支持展示已有的工作流,可查看工作流基本信息;进行工作流的增删改查、复制等操作。(2)需支持工作流编排:支持对于自定义工作流,支持用户通过拖拉拽的方式将输入、输出、模型、函数等多种组件拖入工作流面板进行组合编排。(3)需支持工作流执行:支持对已经编排好的工作流创建执行任务,配置输入参数、选择执行模式后即可发起任务的执行调试。(4)需支持执行详情查看:支持查看执行结果,包括工作流结构与执行状态、节点耗时、详细执行事件数据等。(5)需支持工作流执行监控:支持提供工作流执行数据的观测能力,辅助应用开发人员进行工作流执行耗时、执行错误等信息的观测。第三方组件(1)需支持函数脚本组件管理:支持用户自定义创建函数用于工作流编排中引用,函数代码编写时可进行测试验证;支持对已有函数进行编辑,可查看已有函数的修订记录及还原历史版本。(2)需支持自定义组件管理:支持增删改自定义组件,通过自定义组件注册用于工作流编排。5应用中心应用工作台(1)需支持控制台应用查看:支持查看及检索已上架的控制台应用。(2)需支持API应用查看:支持查看及检索已上架的API应用,需支持查看API接口信息、进行API调试、查看应用监控数据。应用管理(1)需支持控制台应用上架:支持将第三方系统应用的访问入口上架至应用工作台,支持将自定义编排的工作流上架为控制台应用。(2)需支持API应用上架:支持将平台模型服务、工作流服务发布为API应用,并上架应用工作台。(3)需支持应用分享:支持通过应用编辑页面将应用分享至其他项目使用。6边缘中心/需提供的功能包括数据流设备管理、端推理设备管理、边缘集群管理。1.2大模型精调系统大模型精调系统需提供的功能包括自动学习、数据中心、训练工坊、模型任务、模型部署、大模型精调、管理中心。需具备40个GPU节点(每节点8张GPU卡)的纳管能力(与大模型运行系统共用)。具体功能模块要求如下:序号功能模块功能项技术要求1自动学习立即开始(1)需支持建模场景选择:支持选择不同的场景启动任务。(2)需支持训练任务配置:支持训练任务的超参、数据增强、资源选择。(3)需支持数据预览:支持预览训练集(图片、文本)的数据详情和标签分布。(4)需支持数据上传和拆分:支持从数据中心拉取数据进行训练,验证集可从训练集中抽取相应百分比的数据进行训练。(5)需支持内置训练框架:支持SENet、ResNext、Res2Net、MobileNetV3图像分类框架,支持YOLOV3、RetinaNet_ResNet50、GFL_ResNet50、FasterRCNN_ResNet50、FasterRCNN_Res2Net50图像检测框架,支持MaskRCNN_ResNet50图像分割框架,支持文本单标签分类、文本多标签分类。(6)需支持手动数据增强:支持通用场景手动进行数据增强策略。(7)需支持自动数据增强:支持通用场景自动搜索数据增强结果。(8)需支持自动超参搜索:支持通用场景AutoML自动超参搜索策略。(9)需支持训练任务日志查看:支持按照日期筛选查看模型训练日志。(10)需支持训练任务指标监控:支持模型训练指标(曲线)实时展示,支持暂停任务和继续训练。(11)需支持模型保存:支持将精调完的模型保存到模型仓库。(12)需支持模型快速校验:支持上传一张或多张测试数据(图片、文本等)获取结果。(13)需支持查看评测结果:支持查看自动评测的评测结果,支持将badcase保存到数据中心。(14)需支持调整阈值和iou:支持调整评测结果的阈值和iou。(15)需支持重新评测:支持重新发起评测。(16)需支持一键发布服务:支持模型一键发布成为服务。(17)需支持创建对比评测:支持通过创建对比评测任务,相同场景的不同模型进行比对,支持更换对比测试集并选择不同的对比版本。(18)需支持文本分类训练场景:支持单标签文本分类和多标签文本分类的建模场景。任务管理(1)需支持自动学习任务管理:支持用可视化界面管理自动学习任务。(2)需支持任务筛选与搜索:支持自动学习任务列表的搜索和筛选。场景管理需支持自定义场景配置:支持对算法,预训练模型,描述,配图,示例数据,资源等场景相关配置进行设定。2数据中心数据集管理(1)需支持数据集导入:支持本地导入或远程导入数据文件和标签文件到数据中心。(2)需支持数据集权限:支持数据集可见范围设定为“仅本人可见/所属项目可见/所属业务下的跨项目共享”。(3)需支持数据集详情:支持查看导入数据集的基本信息、预览图片内容/展示结构化数据/展示文本数据内容;若该数据集包含分类标签文件,则还支持查看标签类别可视化分布(环形图+表格)。(4)需支持数据集下载:支持用户可下载数据中心的数据集到本地,且支持指定文件格式zip/tar/gz。(5)需支持数据集类型:支持文本、图片、表格、语音、数据库表和“其他”类型的数据集导入,依据不同的数据集类型,展示不同的数据集详情分析预览。(6)需支持数据集追加、数据集替换:支持在已导入的数据集的基础上追加新的数据内容/直接全部替换数据集中的原始数据内容。(7)需支持数据切分:支持根据设置的比例将父数据集随机切分为2个或多个子集,每个子集支持重新命名并可选为不同用途。(8)需支持版本管理支持对数据集进行版本管理,同一个数据集可发布多个版本。(9)需支持筛选指定标签的数据导出:支持用户选中一个或多个数据集,并筛选指定标签类别,将筛选后的结果生成新的数据集后导出到本地。(10)需支持批量删除:支持用户选中多个数据集,进行批量删除。(11)需支持共享给本项目的数据集:支持统一管理从当前业务下别的项目分享给该项目的数据集。(12)需支持公共数据集:平台需提供所有用户可用的开源公共数据集,需支持出包内置和超级管理员导入两种方式得到公共数据集。(13)需支持数据处理:支持用户创建数据处理任务,支持图片数据清洗、去重、增强、图片生成、视频抽帧功能。数据源管理(1)需支持远程数据源管理:支持可视化管理用户个人的远程结构化和非结构化数据源,支持新增、更新、删除个人数据源。(2)需支持设置数据源权限范围:个人可见、项目内共享。集群配置需支持配置大数据集群,支持配置HDFS、Hive、Hbase、yarn组件。数据构建需支持数据构建pipeline:支持根据需求场景选择不同的数据构建pipeline,包含:有监督-单轮问答-pipeline、有监督-多轮问答-pipeline、无监督-pipeline。3训练工坊可视化建模(1)需支持工作流搭建:支持通过搭建工作流结构来实现模型搭建。(2)需支持权限管理:支持用户基于项目对工作流进行权限管理。(3)需支持demo工程:支持对demo工程进行不同权限下的操作。(4)需支持数据格式:支持csv数据、其他分隔符的文本数据、数据文件编码(UTF-8)。(5)需支持数据预处理:支持内置数据预处理的算子。(6)需支持数据转换:支持内置数据转换的算子。(7)需支持特征工程:支持内置特征提取、特征转换、特征选择、特征重要性分析的算子。(8)需支持内置算法:支持NLP、图算法、时间序列。(9)需支持内置框架:支持Spark、Pyspark、Tensorflow、Pytorch。(10)需支持可视化算法:支持随机森林、梯度提升、决策树算法模型的可视化展示。(11)需支持模型评估:支持中文回答评估、分类任务评估、回归任务评估算子。(12)需支持画布导入导出:支持画布导入导出功能。(13)需支持和Notebook调试打通:支持自定义组件算子可基于Notebook环境编写和调试脚本。(14)需支持Auto-ML:支持全自动AutoML。(15)需支持按画布保存为模型:支持按画布保存模型。(16)需支持一键启动批量预测:支持从模型仓库一键启动批量预测画布,支持预测画布的模型更新操作。(17)需支持画布并发数设置:支持画布设置实例并发数。算法管理(1)需支持自定义模版:支持创建自定义算法模版。(2)需支持内置模版:支持对平台内置算法模版进行管理,普通用户与管理员拥有不同权限。(3)需支持版本管理:支持算法模版的版本管理功能。(4)需支持模版调试编辑:支持将算法模版打开到Notebook。(5)需支持训练快捷启动:支持从算法模版一键创建训练任务。(6)需支持脚本下载:支持下载脚本代码。算子需支持上采样、下采样、修改列名、去除重复行等算子。Notebook功能(1)需支持新建实例:支持新建Notebook实例,支持选择数据集或者数据源作为数据来源,支持选择公共镜像/项目镜像,支持选择英伟达A100、英伟达A800、英伟达H800、昇腾910B。(2)需支持交互式编写代码:支持在容器中使用Notebook新建多个文件并进行交互式的编程。(3)需支持内置SDK开发套件:支持直接在Notebook环境中提交训练任务。(4)需支持查看运行日志和事件:支持查看Notebook实例运行日志和事件。(5)需支持从算法模版打开:支持基于算法模版打开Notebook。(6)需支持可视化建模打通:支持作为可视化建模的组件算子的调试环境,支持在可视化建模的画布中打开Notebook开发自定义脚本。(7)需支持导出为镜像:支持Notebook实例导出为自定义镜像。(8)需支持闲置资源自动回收:支持项目管理员设置项目内Notebook实例闲置自动回收。(9)需支持ssh远程连接:支持ssh远程连接,支持本地开发IDE连接平台Notebook算力存储资源。(10)需支持多人协作:支持Notebook支持多人协作。(11)需支持Tensorboard监控:支持平台预置PyTorch、Tensorflow、MXNet预置Tensorboard功能,支持直接集成Tensorboard到Notebook代码中。(12)需支持端口映射:支持端口映射,用户可通过IP/可对外访问的端口访问Notebook。SDK开发套件需支持训练任务提交(包括MPIjob,Sparkjob和TFjob),数据集挂载,数据源读写,模型仓库注册等功能,支持分布式训练框架,包括PS-Worker、DDP、Horovod。任务式建模(1)需支持创建任务:支持通过控制台界面、SDK开发套件提交训练任务;支持通过算法模版、自定义镜像、直接上传代码包方式构建任务;支持按训练代码包/平台内置的大模型训练运行镜像启动大模型精调训练;支持添加多个数据集、添加超参数、添加预训练模型;支持单机多卡和多机多卡任务配置;训练任务支持按“高优”和“低优”区分优先级,支持对“等待中”和“运行中”状态的任务进行优先级调整。(2)需支持Tensorboard监控任务:支持创建任务时启用tensorboard可视化监控;支持tensorboard可视化监控任务的启动、停止、查看监控面板。(3)需支持任务管理:支持任务的启动、停止、重启、暂停,断点续跑,复制,删除;支持checkpoint启动轻量体验和客观评测;需支持查看任务详情;需支持任务指标上报和指标监控;需支持训练日志和事件查看;需支持训练任务资源监控;需支持基于上报的训练指标为任务设置停止条件;需支持查看tensorboard监控页面。4模型管理模型仓库(1)需支持模型导入:支持从训练任务导入到模型仓库;支持外部导入模型仓库;支持可视化建模导入的模型启动离线批量预测。(2)需支持模型共享:支持模型在项目间的共享。模型优化(1)需支持新建优化任务:支持通过新建优化任务进行模型的推理加速,支持TorchScript、MMDetection、Detectron2三种格式的单个模型文件的优化;支持从任务式建模导入、从本地上传、从项目导入;支持无损和FP16两种加速方式。(2)需支持管理优化任务:支持对优化任务进行管理操作,包括"停止"、"保存到模型仓库"、"重新加速"、"删除"。(3)需支持查看优化任务:支持查看优化任务的具体情况,包括填写的优化任务信息,任务生成的加速比报告。5模型部署在线服务在线服务需提供的功能包括新建服务、服务组管理、服务管理、服务更新、多版本管理、流量分配、接口管理、调用请求日志、创建接口、复杂类型管理、服务日志、服务监控、服务事件查看、容器登录、配置管理。6大模型精调大模型精调需支持一键精调大模型:具备对Epoch、BatchSize、LearningRate、Step、MaxSequenceLength参数进行修改;需支持查看训练过程中的loss曲线、验证集的客观指标评估(困惑度、ROUGE值);需支持输出模型训练中间结果的checkpoint。大模型推理需支持一键部署大模型:支持一键部署内置模型发布服务;支持以前端页面的问答形式体验模型效果。7管理中心/管理中心需支持镜像仓库、业务管理、个人中心、角色管理、用户管理、运维管理、审计日志、审批管理、License管理功能。1.3知识增强服务知识增强服务需提供的功能包括应用管理、知识库问答应用运营、欢迎状态、应用信息、答案形式、调用量统计API调用。知识增强服务需提供40QPS的能力。具体功能模块要求如下:序号功能模块功能项技术要求1应用管理/(1)需支持一个账号支持多个应用。(2)需支持增删改应用;支持发布应用;支持管理应用列表。2知识库问答应用运营应用基础设置(1)需支持编辑应用名称、应用图标。(2)需支持角色描述:需支持机器人基于“角色描述”中的人物介绍给出回答。欢迎语需支持欢迎语编辑、对话的开场白内容编辑。知识库来源(1)需支持勾选是否使用文档库中的文档、FAQ进行检索、问答。(2)需支持应用基于平台配置的任务流程进行问答。知识库来源配置(1)需支持知识库来源勾选,可配置是否使用文档、问答、任务流程作为知识来源。(2)需支持文档、问答数最大召回设定:知识库问答采用检索增强生成框架,可设定文档结果默认匹配的数量,可设定问答结果默认匹配的数量。模型配置(1)需支持模型选择:支持选择平台上的模型。(2)需支持上下文改写;仅修改指代型问题,如果出现主语省略,会将主语替换补全之后做召回;如果出现指代不清等情况,会将主语替换补全之后做召回。(3)需支持上下轮记忆;对于已输入内容的上下文进行记忆,能够承接上文回答问题。输出配置(1)需支持输出方式设置:选择答案通过流式形式或非流式形式输出。(2)需支持设置自定义问题回复语:关闭情况下,若文档库、问答库及搜索引擎中暂未提供相关知识,知识库应用将使用通用模型能力作答。开启状态下,若当前文档库、问答库及搜索引擎中暂未提供相关知识,知识库应用将使用未知问题回复语作答。文档库(1)需支持文档导入:支持pdf\docx\doc\pptx\ppt\形式知识文档导入上传(不超过100MB);支持xlsx\xls\md\txt形式知识文档导入上传(不超过20MB);支持带文字的png\jpg\jpeg图片导入上传(不超过50MB)。(2)需支持导入部门对外官网、支持文档适用范围设置、支持外部引用链接展示(知识库文档或部门对外官网网页)、支持文档列表管理、支持文档到期时间设置。问答库问答库需支持录入问答、文档生成问答、问答校验、冲突问答校验、问答溯源、问答列表管理、适用范围设置、问答导出和问答到期时间设置。任务流程任务流程支持手动录入任务流程;在列表中查看任务名称、修改时间、添加时间、任务状态;支持对任务流程创建分类、批量移动、删除;画布保存和保存到测试环境,画布逻辑的基础校验。知识标签知识标签支持新建属性标签、标签列表管理、检索和用户传参功能。单条验证(1)需支持单条验证:支持修改配置后输入会话验证展示效果;支持修改配置后输入会话验证应用回复语。(2)需支持文档问答:支持上传文档进行实时摘要,单个文档不超过15MB、单个文档不超过1000页;支持上传文档进行问答对话,单个文档不超过15MB、单个文档不超过1000页。(3)需支持文本问答:支持输入文本问题进行问答。批量验证需支持批量验证:支持批量导入样本集验证问答效果。标注(1)需支持结果标注:支持对批量测试的结果进行标注;标注完成后可查看当前样本集的准确率。(2)需支持标注结果导出:支持批量导出标注好的样本集。待发布需支持待发布:支持查看上次发布后修改的配置项,包括知识库变更;查看上次发布后修改的配置项,包括配置变更等。发布上线需支持将处于待发布的文档、问答、拒答问题进行发布,发布后支持调用API问答/支持web端问答,等待时间为分钟级。发布历史需支持发布管理,支持查看历史版本更新记录。调用信息需支持发布后通过链接体验应用效果;支持发布后通过二维码/API形式体验应用效果。拒答干预需支持拒答问题发布上线后,模型判断和拒答问题相似语义类的问题将拒绝回答,并直接提供兜底回复语。3欢迎状态/聊天界面需支持主动致以欢迎语。4应用信息/需支持显示应用名称、支持显示图标;支持上传文档进行问答对话,单个文档大小限制15MB、单个文档最大支持1000页;支持纯文本形式问答。5答案形式/(1)答案形式需支持文本、图片、连接。(2)需支持赞/踩:当应用回复答案之后,用户可对应用回复进行点赞、点踩。点踩之后可选择“重新生成”,或者“反馈错误类型”。(3)需支持答案来源追溯:对于该答案的来源(来源于文档、网页地址)进行引用展示;支持点击跳转。6调用量统计/需支持查看模型的调用量统计数据。7API调用/需支持Embedding、多轮对话、文档解析的API调用。1.4数字人开发平台数字人开发平台需提供的功能包括数字人定制、数字人分身、声音克隆、数字人管理系统、数字人会话驱动、会话驱动指令并发、AI组件能力,其中要求播报数字人最大支持5QPS,交互数字人最大支持30QPS。播报数字人需提供文字输出5QPS的能力,交互数字人需提供文字输出30QPS的能力。具体功能模块要求如下:序号功能模块功能项技术要求1数字人定制/需具备数字人定制能力,包括原画设计、形象建模、材质和纹理制作、面部身体服装绑定、AI口型驱动绑定、引擎装配、资产适配、工程封装、渲染优化、形象上架能力。2数字人分身/需具备数字人分身能力,包括形象采集、画面检测优化、口型特征训练、面部合成优化、工程封装、形象上架。3声音克隆/需具备声音克隆能力,包括素材采集、特征模型训练、工程封装、音色上架。4数字人管理系统/需具备数字人形象管理、音色管理、数字人背景管理、动作配置、输出配置。(1)数字人背景管理中,需支持切换数字人的背景图片,对数字人的大小、位置进行调整。3D数字人还可以切换角度。横屏和竖屏分辨率均支持2K、1080p、720p,支持上传图片格式背景,并支持根据所选分辨率进行自适应裁剪,人物位置固定比例支持左中右,同时支持拖拽的方式上下左右调整&缩放人物大小,人物角度:-50度~+50度,调整颗粒度为10度。(2)对话管理中,需支持开启交互对话模式:支持开启交互对话模式,使得数字人在倾听等待状态时,手部动作没有明显的动作,效果更自然。(3)输出设置中,需支持视频格式:支持mp4和webm格式。5数字人会话驱动/需具备数字人会话驱动能力,包括会话驱动SDK、端渲染、支持驱动3D形象、端渲染模式优化。6会话驱动指令并发/需具备会话驱动指令并发能力,包括会话驱动指令的实时解析与执行、口型驱动的精准同步、动作与表情驱动的协调并发、SDK的集成与优化。7AI组件能力/提供语音增强服务,语音能力处理。2.1体系(成品软件采购部分)2.1模型内容安全风控系统构建一个高效、全面的模型内容安全风控系统,确保生成内容的合规性和安全性,模型内容安全风控系统需提供的功能包括内容风控服务、内容风控控制台。具体功能模块要求如下:序号功能模块功能项技术要求1内容风控服务/需具备原文引用检测引擎、规范表述检测引擎、人物信息检测引擎、易错字符检测引擎、敏感信息检测模型引擎、标点符号检测模型引擎、涉政有害敏感信息检测引擎、人物图像检测引擎、旗帜标识检测引擎、敏感图像检测引擎、接入服务。支持文本、图像、音频、视频等多模态内容的检测,识别违规、敏感或有害信息‌。采用先进的AI算法(如深

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论