2024年AI大模型应用实训室建设项目需求

2024年AI大模型应用实训室建设项目需求1、清单及参数要求序号产品名称详细规格型号/技术要求单位数量1大型语言模型（LLM）1.支持联网搜索能力，支持超长文本理解与处理能力，上下文长度4K及以上。2.大型语言模型支持以WebAPI和SDK的方式对外提供服务。3.大型语言模型参数规模为13B及以上。4.大型语言模型至少包含一个通用大模型，支持In-contextlearning、Fine-tuning、ContinuePretraining、RAG等技术。5.大型语言模型私有化部署并终验后，可提供两年免费质保和升级服务，质保期内每年可免费升级一次。质保期结束后，可按需购买运维升级服务，质保期结束后每年的运维升级服务费为产品采购金额的15%。6.支持多语种问答，至少包含中文和英文两种。7.提供的13B及以上大型语言模型要求具备内容生成、语言理解、知识问答、逻辑推理、数学计算、编程能力。8.提供的13B及以上大型语言模型要求具备数据安全技术能力：具备敏感话题、排斥成见、非法竞争、权益侵害、隐私安全、恶意抨击、违法违纪、人身伤害、心理危害、正向价值观等敏感词检测输入和输出能力。9.提供大型语言模型的部署说明和操作视频。10.平台支持用户通过上传文档或绑定数据源等非代码编写方式实现知识库创建、长文本数据处理与嵌入。11.提供的大型语言模型须结合智能体平台，用于快速构建基于大型语言模型的智能体示范应用，以支撑后期与学校共同研发适用校园应用场景的智能体。12.大型语言模型须为私有化本地部署。套12智能体平台（应用开发平台）1.平台支持通过可视化流程控制工具搭建智能体。提供可视化流程控制工具，允许开发者通过拖拽组件、工具、设置参数等方式快速构建复杂的对话或任务流程。设计友好的用户界面和操作流程，降低技术门槛，使非技术背景的用户也能参与到AI应用的开发中。提供丰富的模板和示例，帮助用户快速上手。2.平台除了支持调用本期项目配置的13B及以上认知大模型外，还可支持在后期项目中引入其他类型大模型（如代码大模型、文生图大模型、OCR大模型等）、第三方大模型（如Llama、Qwen、百度文心等），支持用户根据所需选择不同的大模型。3.支持多种节点类型，如问答、选择、表单填写等，以及自定义逻辑判断。4.支持通过大模型应用的搭建，实现多智能体之间的协作和通信。5.提供组件开发与集成功能，平台提供可视化组件创建服务，支持用户通过可视化方式（非代码编写方式）创建自定义组件。6.提供丰富的内置组件和工具，涵盖文本处理、语音识别、数据处理等多个领域。7.实现与LLM的高效交互，包括请求发送、响应接收和解析等。8.内置知识库管理模块。支持知识库上传、采编、入库和管理，用于支持智能体的智能问答和任务链信息调用，知识库要求支持Word、PDF、txt文本、Excel表格、html、jpg、png等多种数据来源，支持.zip、.7z格式的压缩包数据来源。9.知识库的导入应具备内容智能自动切片、自动向量化的操作，并提供单个文档维度的历史问答过程中的命中次数统计。10.平台应提供提示词智能优化功能，即根据用户提供的简要的要求，产生符合智能体创建格式的提示词，供用户多次优化使用。并且为用户提供开场白和3条候选问题建议。11.智能体平台（应用开发平台）须为私有化本地部署，需提供详细的使用文档和开发者支持。12.支持知识库管理功能，支持零编码实现非结构化文档知识采编、可支持对采编后知识片段调整；支持doc、docx、pdf、txt、md、xlsx等文档格式，支持批量上传，支持文档智能分割、按目录切分、自定义切分等切分方式支持文档在线验证问答。13.大模型应用管理：支持用户通过使用appid和appsecretkey的形式进行鉴权调用，并实现访问控制。如QPS、并发路数、授权截止时间、调用量等维度。

14.任务助手：提供基于系统预置组件，设计任务助手，通过任务链方式完成一个任务助手的低代码开发，可支持用户选择体验，验证流程是否正常，输出结果是否符合预期；支持任务助手分享，开发者定义的任务流助手，可以发布待管理员审核通过后，即可分享给助手中心，供平台用户共享体验。

15.智能采编：采编支持按目录拆分（指定目录类型），采编结果支持智能目录识别；采编结果支持源文件概览，采编结果可支持对采编后知识片段调整；可支持扫描版本pdf进行解析，可支持对图片类的数据进行解析；可支持基于语义引擎对文档知识进行切片，保障语义片段的完整性。

.知识问答：问答方案综合向量、ES、FAQ等多技术方案结果，总结输出。套13学习助理智能体智能体应用是以大模型为基础结合程序开发语言而构建的一系列典型应用，对学生以大模型为基础进行的创新创业有着重要的示范作用，可适用于计算机相关专业和人工智能相关专业。学习助理智能体是一个人工智能驱动的大模型应用，旨在为学生提供即时的学习支持和建议。系统利用大语言模型的能力，帮助学生解决学习中遇到的难题，包括编程挑战、概念理解、问题解决思路等。无论是代码问题还是理论知识，学习助理都能针对用户的提问提供对应应答反馈辅导。智能体能够同时使用本地知识库和大模型为师生服务，本地知识库素材由学院老师梳理、审核、确认后提供。1.支持以Web智能会话窗口为载体，呈现智能体应用。智能体应用支持场景化形式呈现，支持师生通过网页打开智能体行业应用，并通过网页操作，体验智能体应用场景。2.支持学生进入学习助理智能体，学生能够以对话问答的形式，将编程代码等问题提交给应用，应用通过调用大模型能力，予以解答，提供学习辅导；本期仅借助13B及以上通用认知大模型能力完成。3.支持召回文档资料、视频资源网址的方式，召回所需文档和视频资源。4.支持以问答的方式进行句子级和段落级解析，包括抽取词性元素、实体抽取、关系抽取、意图理解、问句解析、情感解析、归纳总结等。5.支持记忆历史问答记录，并基于历史数据进行多轮对话和反馈。6.支持知识图谱接口，并能够基于知识图谱以及内容回答用户问题。7.可支持切换选择不同的大模型（本地或云端）。8.提供该智能体助手的搭建方案和对应的技术文档。9.支持国产主流软硬件和X86平台。套14会议助手智能体智能体应用是以大模型为基础结合程序开发语言而构建的一系列典型应用，对学生以大模型为基础进行的创新创业有着重要的示范作用，可适用于计算机相关专业和人工智能相关专业。会议助手智能体是一个集成应用，专为简化会议记录和总结的工作流程而设计。利用该应用，用户可以将会议语音文件转录为文字，再通过大语言模型对文本内容进行优化处理，最终提取出关键信息形成会议小结。1.支持以Web智能会话窗口为载体，呈现智能体应用。智能体应用支持场景化形式呈现，支持师生通过网页打开智能体应用，并通过网页操作，体验智能体应用场景。2.支持学生进入会议助手智能体，通过上传会议录制音频文件，将音频文件中的内容转写成文字，通过调用大模型能力，进行会议内容优化处理及形成会议总结。3.可支持切换选择不同的大模型（本地或云端）。4.提供该智能体助手的搭建方案和对应的技术文档。5.支持国产主流软硬件和X86平台。套15AI聊天机器人智能体应用是以大模型为基础结合程序开发语言而构建的一系列典型应用，对学生以大模型为基础进行的创新创业有着重要的示范作用，可适用于计算机相关专业和人工智能相关专业。AI聊天机器人是一款基于大型语言模型和综合知识库构建的智能对话系统。它旨在提供快速、准确的问答服务，并根据用户的需求推荐相关资源。该机器人可以在特定的知识领域内与用户进行互动，解答疑问，提供信息，并支持结合用户的上下文查询历史和偏好推断给出针对性的内容推荐。1.支持以Web智能会话窗口为载体，呈现智能体应用。智能体应用支持场景化形式呈现，支持师生通过网页打开智能体应用，并通过网页操作，体验智能体应用场景。2.支持学生进入AI聊天机器人页面，能够通过问答形式进行解答和互动。AI聊天机器人支持按照不同的课程或资源创建知识库下的子目录，方便老师在专属知识库子目录的基础上进行信息的更新维护，以便长期支撑AI聊天机器人关于特定课程或资源的知识问询服务。3.用户可以通过文本的方式对系统进行提问，系统根据用户的提问，回答用户的问题。当用户提问内容在知识库范围内，能够根据知识库中的内容回答用户的问题，并能够根据用户的问题召回知识库中与之相匹配的文本片段资源。4.支持记忆历史问答记录，并支持基于上下文数据进行多轮对话和反馈。5.可支持切换选择不同的大模型（本地或云端）。6.提供该智能体助手的搭建方案和对应的技术文档。7.支持国产主流软硬件和X86平台。套16全维对话智能体智能体应用是以大模型为基础结合程序开发语言而构建的一系列典型应用，对学生以大模型为基础进行的创新创业有着重要的示范作用，可适用于计算机相关专业和人工智能相关专业。全维对话智能体是一款先进的AI沟通工具，专门设计用于理解和解析PDF、TXT、Word文档和Excel等多种格式的资源文件。通过自然语言处理（NLP）和机器学习技术，这个模块可以从提供的材料中提取信息，与提问者就材料内容进行深入对话。无论是探讨学术论文的主题，还是深挖特定问题的细节，全维对话智能体都能够提供具有深度的交流。1.支持以Web智能会话窗口为载体，呈现智能体应用。智能体应用支持场景化形式呈现，支持师生通过网页打开智能体应用，并通过网页操作，体验智能体应用场景。2.支持学生进入全维对话智能体，学生可以直接上传文件，智能体通过解析上传的文件，与学生通过问答的方式进行深入的解答互动。学生上传的文件格式至少包括：可编辑的PDF、WORD、TXT、Excel等。3.支持针对上传的文档采用大模型构建知识图谱，并支持全局问题以及局部问题的回答。4.支持记忆历史问答记录，并基于上下文数据进行多轮对话和反馈。5.可支持切换选择不同的大模型（本地或云端）。6.提供该智能体助手的搭建方案和对应的技术文档。7.支持国产主流软硬件和X86平台。套17算力资源统一管理系统需满足针对本次配置的大模型服务器等进行算力资源统一管理需求。1.支持算力和显存双维度切分。2.支持运行环境内动态调整资源申请。3.支持资源池内聚合GPUA40。4.支持资源调度指定GPUA40。5.支持任务资源的动态申请和释放。6.支持池化资源预留机制。7.支持任务资源利用率监控管理。8.支持全局资源的统计面板。9.支持任务等待资源队列及优先级机制。10.支持任务抢占资源调度模式。11.支持任务资源强制回收。12.支持磁盘阵列的接入。13.支持算力横向扩展，平台支持基于国产化算力硬件部署。套18应用服务器1.见后附：应用服务器配置表。台29大模型服务器1.见后附：大模型服务器配置表。台1附1.应用服务器配置表序号指标分类一级指标二级指标需求1产品规格*CPU规格*CPU信息≥Gold5318Y(主频2.1GHz，核数24C，165W）*2。2产品规格*主板规格*主板支持的CPU和内存情况支持2颗可扩展处理器，支持32个DDR4内存插槽3200MHzECCRDIMM/LRDIMM类型内存。3产品规格*主板内存槽数量支持32个DIMM插槽数量。4产品规格*主板存储接口支持SATA、SAS、M.2、U.2等。5产品规格*PCle插槽接口支持PCIe4.0插槽。6产品规格*主板PCle插槽数量及规格最大支持20个PCI-E4.0插槽-（支持一个OCP网卡，支持≥4个PCIe4.0全高全长扩展插槽，其中PCIeX16插槽8个）。7产品规格*内存规格*内存数量内存≥32G(DDR4)*4。8产品规格*内存规格支持32个DDR4内存插槽3200MHzECC。RDIMM/LRDIMM类型内存。9产品规格*内存通道持多个内存接口通道，每个通道可支持1DPC或2DPC，当支持2DPC时，印制电路板上应具备插槽的序号标识，32个内存接口通道。10产品规格*存储规格*硬磁盘实配容量配备硬磁盘，服务器提供的实配硬磁盘可用容量8T。11产品规格*硬盘实配数量配备硬磁盘。12产品规格*硬盘插槽数量及规格系统盘≥480GSSD*2。数据盘≥16T*2。13产品规格RAID卡规RAID卡支持的SAS支持SAS接口。14产品规格网络规格*网口速率和数量集成2个千兆自适应以太网口+1个专用远程管理接口。15产品规格*外部接口规格*显示接口支持VGA。16产品规格*USB接口4个USB接口。17产品规格*电源规格*电源模块数量配两个电源模块。18产品规格*电源功率800W(1+1)已含两个模块。19产品规格网卡4口千兆电口网卡ocp接口。20产品规格网卡2口万兆光口网卡PCIE3.0接口。附2.大模型服务器配置表序号指标分类一级指标二级指标需求1产品规格*CPU规格*CPU信息≥Gold5318Y(主频2.1GHz，核数24C，165W）*2。2产品规格*主板规格*主板支持的CPU和内存情况支持2颗可扩展处理器，支持32个DDR4内存插槽3200MHzECCRDIMM/LRDIMM类型内存。3产品规格*主板内存槽数量支持32个DIMM插槽数量。4产品规格*主板存储接口支持SATA、SAS、M.2、U.2等。5产品规格*PCle插槽接口支持PCIe4.0插槽。6产品规格*主板PCle插槽数量及规格最大支持20个PCI-E4.0插槽-（支持一个OCP网卡，支持≥4个PCIe4.0全高全长扩展插槽，其中PCIeX16插槽8个）。7产品规格*内存规格*内存数量内存≥32G(DDR4)*16。8产品规格*内存规格支持32个DDR4内存插槽3200MHzECCRDIMM/LRDIMM类型内存。9产品规格*内存通道持多个内存接口通道，每个通道可支持1DPC或2DPC，当支持2DPC时，印制电路板上应具备插槽的序号标识，32个内存接口通道。10产品规格*存储规格*硬磁盘实配容量配备硬磁盘，服务器提供的实配硬磁盘可用容量8T。11产品规格*硬盘实配数量配备硬磁盘。12产品规格*硬盘插槽数量及规格系统盘≥480GSSD*2。数据盘≥8T*6。13产品规格RAID卡规RAID卡支持的SAS支持SAS接口。14产品规格网络规格*网口速率和数量集成2个千兆自适应以太网口+