大模型专题：大模型在华为云数字化运维的全面探索和实践

02大模型使能运维规划 04 04总结和规划 从单点，到复杂，再到自动化华为云AIOps发展之路-从单点，到复杂，再到•单场景智能运维，传统ML算 数据服务分析报表数据服务分析报表 聚焦高价值高门槛高人力场景，面向长期规划聚焦高门槛，高价值，高人力场景，拥抱大模型场景事件单处理流水线阶段事件受理事件分流事件解决案例总结场景事件单处理流水线阶段事件受理事件分流事件解决案例总结痛点级机会点案场景WR故障处理流水线阶段起会故障通报影响评估故障定界故障恢复恢复验证故障复盘痛点机会点警，监控指标，息荐况构建运维盘古助手，聚焦运维人效提升，打造智能运维大模型辅助运维子场景变更规范事件规范运维知识检索WR规范故障分析根因诊断大模型辅助运维子场景变更规范事件规范运维知识检索WR规范故障分析根因诊断故障处理预案推荐事件处理方案生成•定位：沉淀大模型使能运维标准方案，建设全面辅助问答交互能力，打多触点构建：构建运维助手多种触点模式，全面辅助运维场景，支持web，WeLink机器人和运维工具系统集成运维CopilotStack：构建运维Copilot能力集，实现端到端运维对话，意图理解，Agent和Tools建设，和运维大模型集成，实现运维大语言模型端到端构建；运维大小模型协同计算：小模型聚焦确定性量化分析，大模型注重内容理解和生成高质量运维知识语料中心：围绕运维知识数据收集，知识规范，知识管理和运维语料标注全面建设运维信息查询查监控指标查告警查资源查日志查事件查关系23运维“小”模型确定性量化23运维“小”模型确定性量化-4运维知识语料中心独立Web独立Web端WeLink机器人运维工具系统集成运维Skill故障根因推荐运维内容检索意图识故障报告生成运维Skill故障根因推荐运维内容检索意图识故障报告生成运维信息查询变更命令评估别运维信息查询Agent故障根因推运维信息查询Agent故障根因推荐AgentAgent故障报告生成Agent变更评估运维大小模型协同计算RAG运维提示应用运维的确定性围绕运维大模型4大难点，构建6大方案运维助手标注平台端运维助手标注平台端操作类回复操作类回复知识类回复模型作答结果 标准答案知识类回复模型作答结果路由分发中控解标注路由）标准术写知识完备度标注分发结果知识完备度标注分发结果任务匹配运维操作类服务任务匹配运维操作类服务知识增强检索知识增强检索知识检索标注标准问答对高频语料匹配知识检索前改写知识检索标注标准问答对高频语料匹配知识检索前改写搜索召回精排模型作答RAG搜索召回精排模型作答RAG模型作答标注模型作答标注模型管理模型训练模型部署模型管理模型训练模型部署知识管理知识完整度知识管理知识训练知识管理知识完整度知识管理知识训练标准问答对切量化片向语料管理料数据真真实应用阶段冷启动阶段语料少，如何获取真实问答语料段运维语料少运维语料数据配比和有效性证伪难真实语料意图标注分析真实语料意图标注分析答答符合预期运维语料生产过程增强运维语料数据集语料训练意识别图模型评估增强运维语料数据集语料训练意识别图模型评估数据集修正检索行为通过提示词模版生成语料关键点三：构建真实语料意图标注能力，持续进行运维语料的有效治理关键点二：采用大模型合成数据快速构建语料数据模拟问答原始语料数据集关键点一：围绕运维实际活动构建冷启动原始语料集，确保使用真实性和有效性效果：1个月完成运维领域10+运维语料数据集的建设，语料质量80%华为云运维领域涉及多种知识：流程规范知识，产品使用知识，内部案例关键点一：确定知识地图关键点二：明确知识Owner和知识责任人通用流程/规范/指导书知识关键点一：确定知识地图关键点二：明确知识Owner和知识责任人通用流程/规范/指导书知识知识责任人对知识投稿评审确认。事件通报规范事件管理流程WR运作规范应急预案管理案例库云服务事件解决方案案例库产品介绍文档云服务产品说明文档关键点三：统一知识管理和存储关键点三：统一知识管理和存储知识推荐知识搜索知识推荐知识搜索智能问答知识创建知识创建知识审核知识发布统计分析统计分析知识权限问题监控 关键点四：知识消费治理关键点四：知识消费治理用户原始问题用户原始问题标注知识管理产品文档运维流程规范故障预案知识解析 标注知识管理产品文档运维流程规范故障预案知识解析 倒排索引库资料索引问题通用改写搜索召回精排模型作答知识检索BadCase集知识覆盖率知识检索准确率【提效果】效果：围绕事件知识，运维流程规范知识和产品知识，达成知识完整度：90%，知识准确率：85+%确定性运维意图理解：多层路由，结合大小模运维助手覆盖20+意图类别，新增意图周级迭代运维助手覆盖20+意图类别，新增意图周级迭代效果：意图识别准确率事件知识问答Agent事件知识问答Agent故障处理故障处理Agent默认默认Agent层知识问答纠偏意图识别层运维通用意图识别层查询告警查询指标语{查询变更语查询拓扑知识问答运维skill问答 运维私域知识检索 相似意图精确匹配 模糊意图分类模型知识问答纠偏意图识别层运维通用意图识别层查询告警查询指标语{查询变更语查询拓扑知识问答运维skill问答 运维私域知识检索 相似意图精确匹配 模糊意图分类模型意图改写公域知识检索基于提示词参数提取槽位提取模块基于算法提取通用embedding意图相似匹配分类提示词工程-知识问答or操作判断提示词工程-知识问答or操作判断关键点三：构建意图纠偏层，结合BadCase实现小概率错意图纠偏层意图纠偏层从从65%提升至80%+能力执行层盘古大模型作答查询告警查询变更单查询监控指标查询交换机设备全栈拓扑提升关键点一：结合提示词工程实现问题标准化和分类改写，明确检索意图提升关键点一：结合提示词工程实现问题标准化和分类改写，明确检索意图用户问答事件咨询问题标准化用户问答事件咨询问题标准化故障咨询类信息咨询类协助操作类RAG故障咨询类故障咨询类信息咨询类协助操作类RAG故障咨询类RAG信息查询类信息查询类RAG协助操作类协助操作类意图缺失，影响知识检索的意图缺失，影响知识检索的回答存在幻觉问题产品文档知识解析精排模型作答精排模型作答搜索召回搜索召回关键词搜索关键词搜索知识管理知识管理运维流程运维流程倒排索引库倒排索引库故障预案例•原始事件单信息云主机被释放了，但是没有通知，不应该是现在被释放？云主机被释放了，但是没有通知，不应该是现在被释放？•大模型可能理解的意图如何预防云主机被意外如何预防云主机被意外云主机释放之后，如果快速恢复服务?云主机释放之后，如果快速恢复服务?云主机被释放没有通知原因是什么?•意图改写后结果大模型生成结果大模型生成结果为什么云主机被释放?效果：问题理解准确率：50%+提升至80%+，AI答准率：30%+提升至70%+基于确定性编排构建大小模型协同的故障分析方案面临的问题：故障诊断涉及多种监控数据查询，异常检测，根因聚类定界，故障报告总结等多个环节，传统大模型难以构建复杂推理决策能力端解决运维复杂任步骤处理列表：【查告警】：告警ID【诊断模型路由】：数据库【数据库诊断】：告警ID【根因问题改写】：可疑根因关键点一：借助COT，结合故障案例，确定故障分析步骤…关键点二：结合编排框架，实现执行链的确定性编关键点二：结合编排框架，实现执行链的确定性编查告警诊断路由查变更查指标查日志查告警Q故障预案RAG检索缩算法法法荐拓扑根因根因定位运维助手使用频次低，用户习惯难以改变效果：运维使用人群整体覆盖率达成30%，整体运维人效提升20%+工作群：智能答疑机器人工作群：智能答疑机器人@运维助手：查询变更列表改变交互行为，提高运维生产力运维助手运维工具界面运维助手运维工具界面运维助手运维助手运维工具界面流程集成运维工具界面大模型大模型荐结合人机协同，基于LLM和AIAgent构建运维数字助理驱动运维智能•大模型使能运维重点围绕提升运维生产力为主：选择高门槛，高人力，高价值点场景•大模型加速智能运维快速走向下一个阶段，运维助手将改变运维的交互模式，从而真实实现从自动化运维走向无人化•大模型只是一个算法手段，降低模型应用的复杂度，但面向运维场景应用需要构建从知识语料>运维大小模型算法调优>编排框架>CopilotStack>产品集成应用>数据化运营端到端构建•业务演进：运维大模型使能三阶段，辅助运维-》运维工作流集成-》运维数字助理•算法架构：运维大小模型协同将是未来运维算法架构的常态•未来技术：从自动化运维走向无人化运维，核心需要实现人机协同技术和AIAgent技术的集3云超系统运维孪生数据底座3云超系统运维孪生数据底座故障处理事件处理变更处理日常运营分析决策智能算法人工决策+智能体（人+机）站点风控规则运维决策编排运维决策计算运维统一数据接入变更评估规则故障诊断规则大小模型协同计算检测算法变更异常检测算法指标异常检测算法指标趋势预测算法人工决策+智能体（人+机）站点风控规则运维决策编排运维决策计算运维统一数据接入变更评估规则故障诊断规则大小模型协同计算检测算法变更异常检测算法指标异常检测算法指标趋势预测算法根因分析算法运维专业领域小模型运维决策运维决策Agent运维信息查询Agent故障处理Agent变更Agent事件Agent运维知识Agent事件大模型运维知识数据 事件大模型运维知识数据 运维语料数据华为云行业大模型华为云盘古大模型运维孪生数据统一建模统一建模运维实时数据