中国移动研究院岳烈骧在6GANA第六届全体会议上的演讲：网络运维大模型白皮书

网络运维大模型白皮书本白皮书旨在深入探讨网络运维大模型领域的最新技 1网络运维发展现状 2网络运维演进面临的挑战和机遇 1网络运维发展现状 2网络运维演进面临的挑战和机遇利用现有大语言模型运维评测得分GPT-3.5-turbo74.1953XVERSE-13B62.8086Chinese-Alpaca-2-58.7687Llama2-13B-Chat58.1900Baichuan-13B-Chat56.8342InternLM-7B-Chat55.2634Chinese-LLaMa-2-54.4312ChatGLM2-6B48.3025Qwen-7B43.052概念，相关要求1，面向网络运维场景，利用人工智能大模型作为基座底座，通过flash-attention、ZeRO、混合精度等技术实现高效训练网络知识，叠加多模态的运维知识图谱和混合专家模型，构建运维通用的大模型增强：私域知识：提示工程外挂知识图谱增强：私域知识：提示工程外挂知识图谱私域数据(实时、历史)私域运维工具运维大语言模型引经据典运维知识图谱·混合专家模型·多模态运维数据基础模型群基础模型编程框架为垂直域数据相对不公开，算力和语料有一定限制，因此可以集中力量做好通用域基础上，再叠加垂直域方面做一些增强化的工作。模型要求：除自然语言之外，网络运维中的各种监控数据是多模态的，涉及到典型的、多模态的数据源，需要多模态运维数据的基础模型群。接口要求：运维大模型中还包含已有的自动化的运维工具，接口尽量标准化，能够清楚地描述出API，如用自然语言描述出来的需求能够直接转换成对接口的调用，变成SQL，配置命令，API的调用，通过基础模型的编程框架（LangChain,ApiChain等）编排在一起。需求，场景，价值 1愿景，需求大模型技术不仅在自然语言处理、计算机视觉以及多模态领域有广泛的应用前景，通信网络中大模型技术能力和潜力，促进通信网络自智能力持续提升。基于大模型技术有望实现网络运维领域的通用智能，面向客户、运维人员、网络设备等全要素、全场景，提供全新的用户交互、信息组织和系统集成模式，促使运维模式从“网络+AI”向“AI+网络”转变。 核心网：智能业务质量定义与分配、切片状态分析、 3价值降低数据标注要求通用性，跨场景能力逻辑，理解能力4发展与实践：大模型时代的网络运维意图驱动的对话式交互：基于全网全量知识、数据、事件的分析和决策：自适应的全量设备对接操作：极简运维现场作业：等级等级特点提供交互式的运维知识和数据的智能问答，理解自然语言问题，实现SQL生成式数据拉取，改变现有知识和信息的分发获取模式。能够基于数据语义，认知网络运行状态，进行诊断和预测，提供临场的多模态交互服务。运维专家：实时洞察单专业网络运行全景信息，自动生成网络配置方案和指令，自主对接设备完成操作，减少人工干预。智能处理全网运维事件，实现跨专业的业务端到端保障优化，实现知识创新，引领网络运维自主演进。5发展与实践：大模型时代的网络运维1，大模型+运维应用知识由于涉及到“规、建、维、优、营”各个方面，很难训练一个对所有任务都万能的统一大模型，因此一个相对通用的大模型，然后通过外挂知识库的方式，可能是一个经济有效的落地应用解决方案。2，基于Agent以LLM为能力底座的AIAgent架构，以网络运维大模型为基础，结合AI-Agent的概念，给出承载网络运维大模型的应用架构，通过对多场景运维大模型的协同使用，实现网络智能化运维6发展与实践：网络运维大模型评测，评估网络领域对确定性，可靠性，正确性高度要求，通过对性能的评测，进化和改进提供依据，提高其应用效果和商业价值。还可以作为基准，了解不同厂商提供的的性能和适用性，促进不同领域研究者的技术交流和合作，共同推动网络人工智能技术的发展。网络运维大模型关注网络运维领域的服务能力，需要建立网络领域大模型能力评测数据集、评测任务场景、评测效果指标、评测方法，整体评估大模型在网络运维领域的各项服务能力。2，分阶段评估运维大模型应用在网络中，缺乏有效的评估可能导致模型在实际应用中出现问题，增加应用的风险。从试点应用到扩大应用，最后全面应用阶段，可能给网络系统带来风险递增，需要在三阶段建立相应递增的严格的评估机制，保证准确性、计算效率、安全性等。1234567相关的关键技术，难题1234567外挂知识库：为解决知识更新快，模型增量训练成本高，以及隐私知识等问题，可以通过外挂知识库如常用的向量数据库借助文本向量化技术（如sentence-BERT）提升知识问答准确性，并实现隐私保护。思维链ChainofThought:网络运维中的不少任务都需要模型具备逻辑推理的8 89相关应用探索9网络故障识别与预测网络故障识别与预测基于运维大模型对大量历史数据的学习来预测未来趋势，为主动性预测运维提供支撑。大模型赋能意图驱动运维大模型赋能意图驱动运维大模型在意图理解、推理和判断决策等方面具备明显的优势，将大模型与意图驱动网络相结合，能够有效提升意图转译准确度，简化意图管理与网络运维流程。无线闭环优化无线闭环优化基于网络语言大模型和网络结构化数据大模型，完成无线性能优化的端到端闭环处理，涵盖无线性能劣化发现、分析、定位和处理，服务网络自配置、自修复和自优化基站站址规划基站站址规划大模型在意图理解、推理和判断决策等方面具备明显的优势，将大模型与意图驱动网络相结合，能够有效提升意图转译准确度，简化意图管理与网络运维流程。告警检测与根因诊断告警检测与根因诊断大模型学习历史工单信息给出故障定位、故障止损建议和相似故障提示，提供与历史故障的相似性比较以及当时的止损方法运维专家知识的问答大模型提高知识利用效率，知识运用贴近场景化，知识更新反馈流程化。经验启示ü高质量数据集以及数据规模是基础。堆砌大量的数据进行训练，找出其中的共性。模型的参数量太小会制约性能，并不是越大越好，增加数据量并保持一个平衡效果和使用成本的。ü微调数据多样性可防止模型学偏。ü通过知识检索增强可一定程度避免幻觉。训练数据有偏见或训练数据不足、训练数据过度拟合、上下文理解有限、领域知识缺乏、对抗攻击和模型架构等都会幻觉可以用KG增强大模型，增加可靠性。用Retrieval-AugmentedGeneratio：引经据典，增强可解释性，生成的内容打上reference，展示出来源，白盒的生成模型。计划安排，展望后续，2023.122024.1~22024.3•讨论，迭代总结并呼吁开展更有实质性的工作，包括工，可以把共性，