信息通信网运营管理智能化水平分级评估技术要求 移动通信网（第一阶段）

信息通信网运营管理智能化水平分级评估技术要求移动通信网(第一阶段)估移动通信网络管理与运营智能化水平的方法和技术要求。主要内容包括移动通信网络管理与运营智能化水平分级评估的总体方法和技术要求，以及分场景的评估方法和技术要求。本文件适用于移动通信网络管理与运营智能化水平分级定性和定量评估。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅所注本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。YDTXxxx-xxXX信息通信网运营管理智能化水平分级技术要求通用部分YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)YD/TXXXX-xxXX信息通信网运营管理智能化水平分级评估技术要求通用部分3术语和定义YD/TXxXX-XXXX信息通信网运营管理智能化水平分级技术要求通用部分和YDTXxXx-XXXX信息通信网运营管理智能化水平分级评估技术要求通用部分界定的术语和定义适用于本缩略语下列缩略语适用于本文件。KPIPNF物理PhysicalNetworkFunctionVirtualizedNetworkFunc5总体评估方法和评估模型移动通信网络管理与运营智能化水平分级评估(以下简称分级评估)适用于评估移动通信网络管理与运营工作流中的智能化水平。分级评估包括移动通信网络管理与运营智能移动通信网络管理与运营智能化水平分级评分5.1.2移动通信网络管理与运营智能化水平分级评级移动通信网运营管理智能化水平分级评级按YD/TXXXX-XXXX(信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段))要求，基于移动通信网运营管理流程中每个任务的人和移动通信系统的参与程度，提供了针对特定场景特定作用对法(即移动通信网运营管理智能化水平分级评级方法)。基于该评级方法可以获得移动通信网运营管理智能化水平分级(包括0级，1级。2级，3级，4级和5级)。2——任务C(数据采集),任务D(性能异常识别),任务F(性能问题定界)和任务G(性能问题根因分析)——任务J(优化方案执行》完全由R——任务A(监控规则和优化策略生成),任务B(网络/业务保障意图评估),任务E(性能劣化预测),任务H(优化方案生成)和任务1(优化方案评估和和确定)由人工完成。决□a““"图1某无线网络覆盖优化智能化水平评级示例5.1.3移动通信网络管理与运营智能化水平分级评分移动通信网络管理与运营智能化水平分级评分的引入是为了在同一智能化水平分级基础上，进一步区分智能化水平。基于智能化水平评分方法可以获得移动通信网运营管理智能化水平分级分数(分数取值为0-5之间的值)。移动通信网运营管理智能化水平分级分数是在移动通信网运营管理智能化水平分级(评级结果)的基础上，综合其他的评估因素对智能化水平进行细化评估。移动通信网络管理与运营智能化水平分级评分方法既可以用于单个特定场景单个评估对象进行分级评分，也可以针对多个场景多个评估对象进行分级评分，甚至针对全网级的运营管理智能化水平进行分级评5.1.4移动通信网络管理与运营智能化水平分级成效指标移动通信网络管理与运营智能化水平分级成效指标用于衡量移动通信系统引入智能化水平之后的效果。现有的网络KPI只能用于评估网络的性能，不能充分描述移动通信网络应用智能化管理与运营技术后取得的效果。引入成效指标之后，有助于运营商评估移动通信系统引入不同管理与运营智能化技术所带来的成果效益。成效指标可以作为移动通信网络管理与运营智能化水平分级评估的一个关键因素。移动通信网络管理与运营智能化水平分级成效指标的考虑因素参见附录A。5.2分级评估流程5.2.1评估流程概述移动通信网络管理与运营智能化水平分级评估流程使用YD/TXXXX-XXXX信息通信网运营管理智能化水平分级评估技术要求通用部分第5章规定的通用评估流程来指导实施。该评估流程应包括确定评估对象、工作流程和任务的映射、分级评估和等级计算、输出评估结论，其中分级评估和等级计算包括全局评估法和定级评分法两种。5.2.2确定评估对象3移动通信网络管理与运营智能化水平分级评估对象包括网络，业务和运营管理过程三个维度，如图2所示。针对移动通信网络具体示例如下：a)网络；可以按照网络的不同粒度进行划分，如无线接入网，核心网，端到端移动通信网，或3G网络，4G网络，5G网络等；b)运营管理过程：如移动通信网络规划、建设、维护、优化和运营等；c)业务：如语音业务(VoLTE/VoNR),视须等流媒体业务，行业专网切片业务(例如电力切片，港口切片，交通切片)和片，港口切片，交通切片)和XR等新兴业务等a业图2移动通信网络管理与运营智能化水平分级评估对象示例上述三个维度可用于确定移动通信网络管理与运营智能化水平分级的评估对象，进一步地，可针对评估对象在不同选定场景进行等级评估。针对移动通信网络管理与运营智能化水平分级评估对象的选定场景的划分维度见5.4节。5.2.3工作流程和任务映射对确定的评估对象进行工作流程和任务分解，并映射到YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)规定的标准工作流程和具体任务中5.2.4分级评估和等级计算5.2.4.1计算原则封顶就高原则在评估实践过程中，如果评估方对于特定任务的智能化能力期望目标低于YD/TXXXX-XXXX规定的L5级别对应的技术要求，则在评估过程中可采用封顶就高原则。即如果被评估对象的该特定任务的智能化能力已经达到期望目标(封顶),则将该任务的实际支持能力视同达到与该任务同类型工作流程中的所有任务的最高能力水平(就高)。5.2.4.2计算步骤5.2.4.2.1评级根据评估对象选定场景的各工作流程和任务的智能化能力实际支持情况，基于工作流程和任务映射结果，按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网 (第一阶段)规定的分级方法和技术要求，确定每个评估对象选定场景的运营管理智能化水平级别 45.2.4.2.2评分在评定的级别基础上，根据标准工作流程中具体任务实现的自动化和智能化水平进行评分。通过参与评分的任务确定、任务评分、任务权重设置，计算出每个评估对象选定场景的评分，最终聚合出评估对象在该级别上的具体评分5.2.5输出评估结论输出评估对象的评估结论报告，包括评级和评分结果，给出评估对象后续提升管理与运营智能化水平级别需要重点增强哪些工作流程、任务或选定场景所需的哪些智能化能力。确定评估对象选定场景的工作流程中每个任务人和移动通信系统的参与程度。每个任务人和移动通信系统的参与程度包括“人”,“人+系统”和“系统”。示例：某5G无线网络覆盖优化场景工作流程中每个任务人和移动通信系统的参与程度如表1所示：ABCDEFGHIJ人人人人人确定评估对象选定场景的运营管理智能化水平级别(L0-L5)。根据评估对象选定场景的工作流程中每个任务人和移动通信系统的参与程度，按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)规定的分级方法和技术要求，确定评估对象选定场景的运营管理智能化水平级别(L0-L5)。示例；中任务C,D,E,H和1不满足3技术要求，所以该5G无线网络覆盖优ABCDEFGH1J√√√XXXXX评估对象选定场景的运营管理智能化水平级别为所有任务均能够满足智能化等级分级技术要求的最高等级。同时，评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件。如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。5YD/T202×—xxxx5.3.2.1评估对象选定场景评分评估对象选定场景评分过程需要符合如下顺序。a)任务评分1)确定参与评分的任务：包括人和系统共同完成的任务(如图1中浅绿色块)、智能化水平级别提升新增要求人和系统共同完成的任务(级别提升要求色块由白转浅绿色，如图1中的1级到2级中的任务D,2级到3级中的任务E)。其中系统完成的任务 (如图1中深绿色块)不参与评分，级别提升不要求有系统参与的任务(如图1中1级到2级的任务E,2级到3级中的任务A白色块)可定制。参评任务记为；2)对参评任务进行评分：任务可以拆分为一个或多个子任务(或者观测点),评分基于任务实现过程中相关人员和移动通信系统的参与程度和关键成效指标，同该任务所采用的技术特征。通过对所有子任务(观测点)的评估汇总得务评分取值(0,1),保留两位小数。参评任务Task,Task₂,..,Task,对应的评分记为3)设置参评任务权重：权重之和为1。任务的权重可以调整，如可考虑任务实现的难度以及成本等。参评任务Taskj,Task₂...,Task,对应的权重记为：W₁,W2...,Wn,b)计算评估对象选定场景级别内评分：待评估对象选定场景下所有参与评分的任务得分*权重计算汇总得到级别内评分，即2.Sk*Wk。结果四舍五入，取一位小数，结果如果大于0.9,则取0.9。c)汇总评估对象选定场景总分：评估对象选定场景总分=智能化等级+级别内评分ABCDEF0HJCDEFGH/S5SSsS/WMWABCDEF0HIJ/CDEFGHI///65.3.2.2评估对象评分评估对象评分由单个选定场景的评分聚合而成，可以使用加权平均法来聚合，也可以使用其他方法来聚合。如表5所示，以加权平均法为例：表5使用加权平均法计算评估对象的等级结果N假设评估对象为无线网络覆盖优化，选定场景为5G无线网络覆盖优化场景和4G盖优化场景。表6无线网络覆盖优化评估对象的评分结果示例5.4移动通信网络管理与运营选定场景划分维度5.4.1移动通信网络管理与运营通用场景划分维度以下为移动通信网络管理与运营通用场景划分维度，适用于无线接入网和核心网。包括网络制式：如2G,3G,4G,5G等，以及可能的组合(比如4/5G基站协同节能).5.4.2无线接入网管理与运营特有场景划分维度以下为无线接入网管理与运营特有场景划分维度，仅适用于无线接入网。包括：——无线性能包括覆盖，容量，速率，能耗和时延等，以及任意的组合(比如无线覆盖-—无线网络环境：包括室内，室外-城区，室外-农村，室外高铁等以及任意的组合(比-—网络类型：包括新建，扩容和改造等以及任意的组合；——无线网络频段：包括某一个特定频段或者多个频段，比如700M速率优化等。综合以上移动通信网络管理与运营通用场景划分维度和无线接入网管理与运营特有场景划分维度，以下为无线接入网管理域运营的场景举例：——无线网络规划环节场景举例：4G室外覆盖规划，5G速率规划，5G电力切片规划等——无线网络部署环节场景举例：5G新建，4G扩容等：——无线网络维护环节场景举例4G无线网络设备故障管理，5G无线网络性能故障管理等7YD/T202×—xxxx——无线网络优化环节场景举例：4G覆盖速率性能优化，5G覆盖速率性能优化，5G网络节能等。5.4.3运营商行业专网运营智能化移动核心网管理与运营特有场景划分维度以下为核心网管理与运营特有场景划分维度，仅适用于核心网。包括：——核心网形态：包括VNF,PNF——核心网网络性能：包括用户数，会话数，用户面数据吞吐量和时延等以及任意的组合(比如核心网用户面数据吞吐量和时延优化): 综合以上移动通信网络管理与运营通用场景划分维度和核心网管理与运营特有场景划分维度，以下为核心网管理域运营的场景举例：——核心网网络部署环节场景举例；5G虚拟化网元新建/扩容，5GUPF一体机(物理机)新建等；——核心网网络维护环节场景举例：5G核心网网络设备故障管理，5G核心网容灾倒换管理——核心网网络优化环节场景举例：5G核心网容量优化，5G核心网流量优化等6分运营管理过程的评估方法和评估模型从网络规划、建设、维护、优化、运营五方面介绍移动通信网络管理与运营智能化分级量化评估典型过程、评估方法和评估模型。6.2网络规划智能化——无线网络覆盖规划无线网络覆盖规划的功能需求描述见YD/TXXXX-XXXX信息通信网运营管理智能化水平分成型确立成日无线覆确定持基于人工指定的意策略实现无线覆盖规划目标和策略生成白据人工设置规则自动完成所有覆盖规划相关数据采集，如配置和性能求和目播模型策略自估测分析，自动生成案8评估方法需要符合下列步骤。评估对象除了网络、业务和运营管理过程这三个维度外，还可以针对具体场景定义评估对象本用例涉及的评估对象及其选定场景可包括5G无线网络覆盖规划，4G无线网络覆盖规划等步骤2:工作流程与任务映射对照无线网络覆盖规划运营管理智能化水平分级的标准任务定义映射，可以得到每个任务的分级标准要求，具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.2.3节中无线网络覆盖规划智能化水平分级技术要求。评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人和系统参与情况与成效指标基线的达成情况，记录系统的智能化能力。ABCDEFGH1统人统统统对象每个运营管理任务的智能化水平，满足等级要求记为√,不满足等级要求记为×。如表9所示，可以看到意图管理流程中任务B,分析流程中F和G以及决策流程中任务H不满足L4无线网络集模应盖规划方案输出√XXX×XXXXX评分在评级的基础上，考虑其他评估因素(如成效指标)和评级结果进行细化评估。某RAN域5G网络管理系统的无线网络覆盖规划评分如表10所示，分级技术要求在L3和L4之间有变9YD/T202×—xxxxABCDEFGHIABFGH0//////0.8和0.2,则评估对象的加权平均如表11所示表11加权平均法计算某RAN域网络管理系统无线网络站点开通评分结果无线网络覆盖规划的运营管理智能化等级结果为3.5,其中5G场景网络管6.2.3成效指标示例从体现管理与运营效率增长效果的角度给出以下示例：a)无线网络覆盖规划方家输出时长缩减比例定义：指引入智能化无线网络覆盖规划系统后，无线网络覆盖规划方案输出缩减时长占未采用智能化无线覆盖规划系统方案输出时长的比例。计算公式：(引入智能化规划管理系统之前规划方案输出所需时长-引入智能化规划管理系统之后规划方案输出所需时长)/引入智能化规划管理系统之前规划方案输出所需时长*100%b)无线网络覆盖规划输出方案实际采用比例定义：指引入智能化无线网络覆盖规划系统后，实际采用的无线覆盖规划方案占总的无线覆盖规划方案总和的比例。计算公式(引入智能化规划管理系统之后实际采用的无线覆盖规划方案/总的无线覆盖规划方案总和)*100%6.3网络建设智能化——无线网络站点开通6.3.1用例描述无线网络站点开通用例，指开通工程师在针对新入网站点，在网管创建相关的站点开通任务网管将版本和数据下发到基站，基站完成版本下载、校验、激活流程，然后完成基站的告警、网优数据等分析，直到站点运行正常。无线网络站点开通智能化的功能需求描述见YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)。为某RAN域5G网络管理系统的无线网络成估据人工预先指定数及设备配置规则，自动化生成网元创建参数、版本包信息、站点配的策略。自的规则自务6.3.2评估方法评估方法需要符合下列步骤。步骤1:确定评估对象评估对象除了网络、业务和运营管理过程这三个维度外，还可以针对具体场景定义评估对象，本用例涉及的评估对象及其选定场景可包括5G无线网络站点开通，4G无线网络站点开通等。步骤2:工作流程与任务映射对照无线网络站点开通运营管理智能化水平分级的标准任务定义映射，可以得到每个任务的分级标准要求，具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.3.3节中无线网络站点开通智能化水平分级技术要求步骤3:评级和评分评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人和系统参与情况与成效指标基线的达成情况，记录系统的智能化能力。表13某RAN域50无线网络站点开通智能化场景工作流程中每个任务人和系统的参ABCDEFGH人人人成√XXXXXXXXXX√XABCDEFGHCDEFG/10/步服4:输出评估结论。6.3.3成效指标示例从体现管理与运营效率增长效果的角度给出以下示例：a)无线站点开通自动化比例定义：指引入智能化无线站点开通管理系统后，无线站点自动化开通数量占无线站点开通总数量的比例。计算公式：无线站点自动化开通数量/无线站点开通总数量*100%b)无线站点开通时长缩减比例定义指引入智能化无线站点开通管理系统后，完成一次站点开通流程所需时长的缩减量占未采用智能化开通管理系统时完成一次开通流程所需时长的比例。计算公式：(引入智能化开通管理系统之前无线开站所需时长-引入智能化开通管理系统之后无线开站所需时长)/引入智能化开通管理系统之前无线开站所需时长*100%6.4网络维护智能化——故障管理6.4.1用例描述网络维护故障管理智能化的功能需求描述见YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)。译估测界析持所有配置等数据采集类任务自动化系统自动分析过滤无等系统自设备故障在骑域场景定界到具体的技术域，对于单城场景定界到咯，自方案及作持基于人工指定的策略实现故障恢复方案分析自基于人工指定的策评估各恢复方案的可行性井预测恢复效果，生复方案建白动白动6.4.2评估方法YD/T202×—xxxx评估方法需要符合下列步骤步骤1:确定评估对象评估对象除了网络、业务和运营管理过程这三个维度外，还可以定义场景维度，如无线网络设备故障管理，无线网络KPI故障管理等，不同场最的评分结果进行加权计算。步腹2:工作流程与任务映射对照故障管理运营管理智能化水平分级的标准任务定义映射，可以得到每个任务的分级标准要求。具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.4.3节中故障管理智能化水平分级技术要求。评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人和系统参与情况与成效指标基线的达成情况，记录系统的智能化能力。按照无线故障管理分级技术要求，评估单个选定场景下(如设备故障管理)评估对象每个运营管理任务的智能化水平，满足等级要求记为√,不满足等级要求记为×.译估√√√√X√XX评分在评级的基础上，考虑其他评估因素(如成效指标)和评级结果进行细化评估。ABCDEFGHIJK/cDEFGHJ//表21加权平均法计算某RAN域网络管理系统无线故障管理评分结果6.4.3成效指标示例从体现管理与运营效率增长效果的角度给出以下示例：a)故障自动识别准确率定义：指引入智能化故障管理系统后，识别结果正确的故障数量占识别出的总故障数量的比例。计算公式：故障自动识别准确的故障个数/自动识别出的总故障数量*100%b)故障自动诊断率定义：指引入智能化故障管理系统后，自动完成故障诊断(如故障根因)的工单数量占工单总计算公式：诊断结果非空且准确的工单数量/工单总数*100%YD/T202×—xxxx表22故障管理不同等级的成效指标基准示例6.5网络优化智能化6.5.1无线网络覆盖优化智能化6.5.1.1用例描述网络优化覆盖优化智能化的功能需求描述见YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)。某RAN域3级网络管理系统的50无线覆盖优化智能化的系统能力描述如表23所示。译估策现环境数据和电信系统外数据的采集自动化自动化化动确定覆盖问题以及对应的覆盖区域，实现覆盖问题定界自动化工指定的覆盖优化词整策略实现覆盖优化方案生成自动化工指定优化调整策略评估策略实现覆盖优化方案评估自动化和确定自系统自动基于覆盖优化方案对网络进行调优6.5.1.2评估方法评估方法需要符合下列步骤评估对象除了网络、业务和运营管理过程这三个维度外，还可以针对具体场景定义评估对象，本用例涉及的评估对象包括5G无线覆盖优化，4G无线覆盖优化。步骤2:工作流程和任务的映射对照无线覆盖优化运营管理智能化水平分级的标准任务定义映射可以得到每个任务的分级标准要求，具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.5.3节中无线网络覆盖优化智能化水平分级技术要求。评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人机参与情况与成效指标基线的达成情况，记录系统的智能化能力。程度//平，满足等级要求记为√,不满足等级要求记为X。√XXX评分在评级的基础上，考虑其他评估因素(如成效指标)和评级结果进行细化评估。洼根因分析L2和L3的分级技术要求虽然都是人机合作，但12和L3的自动化程度要求不同，故其也归入等级增量计算任务集合。ACFGHJYD/T202×—xxxx/CDEFGHI///化和0.3,则无线覆盖优化的评分为5G覆盖优化评分结果*0.7+40覆盖优化评分结果*0.3=2.7。如表27所示表27加权平均法计算某无线覆盖优化评分结果无线接入移动覆盖优化的运营管理智能化等级结果为2.7,其中50覆盖优化场量的运营管理智于40覆盖优化场景的智能化能力。6.5.1,3成效指标示例从体现覆盖优化性能提升效果的角度给出以下示例；a)弱覆盖小区减少比例定义：指引入智能化覆盖优化系统后，识别结果正确的弱覆盖小区数量占识别出的总弱覆盖数计算公式(覆盖优化前弱段盖小区数量-覆盖优化前弱覆盖小区数量)/覆盖优化前弱覆盖小区总数*100%b)弱覆盖栅格减小比例定义：指引入智能化覆盖优化系统后，弱覆盖初格减小的数量占优化前弱覆盖栅格总数的比例。计算公式：(覆盖优化前弱覆盖栅格-覆盖优化后弱覆盖栅格)/覆盖优化前弱覆盖栅格总数从体现管理与运营效率增长效果的角度给出以下示例a)弱覆盖小区自动识别准确率定义：指系统自动分析出准确根因的弱覆盖小区数占全部弱覆盖小区总数的比例。计算公式：系统自动分析覆盖问题根因的小区数/全部弱覆盖小区总数的比例*100%b)弱覆盖小区自动优化比例定义：指系统自动完成优化以及自动输出精准优化方案(需人工上站执行的场景)的弱覆盖小区数量占弱覆盖小区总数的比例计算公式：(系统自动完成优化的弱覆盖小区数量+自动输出精准优化方案的弱覆盖小区数量)/弱覆盖小区总数*100%c)覆盖优化周期缩短比例定义指引入智能化覆盖优化系统后，完成一次覆盖优化工作流所需时间的减小量占未引入覆盖优化系统时完成一次覆盖优化工作流所需时间的比例。计算公式(引入智能化系统前覆盖优化周期-引入智能化系统后覆盖优化前周期)/引入智能化系统前覆盖优化周期*100%表28无线网络覆盖优化不同等级的成效指标基准示例M6.5.2无线网络速率优化智能化6.5.2.1用例描述网络优化速率优化智能化的功能需求描述见YD/TXXXX-XxXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)。某RAN域3级网络管理系统的5G无线速率优化智能化的系统能力描述如表29所示。译估策/电信系化自动化的速自动化系统自动确定覆盖问题以及对应的覆盖区域，实现度盖问题定界自动化工指定根因分析策格实现理率问题根因分析的白率优案生工指定优化调整策略评估策化方案系统自优6.5.2.2评估方法评估方法需要符合下列步骤评估对象除了网络、业务和运营管理过程这三个维度外，还可以针对具体场景定义评估对象本用例涉及的评估对象包括5G无线速率优化，4G无线速率优化步骤2:工作流程和任务的映射对照无线速率优化运营管理智能化水平分级的标准任务定义映射可以得到每个任务的分级标准要求，具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.6.3节中无线网络速率优化智能化水平分级技术要求。评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人机参与情况与成效指标基线的达成情况，记录系统的智能化能力。程度//平，满足等级要求记为√,不满足等级要求记为X.√√√√XXX评分在评级的基础上，考虑其他评估因素(如成效指标)进行细化评估。与L3之间的增量计算。ABCDEFGH1J//CDEFGHI///化和0.3,则无线速率优化的评分结果为56速率优化评分*0.7+40速率优化评分*0.3=2.7.如表33所示。表33加权平均法计算某无线速率优化评分结果无线接入移动速率优化的运营管理智能化等级结果为2.8,其中50速率优化场景的运营管理智6.5.2.3成效指标示例从体现速率优化性能提升效果的角度给出以下示例：a)体验速率提升比例定义：指引入智能化速率优化系统后，体验速率提升量与优化前体验速率提升的比例。计算公式：(速率优化后平均速率-速率优化前平均速率)/速率优化前平均速率*100%从体现管理与运营效率增长效果的角度给出以下示例：b)速率异常小区根因识别准确率定义：指系统自动分析出准确根因的速率异常小区数占全部过率异常小区总数的比例。计算公式：系统自动分析速率异常问题根因的小区数/全部速率异常小区总数的比例*100%c)速率异常小区自动优化比例定义：指系统自动完成优化以及自动输出精准优化方案(需人工上站执行的场景)的速率异常小区数量占速率异常小区总数的比例计算公式：(系统自动完成优化的速率异常小区数量+自动输出精准优化方案的速率异常小区数量)/速率异常小区总数*100%d)速率优化周期缩短比例定义：指引入智能化速率优化系统后，完成一次速率优化工作流所需时间的减小量占未引入速率优化系统时完成一次速率优化工作流所需时间的比例。计算公式(引入智能化系统前速率优化周期-引入智能化系统后速率优化前周期)/引入智能YD/T202×—xxxx化系统前速率优化周期*100%表34无线网络速率优化不同等级的成效指标基准示例6.6网络运营智能化——运营商行业专网运营智能化6.6.1用例描述运营商行业专网(以下简称专网)运营智能化的功能需求描述见YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)。如表35所示，为某运营商专网网络运营支撑系统的5G专网运营智能化能力描述。通用流程译估析成指数据产品和服系统自理系统自场景值，自户感知终于人工分析规系统基于人工指定的能的专工指定的分完成各运营方案的可行和风险的综定专网运营6.6.2评估方法评估方法需要符合下列步骤步骤1:确定评估对象评估对象除了网络、业务和运营管理过程这三个维度外，还可以针对具体专网部署模式定义评估对象，本用例涉及的评估对象包括5G非独立专网运营，5G独立专网运营。步疆2:工作流程与任务映射对照专网运营智能化水平分级的标准任务定义映射，可以得到每个任务的分级标准要求。具体按照YD/TXXXX-XXXX信息通信网运营管理智能化水平分级技术要求移动通信网(第一阶段)7.7.3节中运营商行业专网运营智能化水平分级技术要求评估者也可以为评估对象选定场景的每个级别设置对应的成效指标基准作为相应等级满足的前提条件，如果评估者为所述评估对象选定场景的每个级别设置了对应的成效指标基准，则评估对象选定场景的成效指标也要满足所述级别成效指标的基准值。根据系统各个任务的人和系统参与情况与成效指标基线的达成情况，记录系统的智能化能力。某50非独立专网运营系统评估示例如表36所示。图翻译估控数据采集据采集营场景分析控数据分析日运析营方案生成估决策案实施程度/象每个运营管理任务的智能化水平，满足等级要求记为√,不满足等级要求记为×。国