基于AI赋能的通信网络架构和AI能力技术要求

5基于AI赋能的通信网络架构和AI通用能力技术要求本文件主要规定了基于AI赋能的通信网络智能系统的总体功能架构，以及数据采集、数据处理、AI模型训练、AI推理、知识构筑和意图决策的技术要求本文件适用于AI赋能的IP网络，其他AI赋能的通信网络可以参照执行。2规范性引用文件本文件没有规范性引用文件。3术语和定义下列术语和定义适用于本文件。在选择了某一机器学习模型后，在训练数据集上使用算法进行调参，以获得具有最优参数的模型。加载训练好的模型，当有数据输入到模型时能够得到相应的输出结果。离线训练offlinetraining也可称之为离线学习，所有的训练数据在模型训练期间必须是可用的。只有训练完成了之后，模型才能被拿来用。在线训练onlinetraining也可称之为在线学习，不需要在一开始就提供完整的训练数据集，随者更多的实时数据到达，模型会在操作中不断地更新离线推理offlineinference也可以称之为静态推理，以离线方式批量地对已有数据进行所有可能的推理，并将此类推理记录到某个表格，或某个静态位置以便日后读取。6在线推理onlineinference使用存储在某个服务器的模型，根据需要不断进行推理，并在出现新的请求时，对新据进行推理。通过对网络中的数据进行表征学习，通过AI模型进行固化，同时结合外部专家注入的己有经验或事实形成知识模型库下列缩略语适用于本文件ARIMA差分整合移动平均自回归(AutoRegressiveIntegratedMovingAverage)BSS业务支撑系统(BusinessCNN卷积神经网络(ConvolutionalNeuralNetworks)DNN深度神经网络(DeepNeuralNetworks)FTP文件传输协议(FileTrLSTM长短期记忆(LongShort-TernMemory)NetConf网络配置协议(NetworkConfigurationProtocol)SNMP简单网络管理协议(SimpleNetworkManagementProtocol)AI技术的发展源于数据驱动的深度神经网络(DeepNeuralNetworks,DNN)技术的突破性进展，在算法精度、算力等方面都有较大提升。网络AI技术是网络技术与AI技术融合的一类跨界技术，特指在网络规划、建设、运维和优化流程中引入人工智能技术，提升网络资源配置的精细化水平、对外部事件的响应速度以及对多用户多业务的差异化服务能力。附录A对人工智能在通信网络中的应用场景进行描述。基于AI赋能的通信网络，旨在将人工智能和网络相结合，利用人工智能技术提供强大的分析、判断、预测等能力，使能网元、网络和业务系统智能化，使得未来通信网络在其全生命周期实现自优、自愈和自治。6基于Al赋能的通信网络智能系统总体功能架构知5皮道8云端AI支持数据处理、AI模型离线训练和离线推理、知识构筑、意图决策。具体如表1所示。VVVVVVVVVVVVVVVVVVVVV网元AIVVVVVV以流量识别为例，若将其部署在云端，以对大量的流量数据进行指标统计分析，应支持进行离线训练和离线推理若将其部署在本地，将识别结果用于实时的流量策略控制。应支持离线训练出一个识别模型，再将其部署到域内控制器或网元上，进行在线推理，该流量预测模型训练结果会自然构筑成知识，并驱动设备相关器件依据对未来流量的预测实现意图决策完成控制或干预流量调度此外，应支持在线训练，以提高模型对新流量的识别准确度，提高模型泛化能力。对于数据处理，可支持有一个统一的数据平台进行处理，可支持分布式地在各域按需处理相应地，对于AI模型训练，需支持有一个集中式的AI模型训练平台，也支持在各域进行分布式训练，多模型构筑成知识对于AI推理，需支持在一个集中平台进行推理，,也支持在各域进行分布式的推理，多模型推理结果最终转化为意图决策执行动作下发。集中式的数据处理、AI模型训练和推理的各模块之间的交互流程如图2所示。数据处理模块对原始数据进行清洗、关联、标注、特征提取等操作，以达到后续的模型训练和推理的输入要求，AI模型训练通过使用训练数据进行调参，从而生成模型，AI推理使用训练好的模型获得相应推理结果数据处理模型数据采集图2集中式数据处理、训练和推理的模块之间的交互流程在分布式训练情况下，AI模型训练模块的输入除了训练数据外，也接收其他调练模块的模型参数作为输入，分布式训练的交互流程如图3所示。上述标准已对通信网络数据源分析得较为全面，本文件不再赘述。面向基于AI赋能的通信网络系统，本文件引入一种新的数据源，即AI模型训练和推理，包括在AI模型训练和推理过程中产生的参数、配置文件、模型、推理结果等目前已有相关标准对通信网络的数据类型进行研究，例如，文献[2]从数据分析挖掘的角度，可将电信数据划分为网络数据、用户数据、业务数据、终端数据和其它数据，从数据处理情况的角度，可将电信数据分为原始数据、中间数据及结果数据，从数据采集位置的角度，可将电信数据分为无线网侧数据和核心网侧数据：文献[3]根据电信数据的基本特征，将其分为12个类型，包括时空数据、站点数据、资源数据、业务数据、拓扑数据、供应类信息、运营类数信息、客户类信息、故障数据、测量数据、网络知识库与运营数据文献[4]将数据分为结构化数据、半结构数据和非结构化数据。面向基于AI赋能的通信网络系统，本文件从AI工作流的角度，将数据分为原始数据、特征数据、AI模型数据和推理结果数据。原始数据包括网络相关的数据。即通信网络不同业务系统的运行运营数据，用户相关的数据，即用户基础信息等数据，外部环境数据，即传感器感知到的周围环境数据、互联网爬虫数据等。原始数据的数据量大，价值密度低。特征数据：原始数据经过处理，并可用于AI模型训练和推理的数据，一般为数值向量型数据。AI模型数据：特征数据结合AI算法进行模型训练过程中产生的数据，包括模型参数、配置文件和训练好的模型文件等。AI推理结果数据：特征数据输入训练好的模型文件进行运输后得到的输出数据。7.3采集技术要求数据采集技术应满足从复杂网络中进行高效地端到端数据采集，对于数据采集的技术要求如下：a)针对信息化系统产生的结构化、半结构化数据，如业务数据、日志等，应支持使用数据数据库表交换、文件交换(例如FTP)、WebService、Rest、消息订阅/发布等传统的数据交换技术进行数据采集；b)针对智能终端感知到的环境数据等非结构化数据，应支持使用前端设备接口、分布式系统接口等进行采集获取；o)针对互联网的海量数据，应支持使用网络爬虫等技术进行采集；d)应支持对网络流信息进行自动化、细粒度的采集，例如使用telemetry等技术获取时延、丢包等；e)应支持通过仿真模拟、技术生成对少量的负样本数据进行采集：f)应支持由人工进行标注的标签数据，通过离线导入、在线填写等方式进行采集；g)应支持对采集到数据进行存储，存储方式如图5所示。b)应支持将其转换为运维人员可理解的自然语言、图形图表等。8.4数据关联技术要求数据关联是将不同来源的数据整合成相互关联的一条或多条数据。对数据关联的要求如a)应支持将不同业务系统的数据通过时间、空间、用户ID、关键字段对应关系进行关联b)应支持对不同业务系统的数据存在一对多、多对一、多对多关系时进行聚合：c)应支持对不同业务系统中业务支持、概念进行映射和关联的能力，形成知识网络。8.5数据分析技术要求数据分析技术是通过统计学方法，或机器学习等手段来发现数据中的规律，或隐藏的关联信息，并通过图形化的方式可视化出来。对数据分析的技术要求如下：a)应支持不同特点的数据类型的数据统计特征的计算和可视化，例如时序类数据、事件类数据、描述类数据、关系类数据等。b)应支持基于业务知识的数据深度分析和挖掘，发现数据中隐含的信息和价值。c)应支持多样化的数据可视化技术，针对各类分析结果、数据特点进行可视化展示。d)应支持数据的质量分析报告，包含数据质量现状分析、质量问题评估、Top质量问题处置措施推荐。8.6数据增强技术要求数据增强技术是针对数据不能满足AI应用需求时，通过各类技术手段来增强数据的特征表现，数据增强技术的核心是反应系统的真实表现，避免引入主观信息。对数据增强的技术要求如下：a)应支持数据补全技术，包括时序类数据、关系类数据、时间类数据等，可通过数据插补算法、系统仿真、系统模拟等技术手段来补全缺失的数据。b)应支持特征增强技术，是对现有数据特征通过各种增强手段来产生新的样本数据。包括数据加噪/降噪、升维/降维变换、生成对抗、改变环境影响等技术手段，来产生更丰富的样本数据。○)应支持数据辅助标注技术，是通过一定的技术/算法手段，对样本数据实现初步的标注，并通过人工确认，将确认结果作为反愦再增强标注准确度，形成一个不断增强的自动化的辅助标注系统，来扩充正样本数量9.1训练算法要求通常AI模型训练需要基于大量数据，结合A算法进行多次的迭代训练，才能收敛并最终获得训练好的模型。对AI训练算法的要求如下：a)应支持离线训练、在线训练、联邦训练等训练模式，并根据隐私保障需求、通信计算资源状态进行选择：b)应支持根据不同的场录选择合适的特征数据和AI算法：c)应支持根据不同目标对AI算法的配置和参数进行更改：d)应支持对相似场景下的AI算法的迁移和复用。附录C以流量类型识别和流量预测场景为例，对AI训练算法要求进行描述。9.2训练指标要求AI算法在训练数据集上进行训练，在测试数据集上进行测试，以评估AI模型的泛化能力和其它性能，因此AI算法在训练和测试过程中需支持对以下指标的测量，只有相应场景下的指标合格后，AI模型才能够被部署使用。对AI训练指标的要求如下：a)应支持准确率、召回率等描述训练效果指标：b)应支持鲁棒性、泛化性、可解释性等描述模型适用性的指标：c)应支持公平性、隐私保护等安全方面的指标：d)应支持运算复杂度、训练时间等训练效率指标：e)应支持输入输出需求、数据依赖性等指标。附录D以流量类型识别和流量预测场景为例，对AI训练指标要求进行描述。9.3训练算力要求AI模型在训练中还需要训练环境和一定的训练资源开销，因此，对训练算力有如下要求a)应支持对AI算法运行环境的部署。包括训练框架，例如tensorflow等：b)应支持提供AI模型训练所需的CPU、GPU等资源：c)应支持对训练资源的监测和可控。9.4模型交互要求在分布式训练和联邦训练中，需支持AI模型在不同节点之间进行交互和共享利用。因此，对模型交互有如下要求：a)根据不同的算法和场景，应支持同步/异步/混合式模型通信交互方式：b)应支持根据通信网络效率的需求，对模型进行压缩、对通信调度进行调整等。10.1推理结果要求基于训练好的模型，使用新的特征数据可进行推理和决策。对于推理结果的要求如下：a)应支持对推理结果进行规范化的描述。例如，推理结果的适用场景、适用条件、性能要求、预期目标、因果关系等：b)应支持基于推理结果对算法模型的修正和更新附录E以QoS保障场景为例，对AI推理结果要求进行描述。10.2推理部署要求对训练好的模型的部署要求如下：a)应支持对模型进行认证，认证符合需求后方可部署：b)应支持单个AI模型部署和多个AI模型堆叠联合部署：c)应支持在部署AI模型时，能进行自定义的调整更新。10.3模型推理结果评估要求AI模型训练依赖于历史数据的分布特征，随着业务的变化其网络数据分布特征也可能会发生漂移，这时候用该模型进行推理，则模型推理结果失去意义。所以需要对推理结果进行持续评估，对模型推理结果的评估要求如下：a)应支持实施模型的持续评估，具体表现为将模型推理的数据特征与模型推理的结果结合实际的专家经验进行对比b)一旦模型推理的性能(如模型准确度)下降到某一阀值。应支持重新启动模型训练或者模型自身支持增量训练，增量训练不需要重头训练，基于部分增加新样本调整模型自身的参数，以实现动态自适应更新智能网络的最终目标，是在绝大部分场景的达成自治，而单个AI模型所提供的信息往往难以支持一个良好的全局决策。要解决这个问题，就需要将来自多个渠道的信息、多个模型的训练结果进行系统性的融合凝练，构筑“知识”,进而基于知识实现网络自身的管理。良好的网络自治，需要构筑的知识具备完备性和正确性，相应地就需要多模态，鲁棒性和自适应动态更新技术来实现11.2多模态技术要求每一种信息的来源或者形式，都可以称为一种模态，网络的信息，有硬件KPI、软件运行状态、承载业务情况等：AI训练的模型，有检测类模型、预测类模型、控制类模型、调优类模型，甚至往往存在静态导入的专家知识，以上的每一种都可以称为一种模态知识构筑需要从多源的数据信息和多维模型训练的结果中整合、处理，提取关键的信息构筑知识，控制复杂并且动态变化的网络智能系统11.3鲁棒性技术要求由于知识构筑需要具备全局观测的特征，必然导致其需要在信息不完善，甚至相互矛盾的情况下运作。网络如何在复杂、动态甚至存在一定程度不确定性的环境下实现自治，需要良好的鲁棒控制技术。11.4自适应动态更新要求知识构筑过程中用于训练的AI模型是基于历史数据的分布特征学习到的知识，随着业务的变化其网络数据分布特征可能也会发生漂移，因此当模型性能评估结果下降到某一阈值时需要重新启动模型训练或模型增量训练。以实现知识面的模型动态自适应更新，保持知识处于最新状态。通过执行数据采集、数据处理、模型训练、专家经验注入实现了知识的积累，这一前向过程还不能满足通信网络智能系统自治的闭环要求。意图决策，就是结合当前业务现状，基于已经掌握的知识进行推理之后，将推理结果转换成决策动作的过程，完成闭环控制的最后一环。同时，意图决策还需要感知决策后的网络新状态，以对比验证当前策略执行是否与预期目标一致。决策转换技术要求知识的推理往往只是一个数值的结果或分类的判断，并不能直接应用于控制执行，因此在推理和决策之间，需要构筑一个语言的转译过程，能够让指定的软/硬件理解知识推理的意图。例如，在网络设备节能场景下，通过业务流量预测模型可以判断未来一段时间内设备的承载负载情况，当推理结果为预测轻载时，节能的意图需要通过转译形成硬件关断的指令实现。再例如，在应用识别场景下，识别类模型会推测出应用的具体类型，如视频类应用，这时需要对视频类应用做QoS保障，则需要通过转译形成相关的配置指令改变流量数据在网络中的路径，最终实现QoS保障。12.2多模态技术要求与知识构筑类似，意图决策也需要从多源AI模型推理结果中整合，处理。最终转换成决策动作。意图决策对于多模态的技术要求具体如下：a)多模型推理结果的融合应支持多个模型推理的结果共同实施决策的能力：例如，在应用识别过程中，模型1负责判断当前某一条特定的流量(五元组)是否属于未知类别模型2负责判断该流量隶属于哪一类已知类别。当且仅当模型1判断该流量为已知类别时，模型2输出的应用类型才视为可信，此时网络会触发相应的业务体验保障决策过程。b)静态规则与动态推理的融合应支持专家知识与模型推理共同实施决策的能力；例如，在流量异常检测过程中，通常模型推理只具备上报单点异常的能力，这样容易导致企业数据中心等复杂组网一天产生千万级告警，运维人员难以处理的情况：此时，如果引入专家知识，定义连续若干个点异常可以合并为一个告警，这样可以大幅降低异常告警的规模，同时可以抑制对网络性能影响较低的零散异常，同时保障系统的稳定性和可维护性。12.3鲁棒性技术要求与知识构筑类似，意图决策需要具备全局观测的特征，同样可能导致其需要在信息不完善，甚至相互矛盾的情况下运作。网络如何在复杂、动态甚至存在一定程度不确定性的环境下实现自治，需要以下良好的鲁棒控制技术要求：a)具备知识模型可用性的评估手段一旦AI知识模型性能评估不满足要求，应支持及时、准确地感知和判断，避免错误的知识导致网络智能系统的性能劣化。例如，在网络流量预测场景中，可以通过持续监测预测值与真实值间的差异来评估模型或相关知识是否失效。b)具备知识模型不可用时的后备方案一旦业务模型的推理输出异常，应支持具备忽略本次推理，或采取更加安全、稳妥的后备方案进行本地决策的能力。例如，在网络流量预测场景中，一旦感知到模型或相关知识失效后，一方面需要快速启动增量学习的方式以修正现有预测模型，另一方面可以采用新近环比或同比数据完成过渡态预测。c)具备模型知识集成化的能力为了降低单个模型或知识失效所引发的影响，可以借助集成学习的思想，采用多个模型协作的方式进行决策，可以显著提升系统鲁棒性例如，在网络流量预测场景中，采用ARIMA、LSTM、GPR、CNN等多个模型进行综合预测，多个模型结果取均值或中位数进行最终输出，单个模型失效不会显著应该推理结果。12.4反馈感知技术要求通信网络智能系统自治是一个持续的闭环过程，应支持借助知识对现有状态进行决策迭代，同时感知决策所带来的影响，以便在未来不断提升知识的准确度和决策的正确性。例如，传统网络拥塞控制场景下，降低TCP发送窗口大小等手段的未来策略，都是结合上一步决策及决策后业务流量的反馈所共同决定的。(资料性)人工智能在通信网络中的应用场景A.1流量类型识别基于AI赋能的通信网络需要支持对网络流量类型的识别，其中网络流以源IP地址、目的IP地址、源端口、目的端口、协议号五元素进行标识。网络流量所属的类别有多种维度，相应地，网络流量的识别需要支持对不同维度的类别的识别，具体如下：a)要求能够100%满足对重要周知Internet协议的类别，包括SSH协议、FTP协议、SMTP协议等；b)要求支持对业务大类的识别，业务大类包括即时通信类，视频类，浏览类等；○)要求支持对应用类型的识别，应用类型包括微信、Q0、微博等；d)要求支持对应用的精细化动作的识别，包括即时通信类业务的文本聊天，发送图片等动作，微博类业务的浏览、转发等A.2流量预测针对通信网络前瞻式、主动式管理与控制需求，人工智能技术需要挖掘网络流量在时间维度的变化趋势规律，支持网络流量短期、中期、长期、突发流量的精准预测。通信网络中采集的流量数据包含多种关联字段，例如网元、线路、端口、平均流量、高峰流量、低谷流量等。例如，以15分钟为采集周期，平均流量则为这个十五分钟内流量的平均值。同理，高峰流量则为十五分钟内的最高流量，低谷流量为十五分钟内的最低流量。要求流量预测技术能够支持不同预测类型要求，进行精准预测。例如预测特定端口的网络流量等。要求流量预测技术支持预测类型与预测周期结合的要求。例如，预测特定端口短期流量趋势，预测平均流量中期变化趋势。E行执行决策：而数据采集模块在考虑网元处理能力和数据特征之外，还根据链路(存储)利用率情况、结合业务需求，调节出最优的数据采集周期/频率。在AI赋能的通信网络中，无需人工配置，本地AI综合考虑了采集信号的物理特性、设备的采集能力、链路带宽利用率、存储利用率、数据分布特征、业务需求等方面因素，在满足业务需求的前提下，使得数据采集成本最小。(资料性)AI训练算法要求示例C.1流量类型识别的AI训练算法要求在网络流量识别过程中，根据场景的不同，需选择不同的识别方法。因此，要求支持多种流量识别方法。要求支持根据流的端口号去识别公认端口号对应的应用层协议类型，在具体实施过程中要求支持对报文的端口号进行采集；要求支持通过解析应用层中的特征字符串识别流量类型，在具体实施过程中，要求支持对报文的应用层进行提取和解析：要求支持根据应用在交互过程中的行为特征进行识别，如分析主机与哪些主机进行通信，是作为一个提供者还是请求者等，在具体实施过程中，要求支持对流量行为特征进行采集，流量特征包括：流的传输速率、流的报文数量、流的持续时间、上下行数据流总量等；要求支持根据流的统计学特征结合机器学习技术进行识别，在具体实施过程中，要求支持对报文特征进行采集，报文特征包括端口号，报文长度，报文到达间隔等，要求支持多种机器学习方法，机器学习方法包括有监督学习如随机森林、神经网络等，无监督学习如kmeans聚类，DBSCAN等，半监督学习方法，要求支持对流识别模型的训练C.2流量预测的AI训练算法要求网络流量预测过程中，针对不同的预测周期、预测类型，需要选择不同的预测方法。要求流量预测技术支持两类预测方法，即归纳法、演绎法。要求流量预测技术支持基于归纳法的预测方法。在具体实施过程中，要求能够基于一系列数学模型，