综合资源数据处理培训课程

Inspurgroup综合资源数据处理培训资料2023/11/19三、智能校验二、资源自动采集目录四、传输数据处理一、数据维护2023/11/19

如果网络从来不变化，那么所有网管系统都将获得成功！然而，世界是永恒运动的，中国移动的网络更是如此。。。唯一不变的是变化，只有变化才真正表达价值！1〕资源本身的增减2〕资源名称属性的变化3〕资源关联关系属性的变化4〕资源统计属性的变化5〕资源状态属性的变化网络割接调整网络扩容网络优化网络管理和分析的变化和深入1〕资源新增2)资源关联关系属性的变化3〕父资源统计属性的变化1〕资源特征属性的变化2〕资源统计属性的变化3〕资源状态属性的变化1〕资源特征属性的变化2〕资源统计属性的变化3〕逻辑资源的调整和变化即便网络不动，倘假设对网络的分析和管理发生了变化，资源属性也会发生变化！资源管理系统如何应对不断变化的网络，保证数据的准确和及时?数据维护-概述2023/11/19不像一些纯IT系统，资源管理系统的建设和运转，在很大程度上依赖于各级管理和维护人员的支持和投入；因此，必须通过技术手段和管理手段相结合，实现生产力和生产关系的统一管理手段： 资源的命名标准 资源数据的静态录入和变更管理 资源调度流程 资源数据质量的管理考核 资源管理系统的应用推广 资源管理系统建设的组织保证技术手段： 资源数据模型的管理维护 资源的自动发现 资源数据的动态采集更新 资源数据的历史管理 对资源共享应用的技术支持技术手段是根底，管理手段是核心，相互依赖数据维护-概述2023/11/19eOMS工单调度执行网络调整维护人员主动更新资源配置信息网管系统自动发现变化维护人员根据提示确认网络变化并填补数据资源数据库网络调整完成主动维护被动维护割接/扩容/搬迁/升版/局数据修改/其他数据维护-维护方式2023/11/19数据维护-资源系统数据维护为了保证资源数据的准确性和及时性，数据维护采取手工维护和自动采集相结合的方式。手工维护方式简洁、便于操作，批量导入导出功能，操作方便，能有效保证导入数据的准确性和导出数据的完整性。通过定制自动采集，可以对资源属性进行自动采集更新。每一次的自动采集都有日志记录，以查看资源数据采集情况。采集失败的任务可以执行数据补采，以确保某一周期内资源数据的准确性、完整性。为满足网络资源完整性的需要，智能校验管理功能，对违反完整性规那么的网络资源以列表形式呈现。2023/11/19数据维护-资源系统维护范围话务网：TDM交换机、软交换、BSC、HLR、BTS、CELL、直放站、室内分布系统、应急通信车、中继端口、信令终端、信令路由、信令链路组、中继群；

信令网：STP；

数据网：GGSN、SGSN、PCU、GPRSVPN业务、CDS、路由器、交换机、防火墙；

传输网：传输网元、通道、通道时隙、段、传输子系统、通道路由、PTP、CTP；

智能网：SMP、SCP、SSP、VC、AIP、VRS、VRB、网路设备；

短消息：短消息中心、短消息网关；

客服：客服中心、交换机设备、计算机设备；

配套设备：交换配套设备、基站配套设备、其他配套设备；

备品备件；

网管设备：网管效劳器〔即OMC〕、网管工作站、操作维护终端；

硬件资源：机架、机框和单板；

空间资源：局站和机房；2023/11/19

数据库资源管理RMS多种录入方式减少手工录入工作量，同时提高数据的准确性既可以批量录入，又可以单个对象录入已有数据批量录入Excel导入工具手工采集客户端工具手工录入已有数据新增数据数据维护主要途径database中间数据库自动采集遵循集团接口标准DB转换工具网元直连其它系统统一接入平台OMC采集数据维护辅助途径变更流程管理工程状态管理割接流程管理灰名单管理数据有效性校验短信维护通知资源预警通知数据维护流程2023/11/19三、智能校验二、资源自动采集目录四、传输数据处理一、数据维护2023/11/19资源自动采集-采集流程

数据采集及处理大致可以分为数据采集〔形成标准文件〕、数据分析〔PERL分析〕、数据入库〔LOAD入库〕和数据汇总〔SQL〕四个步骤。采集归一化处理DB/网元/OMC入原始表数据提取和关联DB2023/11/19数据流转流程图通过采集系统生成以文件为载体形式的数据原始数据库（分厂商）PERL分析经过处理的原始数据库（区分厂商）需特殊处理的数据导出PERL对导出数据处理变更流程正式库其它上层应用2023/11/19通过采集系统将数据以文件的形式采集下来以后，系统通过PERL进行分析，通过任务定制程序根据调度时间自动调用脚本对数据进行分析、入库、汇总。及时反映网管信息。程序在UNIX系统环境下运行，以SHELL脚本的方式实现各流程的调用。通过PERL脚本实现数据分析。通过SHELL+SQL实现数据的入库，通过SQL语句实现汇总。最终完成数据的展现，及时反映现网情况。

数据接入流程概述2023/11/19一、命令方式采集该采集方式为目前较为常用的采集方式，具有数据时效性高，准确性好的特性。由于我们直接从交换机获取数据，减少了中间数据流转的流程，数据的可信任程度比较高，这种数据获取方式也是我们首选的采集种类。但是，由于此种采集方式直接与交换机交互，如有误操作可能对交换机造成不可逆转的影响。所以如要使用此种方式采集，应在用户许可的前提下，通过特定账户，在特定时间内使用指定命令进行数据采集。此种采集方式的原理为登陆交换机发送特定命令后，交换时机反响相应信息在屏幕上，且当反响接收后不同厂商会有特定的命令结束标志。根据不同标志拷贝屏幕并保存为文本文件以供系统分析使用。目前可以通过采集调度系统或者我们自己编写的PERL工具来配置信息获取文件。数据采集的种类2023/11/19资源自动采集-集中代理集中代理给登陆代理系统的用户提供了一个风格、模式统一的操作维护平台，使用户摆脱网元的IP地址、端口号、用户名、密码等登陆参数及烦琐登陆步骤的限制。集中日志，所有登陆用户的操作维护活动都被同步记录到日志文件中和数据库中，以备事后监督使用。集中鉴权，可按平安管理模块配置权限情况控制用户可登陆哪一个网元，在山东移开工程更实现了命令级的鉴权，即可以控制用户在具体网元上可发送哪些命令。用户活动跟踪，可让高级用户实时监控其他用户在网元上的活动〔监控所发命令和返回数据〕，在必要时可以杀掉该用户，保证网元完全。消息互通，登陆用户可以在代理系统上互相发送文本消息，完成交互功能。不但可满足操作维护工作，还可支持“集中采集程序getfile_proxy〞完成资源管理、局数据、网元巡检等模块的数据采集工作。2023/11/19集中化的数据采集程序，依托代理系统proxy，仿真普通的代理系统用户工作。适合于能提供命令行方式的操作维护接口的设备，使用命令交互方式〔即发采集命令，接收返回数据〕实现数据采集工作。不但可用于资源管理数据的采集，还可用于局数据、网元巡检等方面的数据采集，目前这三局部的数据都由该程序实现。一般在调度系统的驱动下运行，自动完成数据采集工作。也可以用手工方式运行，运行格式如下:getfile_proxy–nename<ne>-cmdid<ID>-sessid<ID>-outdir<DIR>-cmdstr“[命令字符串]〞。通过标准输出报告采集任务完成与否。资源自动采集-集中代理程序2023/11/19二、数据库方式采集此种采集方式为湖南、贵州及联通一些运营商较为常用。尤其涉及多厂商配合建设资源的情况〔例如：贵州底层采集由亿阳负责，上层应用由浪潮负责〕。这时数据库的采集方式便成了最适宜的跨系统数据传输平台。经过多年建设，我们此种采集方式系统已涵盖了INFORMIX、ORACLE、SYBASE三种比较常用的数据库，且完善形成了工具性的采集系统。通过配置相应信息便可完成数据采集。这种工具在后面的常用工具一章中会详细解释。使用此种采集方式应注意两点问题：1、采集应给底层数据准备留出足够时间，防止底层数据还在生成过程中便启动采集造成锁表。2、采集应在保证不锁表的前提下尽量提前，给资源汇总留出足够时间。数据采集的种类2023/11/19三、文件方式采集文件大致分为四种：文本文件、DB数据库文件、XML文件、EXCEL文件。此种采集方式为三种方式中相对简单的一种，通常与FTP或SMBClient配合使用，需要注意的是SMBClient为跨系统文件系统访问接口〔例如UNIX系统访问Windows系统文件〕，需要在UNIX系统下以root用户相应配置才能生效。而且在文件分析时需要安装相应的PERL模块方可识别不同的文件格式。使用时注意两点：1、过期历史文件的垃圾删除功能。2、文件的互斥访问功能〔防止文件生成过程中被获取过来，造成数据丧失〕。目前辽宁传输资源数据的采集就是通过文件方式实现，数据文件由直真采集并放到浪潮相应的文件目录下，数据分析和入库由浪潮来处理。数据采集的种类2023/11/19资源自动采集-采集策略

通过采集任务管理平台来实现资源数据的自动采集、手工补采、采集任务监控、采集任务调度，通过任务定制界面将该采集任务保存到数据库中，通过任务调度完成数据库中该任务的调度解析，最后通过集中代理完成命令自动定时采集。2023/11/19资源自动采集-采集任务查询2023/11/19按方案查询：资源自动采集-采集任务查询2023/11/19按任务查询：资源自动采集-采集任务查询2023/11/19按网元查询：资源自动采集-采集任务查询2023/11/19按采集结果查询：资源自动采集-采集任务查询2023/11/19资源自动采集-手工调度能被手工调度的元任务实例需要满足一定条件。不满足调度的原因会右面用红色标记出。未运行〔正在运行的元任务实例不能被调度〕；已激活〔未激活的元任务实例不能被调度〕；未调度〔已手工调度但还未被执行的元任务实例不能被调度〕；调度次数不超过2次〔调度次数超过2次的元任务实例不能被调度〕。2023/11/19选中要手工调度的元任务实例，点击手工执行按钮，出现时间设置输入框，输入调度时间〔也可以默认〕，点击确定按钮。资源自动采集-手工调度2023/11/19出现设置成功提示页面，说明手工调度设置完成。资源自动采集-手工调度2023/11/19采集系统的产出物必定为以文件为载体的数据。但文件的命名必须有一定的标准。文件名包含多种信息，以“＃〞分隔。形式为：网元类型＃厂商标识＃网元名字＃命令标识＃采集时间＃进程号＃是否成功标识.src其中是否成功标识0代表采集成功，1代表采集失败。采集时间精确到秒。例如：为什么以此种方式命名？一、此种命名方式可以唯一确定一个最小粒度的命令，以上面说明为例，文件给出了我们这样的信息：该文件为向西门子命名为“MSC1〞的MSC网元发送命令标识为“statmp〞的命令生成的数据文件，文件采集时间为2007年8月4日3点整，采集结果为成功。一目了然。二、此种命名方式方便系统自动判断文件入库的表名称。在后面的文件入库章节中将会讲到。采集系统产出物2023/11/19我们知道，经系统采集下来的文件格式是千奇百怪的，没有一个统一的格式，但如果我们想将这些数据做入库操作，那就需要规定一个统一的格式，方便数据库入口命令〔例如：SQLLDR、LOAD命令〕将文件中的数据读取到数据库中。文件分析系统做的就是这样的工作：调用PERL解析文件，形成可以入库的文件样式。即：以竖线作为分隔的数据形式。例如：西门子STATTRUNK命令文件经过解析后形成如下文件内容：MSC3|BSS5|961|33-1|33|1|TRUNK|BW|0-47-1-1|0|47|1|1|MOBB|2021-01-0112:00:00|其中蓝色局部为数据内容，通过PERL程序将有意义的数据以特定的顺序提取出来，这个顺序还是用来建立数据库表结构的依据。红色局部为局号，从文件名中获取，用来标识该数据属于哪一台交换机。〔数据入库的时候还被用来作为数据平安删除的依据〕。位于数据的第一列，对应数据库表的第一个字段“nename〞。粉色局部为数据获取时间，从文件名中获取，用以在系统中标识数据的采集、更新时间。位于数据的最后一列，对应数据库表的最后一个字段“time_stamp〞。完成分析的文件将会在原文件名的根底上增加“.db〞后缀，以告诉系统，此文件已经分析完毕，可以进行入库操作。系统在发现.db文件后，将会调用入库子程序自动将文件入库并保存入库日志，方便查错。思考：文件分析是否可以同时分析多个文件？？有何风险？？文件分析2023/11/19文件入库是一个数据准备的过程，原始数据完成入库后便可以在此根底上为正式数据的数据汇总做底层支持。在分析系统完成对原始文件的分析形成“db〞文件后，入库脚本将文件入库的过程是智能的。即：脚本自动根据文件名组合出该文件需要入哪一张表。原始表命名标准为：厂商缩写_网元类型_命令标识。例如：文件经过分析后将入原始数据库中的nok_bsc_zeei表中。并且在入库前系统自动删除该网元的老数据。即：在表中nename值为LC_BSC13的数据。以保证数据的及时性。流程如下：入库程序拿到“.db〞文件后自动组合表名“nok_bsc_zeei〞；其次系统从文件名中得知该文件是网元“LC_BSC13〞的数据，那么系统自动寻找表中“nename〞值为“LC_BSC13〞的数据执行删除操作；最后系统将db文件中的数据读入表中完成数据入库。需要注意一点：文件在入库过程中表是锁定的，此时应注意进程保护，否那么将会由于锁表造成入库失败。思考：nok_bsc_zeei表的结构大致应是什么样子？？文件入库2023/11/19要完成数据汇总有两个必要条件：一、模型调研：与系统实际使用方确认模型，用户关心那些网元，网元中比较关心哪些指标，上层应用需要用到哪些指标。这些调研清楚之后将模型固化到系统中。也就是我们所说的正式表，用以页面展现。二、算法调研：模型中每一个字段需要用到什么命令采集，对应命令中哪一局部，是否需要多个命令关联展现，多个命令之间如何关联〔数据库、文件方式大同小异〕。调研清楚之后将每个命令配置到采集系统中将文件采集下来分析入库，对应我们所说的原始库。最终将复杂的业务关联关系固化到资源系统的原始库与正式库的数据库语句关系，从而实现将复杂算法固化到系统中完成数据汇总的目的。原始库与正式库实现比较时的三种情况：1、新增：插入正式表；2、删除：从正式表中将未采集到的数据删除；3、更新：正式表中某几个属性发生变化，更新正式表。这一点请各位同事注意，在今后的灰名单章节中将说明此三种情况对灰名单的影响。该局部从技术角度上说是最简单的一层，单纯使用SQL语句就可以完成汇总，但从业务角度上说，这里面包含了太多复杂的算法知识，需要日积月累的专业知识方可实现开发、维护。感兴趣的同事可以在今后的工作中多接触一下这方面的知识。SQL使用本卷须知：1、临时表的使用。2、索引的使用。3、exists、in、notin的区别。数据汇总2023/11/19某些情况下，原始的表数据可能无法满足汇总要求，这时就需要在原始数据的根底上用PERL进行二次分析，将数据处理成满足汇总条件的格式，重新插入新的表中以备数据汇总只用。二次数据也就应运而生。例如：在汇总小区临区列表时要求将相邻小区以逗号分隔，更新到一个字段中。而原始文件采到的数据却是多条记录，这时就需要将这多条记录导出压缩成一条数据并以逗号分隔，以到达汇总需求。缺点：1、频繁导入、导出操作减慢了系统运行速度。2、过多的操作增加了故障几率。例如：锁表、进程将死。解决思路：这对业务要求一定的了解，在文件分析时提早预见到所需数据的格式，必要时可以一个文件分析成多个db文件，分别到达不同的汇总要求。防止无谓的导入导出操作。数据导出后的二次处理2023/11/19三、智能校验二、资源自动采集目录四、传输数据处理一、数据维护2023/11/192023/11/19智能校验为了保证网络资源的完整性和准确性，智能模型校验功能将不符合业务规那么的数据发现，放入灰名单库，通过短信、灰名单滚动提示、告警呈现、告警自动派发工单等多种途径提示维护人员及时维护数据，最大程度地实现资源数据的智能检错、纠错，提升资源数据的智能化管理程度和准确性管理。智能模型校验是根据定义好的校验规那么对资源数据的合法性进行核查，分为智能校验规那么定义、资源数据智能校验、短信发送、灰名单数据处理。2023/11/19在数据汇总章节中我们曾经介绍过原始库与正式库实现比较时的三种情况，那现在请各位同事想一下，在做数据删除操作时如果由于采集原因造成采集文件为空是否会造成正式库的数据丧失？？灰名单功能正是在这种背景下开发出来的。在数据连续几天采集不到的情况下，可以认为数据为退网数据，此时系统并不做删除操作，而是提交为维护人员进行确认，待确认后进行删除操作。当数据发生变化时，还可以提供数据比照功能，让维护人员及时了解到变化前后数据的变化过程。灰名单相当于底层数据的一个上层应用，为历史数据比照的一个应用实例。它的正常运行必须基于底层数据的正常汇总。灰名单功能2023/11/19智能校验-校验规那么

校验规那么包括：连续多日未采集到数据连续5日未采集到的基站、小区、中继端口、单板数据，那么为异常数据。基站配套设备校验基站配套设备中的所属基站在基站中不存在，那么配套设备数据为异常数据。话务网BTS中，基站ID以G、N、H、Z开头并且“是否一体化、边界背靠背基站〞属性为否的基站，去掉微蜂窝基站，统计基站个数。配套设备中的基站空调所属基站数、基站蓄电池组所属基站数、基站开关电源所属基站数、基站机房数量应等于基站数，基站存在而没有配套设备的那么为异常数据。单板状态冲突同一个序列号的单板既存在与现网又存在与备件库。2023/11/19智能校验-校验流程

2023/11/192023/11/19将校验汇总模型校验数据在首页滚动显示，直观了解模型校验数据，以便及时处理。智能校验-灰名单滚动提示2023/11/19智能校验-灰名单数据处理

2023/11/19网元集中备份是贵