湖北-基于大数据挖掘技术实现4G建设需求智能识别v2

1、PAGE PAGE 31成果上报申请书成果名称基于大数据挖掘实现4G规划需求智能识别工具成果申报单位湖北移动成果承担部门/分公司网优中心项目负责人姓名江洪峰项目负责人联系电话和E成果专业类别*无线所属专业部门*网络线条成果研究类别*相关网络解决方案省内评审结果*优秀关键词索引（35个）栅格聚类，弱覆盖，规划需求，智能识别，基于多维数据的问题点归一，基于时间序列的问题点归并应用投资万元（指别的省引入应用大致需要的投资金额）产品版权归属单位湖北移动网优中心对企业现有标准规范的符合度：（按填写说明5）符合公司现有标准规范，符合中国移动业务网络标准体系成果来源：湖北公司2015重点专项专利情况：如果该

2、成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7）无成果简介： 2015年，是三家运营商决战LTE网络的关键时期，为了响应集团的集中规划管理要求，实现网络资源精准投放，扩大湖北移动LTE网络的市场竞争优势，迫切需要实现高效率、平台化、智能化和工具化的基于大数据的4G建设方式。传统的LTE规划方式过于依赖人工评判，因而存在较多局限，如：弱覆盖判定标准说得清做不到、问题点识别方式找得出用不上、后评估分析手段粗得了细不来、各环节工作效率手工多效率低等。为了解决问题，我们考虑借鉴大数据的分析方法,将各个地市的LTE规划区

3、域进行栅格化处理，利用路测，扫频，MR等多种数据源，对每个栅格的弱覆盖情况进行量化评估，并利用大数据挖掘技术，找到弱覆盖簇，形成弱覆盖规划库。我省重点开展了三方面的工作，首先了将全省的规划区域进行了栅格化处理，确定了基于栅格评估网络规划需求的总体方案。 第二，借鉴了大数据挖掘据技术，将全省的弱覆盖栅格进行聚类分析，找到连接成片的弱覆盖簇，并针对弱覆盖簇的给出建站需求排序。第三，自主进行了项目的开发集成工作。目前工具已经开发完毕，并在武汉和十堰完成试点工作。经过综合评估，工具识别的准确率100%。不仅改善了人工识别的低效率和低准确度的问题，也实现了大数据的集中化管理和评估，完全达到工程应用要求。

4、在前期试点的基础上，我们对全省的LTE弱覆情况进行分析，建立了弱覆盖库。目前我省的集中规划工作已经取得了质的突破，首先是充分利用了多种数据源，精准建立了弱覆盖资源库，形成了全局化的方案，第二可以定期评估每个地市的网络质量改进情况，对基站选址和工程建设的工作目标形成有效的牵引，第三 整个方案实现了规划专家经验的高度固化，利用有限的人手实现了全省规划方案的全局掌握，使得集中规划方案有效落地。这种实现基于大数据的智能化4G建设方式，对于摆脱对人工识别的依赖、提高效率和经济效益、合理有效配置资源具有重要的意义。创新点一：基于栅格量化的问题点识别我们基于100米栅格地图，利用kettle、QGIS、po

5、stGIS等工具，通过栅格映射、栅格聚类等技术识别出弱覆盖簇，根据智能识别的弱覆盖簇指导建站需求。创新点二：基于多维数据的问题点归一栅格组成的问题点判断已经可以是单一的路测数据、MR数据、扫频数据，也可以为多维度的弱覆盖问题呈现，对栅格进行多维度数据源的综合评分。创新点三：基于时间序列的问题点归并初次智能识别弱覆盖簇之后，实现基于时间序列的问题点归并，将不同时期复测的弱覆盖簇进行比对，实现新增问题点的需求工单派发，指导后续网络规划及规划效果后评估。省内试运行效果：1. 推广范围:武汉LTE深度覆盖滚动规划。2. 推广情况:共识别武汉弱覆盖栅格16888个，占武汉栅格总数约2%。并形成弱覆盖簇2

6、418个，平均每个弱覆盖簇包含7个弱覆盖栅格。武汉分公司针对其中包括2个栅格以上的1535个问题点进行了网络补点规划。共新增规划2000余站、优化调整500余站、原有规划要求尽快开通的600余站。3. 平台开发计划:下一步，湖北公司将问题点的输出实现由线下邮件向线上派单的转变，形成问题点的工单式管理。文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明8”。“成果上报申请书”的填写说明：1、“成果专业类别”指：核心网、无线、传输、IP、网管、业务支撑、管理信息系统、市场研究、数据业务、数据网络、通信电源、空调、其他。2、“成果研究类别”

7、指：超前研究、新产品开发、相关网络解决方案、现有业务优化、其他。3、“所属专业部门”指：完成该成果的单位在省公司或地市分公司所属的专业部门线条。可填写：规划计划线条、网络线条、业务支撑线条、管理信息系统线条、数据线条、市场线条、集团客户线条、其他。4、“省内评审结果”指：优秀、通过。5、“对企业现有标准规范的符合度”指：列举该成果使用并符合的中国移动统一发布的企业标准的名称和编号，详细描述该成果在现有的企业标准基础上所需新增的功能要求（如业务流程的改变、设备新增的功能要求等）。6、成果来源指：如果该成果来源于集团研发计划内项目，请填写研发项目的年度、项目名称和类型（类型包括：集团重大研发项目、

8、集团重点研发项目、省公司自立项目）。未列入集团研发计划的，请填写“计划外项目”。（集团研发计划可登录科技创新管理平台查阅。）7、专利情况指：1)类型：发明、实用新型、外观2）名称：该成果申请专利的名称3）申请号：由知识产权审查机构授予的该成果专利申请号4）状态：申请中、已授权8、“文章主体”：根据不同科技成果分类实施不同的主体要求，具体如下：1）超前研究类成果主体包括：背景情况技术特点分析标准化情况其他运营商应用情况（可选）技术发展趋势引入策略分析2）相关网络解决方案类成果主体包括：背景情况技术方案：概述、网络解决方案（如果涉及到网络方面的改造，信令改造，路由改造等，应有详细的描述）、设备及系

9、统改造/建设要求、码号资源需求效果（解决了哪些问题）本省应用推广情况3）新产品开发类成果主体包括：业务及功能简介：业务概述、业务主要功能介绍技术实现方案：包括业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程、码号要求等业务申请和开通：包括用户范围及业务使用范围、业务申请与注销等业务商务模式及资费：包括商务模式、业务资费模式、业务收费方式等市场前景分析4）现有业务优化类成果主体包括：业务及功能简介：业务概述、业务主要功能介绍现有业务存在的问题：现有缺陷分析、解决问题的思路原有业务方案/流程：业务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程优化后的方案/流程：业

10、务实现组网结构图、相关系统（平台、终端）功能和要求、业务实现流程优化后达到的效果，产生的经济效益 5）其他类成果主体，参考1）4）的成果主体要求，阐述清楚项目背景、实现方案、解决的问题、取得的社会和经济效益等。基于大数据挖掘技术实现4G建设需求智能识别一、背景情况2015年，是三家运营商决战LTE网络的关键时期，为了响应集团的集中规划管理要求，实现网络资源精准投放，扩大湖北移动LTE网络的市场竞争优势，迫切需要实现高效率、平台化、智能化和工具化的基于大数据的4G建设方式。传统的LTE规划方式过于依赖人工评判，因而存在较多局限，如：弱覆盖判定标准说得清做不到、问题点识别方式找得出用不上、后评估分

11、析手段粗得了细不来、各环节工作效率手工多效率低等。因此实现基于大数据的4G建设需求智能识别方式，对于摆脱对人工识别的依赖、提高效率和经济效益、资源合理有效配置具有重要的意义。网优中心成立了IOU团队，重点开展了三方面的工作，首先了将全省的规划区域进行了栅格化处理，确定了基于栅格评估网络规划需求的总体方案。 第二，借鉴了大数据挖掘据技术，将全省的弱覆盖栅格进行聚类分析，找到连接成片的弱覆盖簇，并针对弱覆盖簇的给出建站需求排序。第三，自主进行了项目的开发集成工作。目前工具已经开发完毕，并在武汉和十堰完成试点工作，经过综合评估，工具识别的准确率100%。不仅改善了人工识别的低效率和低准确度的问题，也

12、实现了大数据的集中化管理和评估，完全达到工程应用要求。二、技术方案1 概述传统的网络规划方法是通过肉眼识别，人工标出弱覆盖连片区域，进行网络规划工作。智能化识别首先要定位精准，我们基于100米*100米栅格地图，通过栅格映射、栅格聚类等技术识别出弱覆盖簇，根据智能识别的弱覆盖簇指导建站需求。初次智能识别弱覆盖簇之后，我们实现多维归一化和时间归一化的方法，将不同的测试数据来源和不同时期的弱覆盖簇进行归并，实现工单派发、网络规划需求指导和验证评估的闭环处理流程。实现的智能识别弱覆盖簇见“图1”所示。图 1 智能识别弱覆盖簇2 网络解决方案方案难点主要包括两部分：栅格处理和问题点归并；整体工作流程如

13、下图所示（图2）。图 2 智能弱覆盖识别工作流程2.1栅格处理整个栅格映射程序主要分为5部分：创建路测点对象、创建地市栅格、点与栅格映射、获取有效栅格、Python得到栅格簇。 2.1.1 创建栅格利用kettle、postGIS、QGIS等关键技术实现地图划分为100米的栅格，实现的过程如下：表输入：将路测文件导入到中间件的内存中。调用DB存储过程：通过中间件进行点栅格映射。拆分字段：将栅格坐标转换为X,Y坐标表输出:将结果导出为文件。下面以武汉为例实现栅格对象创建和存储。创建栅格对象为了方便进行采样点到栅格的映射， 需要利用到POSTGIS中的RASTER对象。可以利用地界多边形创建地界栅

14、格对象。1、导入武汉地界多边形，生成shape 文件生成shape 文件需要依赖Mapinfo的格式转换功能，相关的入口见下图：注：文件名不要使用中文从上图可见，在目标文件中，选择ESRI Shape格式，这个就是PG默认支持的格式。2、生成PG脚本生成持久化的SQL命令集合，需要依赖PG自带的工具，相关的工具为shp2pgsql。指令为 ：shp2pgsql W “GBK” -s 4326 d:shiyandishi_region.shp 1.txt其中，W “GBK”是为了解决中文显示的问题，如果不添加这个参数，拷贝到数据库中会呈现乱码。-s 4326 是指定生成经纬度坐标系，用于PG导入

15、。如果出现无shp3pgsql,需要将postgresql的bin目录填入path环境变量。3、脚本执行将生成的脚本使用PGADMIN 执行。如果已安装postgis，但在pgsql中未启用 postgis扩展，则无法运行相关脚本。可以使用下列命令启动：Create Extension postgis;测量武汉边界宽高1、绘制武汉市矩形边界注：对矩形调整到刚好全包围武汉地界2、使用ruler测量宽高使用ruler工具，可以测量武汉实际测得宽高分别为：132.7KM 和 155.5KM创建武汉栅格多边形为了创建100*100米的多边形，需要先计算高宽等分数量。根据上一步测量到的宽高分别为：132

16、.7KM 和 155.5KM， 可以计算得到宽高等分数量分别为1327和1555。1、创建栅格存储表格创建可以存储raster类型数据的表格myrasters，创建SQL如下：CREATE TABLE myrasters( rid integer NOT NULL, rast raster, CONSTRAINT myrasters_pkey PRIMARY KEY (rid);2、插入创建的栅格记录可以利用wh_region的武汉地界多边界geom对象，按前面计算的等分数字，使用ST_AsRaster来创建栅格对象。创建语句如下：insert into myrasters SELECT gi

17、d,ST_AsRaster( geom ,1327, 1555, 8BUI) from wh_region;使用QGIS的SAGA可以查看到所创建栅格对象的效果如下：2.1.2 弱栅格识别采样点映射到栅格后，进行栅格化染色。有效栅格判断路测有效栅格：栅格内路测采样点数大于采样点分类与栅格染色：坏点：采样点电平小于-110dBm。栅格染色：使用6种色染色，便于精细化评估栅格覆盖情况和规划前后覆盖提升效果。对于某栅格，统计路测采样点坏点数为N1，MR采样点总数为N2。根据坏点占比对栅格进行染色（坏点比例R=N1序号问题类型判断规则1路测白色栅格：无效栅格黑色栅格：坏点比例大于85% 红色栅格：坏点

18、比例介于65%85%黄色栅格：坏点比例介于65%35%蓝色栅格：坏点比例介于35%15%绿色栅格：坏点比例小于15%弱覆盖栅格：将红色与黑色标记为弱覆盖栅格。路测结果路测结果栅格化示例弱覆盖栅格聚类分析2.1.3 弱覆盖聚类以上实现了按照门限值对于单个栅格进行弱覆盖的估值，接下来实现对于弱覆盖栅格，如何实现区域的归类，实现连续性区域的分组。栅格聚类原理以上得到同类栅格的坐标(x_0,y_0),(x_1,y_1),(x_2,y_2)，先来看如何将数值为0的值(x_0,y_0)聚类图3 聚类分析算法的原理图假设以上(xn,yn)都是矩阵中值为0 的点的坐标，现在将这些有交集（共同点或者共通线）的栅

19、格组合：例如从(x1,y1)遍历所有(xn,yn)的点，计算与其他所有点距离，如果距离小于或等于2则判定为有交集的栅格。如上图所示，(x1,y1)与(x2,y2)距离计算：D因此(x1,y1)与 (x2,y2)无交集，不是连续区域例如(x2,y2)与(x3,y3)距离D则(x1,y1)与 (x2,y2)有交集，是连续区域。同理判定(x5,y5)也是与(x1,y1)有交集的栅格，组成连续区域。以上算法相当于找到一个栅格周围的八个栅格是否有同类栅格，如果有则组成连续区域，再由找到的连续栅格寻找其周围的八个栅格是否有同类栅格，以此向外扩展连续区域的原理。最后将以上找到的栅格组成一个连续区域组。 （2

20、）（3）聚类分析算法的编程实现过程：图（1）为该同类为0的矩阵坐标点分为了三个数组 图（2）为一个数组的信息，可以看出该数组有7个坐标点 图（3）表示该7个坐标点的位置，该7个坐标为组成连续区域的点的坐标。聚类算法伪代码2.2问题归并2.2.1基于多维数据归一化的问题点识别栅格组成的问题点判断已经可以是单一的路测数据、MR数据、扫频数据、CQT数据，也可以为多维度的弱覆盖问题呈现，对栅格进行多维度数据源的评分。多维数据来源栅格组成的问题点判断已经可以是单一的路测数据、MR数据、扫频数据、CQT数据，也可以为多维度的弱覆盖问题呈现。针对多维的数据源，设定优先级，根据优先级权重计算综合评分。首先弱

21、覆盖优先级的判定为：扫频数据路测数据MR数据CQT数据栅格评分数据完整性评分：每个栅格针对其中数据来源的多少和有效性进行打分。A：扫频=40分 B：路测=30分 MR数据=20分 CQT数据=10分若栅格内某一数据有效，则该数据得满分，否则零分。M1=mA+mB+mC+mD覆盖质量评分：通过对数据源进行加权，计算栅格覆盖得分。单项计分办法：lx=（1-Rx）*100， XA：扫频、B: 路测、C：MR、D：CQT（后续加入投诉、流量、仿真计分办法）其中wA=0.4, wB=0.25, wC=0.2, wD=0.15得分只取栅格内有效数据参与计算：M即栅格内无效数据对覆盖质量评分无影响，只影响数

22、据完整性评分栅格染色：颜色：根据坏点比例，参考染色规则表格。透明度：根据完整性得分，栅格透明度百分比=（完整度得分/100）2.2.2基于时间序列的问题点归并完成对首次数据的记录后，创建实时问题库。当有复测数据提供时，需要将新问题库与原始实时问题库进行对比，在保证原始问题点个数不变的同时更新实时问题点列表，并将新的可能问题点加入更新后实时问题库。随着全年基站逐渐建设及覆盖完善，问题点的表现形式主要细分为以下几种情况：原始问题点的偏移（栅格形状不变）；原始问题点栅格的减少与增加（栅格形状改变但未出现分离情况）；单个原始问题点的分离；多个原始问题点的聚类；新问题点的出现；针对以上可能出现的5种情况

23、，平台内部导入数据处理流程逻辑框图如图所示，逻辑图核心出发点在于栅格编号（包括新问题点与旧问题点），对比原始问题点栅格编号与下一次复测问题点栅格编号，并对每一次新显现出的新栅格编号进行分类处理，下面针对逻辑流程图中六个关键步骤进行详细说明：图3 数据处理流程逻辑图事件：将复测栅格聚类处理的结果导入平台程序中，栅格聚类的结果应包括每一个问题点所包含的栅格编号、栅格个数信息与弱覆盖级别等信息；事件：将复测信息与原始信息进行映射对比，主要对比复测前后问题点中所包含栅格的编号，并对映射结果进行分类（分为两类：与原栅格编号相同/与原栅格编号不同），相同编号的栅格点仍归为原问题点中，不同编号栅格点进行下一

24、步分类；事件：将新增栅格点进行分类，判决条件为栅格编号是否处于原始问题点周围所包含栅格集中，例图4所示：图4 子栅格集图4中红色区域为原始问题点所及包含区域栅格，黄色区域为原始问题点周围子栅格集，在区域地图确定之后，栅格的编号也随之确定，那么，可以非常容易的得到图4中黄色栅格对应的栅格编号，将事件中所得到的不同编号栅格点与之对应，作为判决条件进行分类，分类结果分别进行伪栅格点从属判定或真栅格点归类。事件：对于属于原问题新增栅格子栅格集中的栅格点（下面简称为伪栅格点）继续进行分类，主要可以分为两种情况，伪栅格点从属于一个问题点/伪栅格点从属于多个问题点，如图5所示： 图5 两种不同情况栅格分类对

25、于第一种情况，伪栅格点应直接从属于原始问题点A，在输出EXCEL表中复测信息问题A行与汇总更新信息A行同时加入伪栅格点信息（编号，电平，弱覆盖级别等）；对于第二种情况，伪栅格点从属于多个原始问题点的子栅格集，为栅格点从属于直接从属于原始问题点B（左上角问题点，在算法处理中可用伪栅格点编号X-1或X-99进行寻找），与第一种情况一致，在输出EXCEL表中复测信息问题B行与汇总更新信息B行同时加入伪栅格点信息。事件：需要对不从属于任何原始问题点子栅格集的“真栅格”进行进一步分类，同样真栅格点也可以分为以下两类，如图6所示： 图6 两种不同情况“真栅格”分类对于第一种情况，新增“真栅格”点成片存在（

26、在算法中仍可用Rsqrt(2)进行判决），在输出EXCEL表中复测信息问题行与汇总更新信息行同时新增一行，以单一个新问题点进行记录；对于第二种情况，新增“真栅格”点以多个问题点的形式存在，需要对其进行二次栅格聚类算法处理（事件），在输出ECCEL表中复测信息问题行与汇总更新信息行同时新增多行，以多个新问题点进行记录。2.2.3需求派单在每轮原始测试等数据处理后，生成新一轮的问题点，去重后对于新增问题点派发工单给分公司。下图所示新增问题点即为需要派发工单的问题。2.2.4网络规划分公司接到工单后完成弱覆盖原因分析和网络规划。2.2.5验证评估传统的后评估由于缺乏精细量化的支撑，只能做到大面上的覆

27、盖率等指标的评估，无法做到针对所有问题点的站点落地后解决效果的精细评估。借助本工具则可全量快速验证所有问题点的解决效果，精确输出各分公司解决情况不理想的问题点，指出分公司在后续规划和建设中需要继续努力的具体着力点。同时，还可以对问题点进行逐月验证，一旦针对问题点的规划站点落地开通，就可以及时评估该问题点的解决效果，这就给解决效果不是很理想的问题点的进一步解决留下了更为充足的时间。三、创新点创新点一：基于栅格量化的问题点识别我们基于100米栅格地图，利用kettle、QGIS、postGIS等工具，通过栅格映射、栅格聚类等技术识别出弱覆盖簇，并以表格和图层的形式输出指导建站需求。创新点二：基于多

28、维数据的问题点归一栅格组成的问题点判断已经可以是单一的路测数据、MR数据、扫频数据，也可以为多维度的弱覆盖问题呈现，对栅格进行多维度数据源的综合评分。CQT测试结果CQT测试结果MR、路测与扫频结果MR、路测与扫频结果创新点三：基于时间序列的问题点归并初次智能识别弱覆盖簇之后，实现基于时间序列的问题点归并，将不同时期复测的弱覆盖簇进行比对，实现新增问题点的需求工单派发，指导后续网络规划及规划效果后评估。四、效果问题点识别的准确性以武汉27号滚动规划簇试点为例，对比人工分析弱覆盖聚类问题点， 剔除独立弱覆盖栅格后，所有弱覆盖区域均可正确识别并输出聚类结果。人工识别问题数量自动聚类完全匹配数自动聚

29、类部分匹配数未识别问题数8350以下为图层显示： 上图中左图为人工识别方式找出的弱覆盖区域，人工识别的问题点数有8个弱覆盖区域。右图为自动聚类识别的弱覆盖区域，其中完全匹配数3个，部分匹配数5个。问题点识别率为100%，并且每个问题点的栅格都有该问题点编号，便于统计和评估。智能识别弱覆盖区域可以有效的弥补人工识别的遗漏，精准的识别网络规划的需求，有效的指导网络规划决定。问题点识别的效率传统的簇滚动项目，从2014年11月到2015年6月持续每月进行一次，由网优专家和地市规划人员对接，根据路测数据找出找出问题点，并用mapinfo简单标出问题点，制成文档进行保存。以武汉为例所有问题点识别约需12*2=24天。而用智能化的工具识别，在运行程序仅需要1天时间就可以根据路测数据找出问题点，并且对问题点编号、归类、分析、归档。弱覆盖问题