电信基于位置分析的区域客流预警方案.doc

121基于位置分析的区域客流预警方案基于位置分析的区域客流预警方案中国中国电电信上海公司信上海公司总师总师室室2016年年4月月221目录目录1方案背景方案背景.-3-1.1前期工作情况.-3-1.2基站定位问题.-5-1.2.1顾村樱花节客流监控系统的定位数据基础.-5-1.2.2顾村樱花节应用的区域人数计算方法.-6-1.2.3OIDD基站定位的局限性.-7-1.2.4电信手机占有率估算的局限性.-8-2优化方案优化方案.-9-2.1基于三类数据的融合定位.-9-2.2OIDD信号漂移问题优化.-10-2.3P和LTE定位方法补充.-12-2.4网格指纹库定位技术补充.-13-2.5人数计算方法的校准.-14-2.6客流预警功能优化.-14-3系统架构与功能系统架构与功能.-17-3.1系统整体架构.-17-3.2系统主体功能.-17-3.3处理流程与时限.-18-3.4系统部署架构.-19-4工作推进计划工作推进计划.-19-3-211方案背景方案背景1.1前期工作情况前期工作情况2015年由理想公司配合宝山局为宝山公安开发了顾村樱花节客流监控系统，将基于基站定位的区域客流统计分析应用于实战。在樱花节期间，客流监控系统为宝山公安提供了园区及周边的客流统计和地图热力展示。在实际使用过程中，结合公安和区局的宝贵意见，对系统功能和定位算法进行不断调整和修正，发现了问题，也积累了经验。项目建设历程如下：顾村樱花节客流监控系统，基于每2分钟传输的顾村公园OIDD基站（22个基站）信令数据，实现每30分钟更新的准实时大人流监控与三级告警。系统的主要功能包括（1）对顾村公园周边15个地块的当前人数、变化量进行统计和热力图展示。-4-21（2）系统提供每小时指定地块的人数统计，可以任意选择历史上的某一天进行人数的对比分析。（3）系统提供指定地块指定时间段内的每日人数统计，提供工作日平均值、双休日平均值和历史最高值的对比。-5-21（4）提供每天和每小时的互联网用户指定搜索关键字的统计，以便进行大人流的超前研判和预警。1.2基站定位问题基站定位问题2015年顾村樱花节客流监控系统采用OIDD基站定位方法统计园内人数，与园区实际客流人数相比，存在较大误差。现对原因进行分析：1.2.1顾顾村村樱樱花花节节客流客流监监控系控系统统的定位数据基的定位数据基础础每2分钟的顾村相关22个OIDD基站数据，主要用于准实时的计算：当前基站的人数-6-21对应区域的人数区域的人数变化区域的告警级别人群的流向分析每天OIDD全量数据，主要用于非实时计算：基站的历史人数峰值、平均值区域的峰值、平均值人群的来源地和去向地定位人群活动类型分析：常住、工作、途经、游园人群的大范围轨迹跟踪1.2.2顾顾村村樱樱花花节应节应用的区域人数用的区域人数计计算方法算方法1.根据客户的监控区域要求，结合电信基站位置，进行地块的划分。2.根据基站的信号覆盖范围（可能需要实地监测）和地块的面积，大致估算基站用户中属于该地块的比例。前提假设是基站内人群平均分布，需要实地考察，以便了解实际的人员集中地点，从而调整比例值。3.根据工作日和双休日节假日、开园时间和闭园时间的人流集中情况，进一步区分不同时段的比例值。-7-214.在当前基站用户中，进一步剔除常住人口（每晚居住）、途经人口（停留小于半小时）、工作人口（工作日稳定出现）。5.按照电信手机市场占有率18%，以及游园人群中使用手机的人占比90%进行估算，将地块内的电信用户数6，得到地块的全部人数。1.2.3OIDD基站定位的局限性基站定位的局限性（1）单点定位问题：OIDD只能做到单点定位，只能知道用户在一个几百米-几公里的圆形区域内。因此一个地块内人群的实际分布难以计算。结合扇区信息，可以判定用户在圆形的某个13区域。但OIDD的基站扇区的朝向和倾角信息当时获取不到。（2）OIDD数据稀疏问题：OIDD主要是用户通话、短信行为等触发的信令记录，当用户不发生此类动作时，OIDD中就没有记录。理论上每半小时会有一次心跳记录，但实际传送给大数据平台的OIDD数据中并没有包含心跳数据。以下为OIDD数据稀疏的样例：-8-21（3）OIDD信号漂移问题当用户处于两个基站边缘时，即使是没有移动，在OIDD记录中也会出现基站的跳变。因此通过OIDD难以区分是哪些是用户真实的移动，哪些只是信号漂移现象。以下是信号漂移问题的样例：1.2.4电电信手机占有率估算的局限性信手机占有率估算的局限性顾村系统通过电信手机用户的市场占有率推算全部人数，该方法存在两个局限性：一是在不同的地区，电信手机的用户占比是不同的，例如：在电信园区占比必然高。因此电信手机的用户占比不是常数。二是在不同的时间、不同场景下，手机用户数在人群中的占比是不同的，例如：演唱会占比必然高于工作日公园游园人群。因此手机用户数在人群中的占比也不是常数。-9-21基于以上OIDD基站定位的局限性和手机占有率估算的局限性，导致2015年顾村樱花节系统的园内人数统计准确性不高。2优化方案优化方案2.1基于三类数据的融合定位基于三类数据的融合定位为了更加全面和准确的对电信手机用户进行定位和统计，需要综合考虑不同手机制式和通信场景下的定位数据选择。现将各种手机制式和通信场景下产生的可用于定位的数据进行梳理：上表中标的数据，为对应制式和场景下的最优定位数据。数据选择原则为：可三角定位数据优于不可三角定位数据；信令数据优于计费话单数据如果要完整覆盖2G、3G、4G用户的各类通信场景进行基站定位，需要OIDD、P和LTE三种数据进行融合定位。定位总体思路如下：-10-21通过三类定位数据的多种定位方法综合运用，最终形成电信统一的用户位置基础信息表，供各类上层应用调用。用户位置基础信息表的样例如下：2.2三类定位数据现状三类定位数据现状（1）OIDD数据现状全市OIDD数据每天一次传输给大数据平台具备200基站的定向5分钟批次输出大数据平台能力，需特别申请-11-212015年OIDD五期中不具备全市5分钟批次输出能力（2）P数据现状全市P数据每5分钟批次传输给大数据平台的工程4月中旬完成数据中包含1X和EVDO两部分信令数据，可用于三角定位P定位算法有多套，理想公司、研究院和移互部，需要测试确定最优方案。（3）LTE数据现状MR数据应5分钟批次传输给大数据平台，目前华为5分钟、阿朗15分钟、中兴15分钟MR与手机号码关联的Link文件生成周期为数小时到1天不等。LTE三角定位算法研究院正在大数据平台测试2.3OIDDOIDD信号漂移问题优化信号漂移问题优化信号跳变（漂移）的定位算法，基于以下三个假设条件：信号跳变由干扰引起，而非目标的移动；任何基站的覆盖范围、信号发射强度相同；周边建筑物、电网、电力电子设备等对电磁波无干扰。OIDD信号漂移定位方法：信号漂移定位方法：设某个人的周围有k个基站，基站的坐标分别为：_1:(_1_1)_2:(_2_2)_:(_)在某一段时间内，此人的手机信号在这k个基站间来回跳变。因未知每个基站的覆盖范围、信号发射强度、周边建筑物、电网、电力电子设备等对电磁波的干扰，故此处假设所有基站的覆盖范围相同，且不受建筑物和天气因素的影响。由此假设可得到以下推论：当信号在这两个基站间跳变时，人所在位置在平面上的分布必为对称分布，且位置的期望必为两基站连线的中心，如图所示。-12-21(x1y1)(x2y2)通过计算当前位置的期望区间和方差区间，可以反推出手机的当前位置，下图为定位结果的示意图。(x1y1)(x2y2)期望位置(x3y3)(x4y4)90%概率区域2.4PP和和LTELTE定位方法补充定位方法补充P和LTE数据中均包含场强和时延信息，均可以通过三角定位方法进行准确定位。定位方法可分为两大类：（）场强三角定位，根据场强计算手机距各个基站的距离，再反算手机的位置。示意图如下：-13-21S1S2(x1y1)(x2y2)(x3y3)tS3该算法的特点和适用性如下：定位精度高算法复杂，受天线发射功率、天气、建筑物、电力电子设备等的影响较大，更适用于天气晴好、无遮挡、无强电磁干扰的环境当前P和LTE数据中包含场强信息，具有实施可能（）基于时延的三角定位：TOATDOA（time(difference)ofarrival）多个基站同时接收信号，根据信号到达时间，计算距各个基站的距离。算法示意图如下：S1S2(x1y1)(x2y2)(x3y3)tS3该算法的特点和适用性如下：定位精度高算法复杂，对系统的时间同步性要求极高（需精确到纳秒级）当前P和LTE数据中包含到达时间信息，具有实施可能2.5网格指纹库定位技术补充网格指纹库定位技术补充可以采用网格指纹库定位技术进一步提高P和LTE基站定位的准确性，-14-21实现百米以内的定位精度。在监控核心地块划分50m50m的虚拟网格，采用实际路测的方法，测量每个网格内的基站场强和时延特征值，建立网格通信特征指纹库（3G和4G分别建立）。通过比对手机用户上报的实际测量报告数值，精确判定用户所在的网格，从而精确定位用户当前所在的位置。算法示意图如下：指纹库架构与数据流程如下：-15-212.6人数计算方法的校准人数计算方法的校准.根据公安提供的公园门票数据，与系统估算的人数进行比对，进一步调整计算方法。人群中常住、工作、途经、游园的具体计算规则需要进一步调准。例如：途经人群的判断是停留时间30分钟，还是20分钟。.电信手机用户占手机用户数的占比系数、手机用户数占总人数的占比系统的调整。.工作日与双休日的各种系数需要进一步调准。2.7客流预警功能优化客流预警功能优化（）超前预警根据用户在互联网上对监控区域的关键字搜索量，以及门户网站、论坛、旅游网站、团购网站等的点击量，与历史数据进行对比，提前发现用户的关注度趋势，从而进行超前的预测和告警。示意图如下：-16-21（）事前预警提前1-2小时进行目的地人流聚集的预测（基于预测模型，结合用户在地图导航App上的搜索，途径基站人流分析、天气节假日状况、区域人数同环比和时间序列，对未来客流量进行预测。）（）应急联动通过小区短信发送警示信息：目前支持对200个基站组成的小区进行同时-17-21发送，有效能力200条秒，用于公益类、紧急事件等的通知。可使用视图调用全球眼、WIFI进行可视、立体分层的现场确认。可联动800Mhz集群、Qchat等进行城市联动应急指挥。3系统架构与功能系统架构与功能3.1系统整体系统整体架构架构3.2系统主体功能系统主体功能系统功能分为两个主要部分，一是基础定位分析功能，二是客流监控预警应用功能。（）基础定位分析功能：（）基础定位分析功能：定位数据采集预处理：对OIDD、P和LTE三类数据文件进行采集、解析、格式化归一、时间戳同步、号码关联等预处理OIDD定位：根据OIDD基站位置、扇区和天线角度等，进行粗定位计算；-18-21P三角定位：根据P的场强、时延数据，进行三角定位计算；LTE三角定位：根据LTE的MR中的场强、时延数据，进行三角定位计算；统一用户位置信息表生成：综合三种定位数据，形成统一的用户位置信息宽表，通过开放API，供上层各类应用使用；GIS功能：提供统一的地图底图、图层管理、地图展示等功能。（）客流监控预警应用功能客流监控预警应用功能离线数据分析：基于DPI、话单等数据，进行区域互联网行为分析、互联网舆情分析、区域人群基本属性分析、用户基本属性分析、区域人群迁移分析等；在线数据分析：基于实时的用户位置信息及历史数据，进行区域人群流向、流速和密度分析、人流流动预测、客流数量预测、客流预警分析等；实时客流监控：提供实时客流分布热力图、实时人数统计、人群流向、流速、密度统计、客流构成情况、客流属性展示等功能；客流预警与预测：提供客流预警信息、互联网关注趋势预测、热搜统计、导航统计预测等功能；统计分析：提供客流历史回放、时段统计、同比环比、同类区域对比、趋势变化等统计分析功能；系统管理：提供用户管理、权限管理、阈值配置、区域配置、节假日配置、日志监控等功能。3.3处理流程与时限处理流程与时限系统数据处理整体流程如下图所示：-19-21系统处理性能指标如下：1.OIDD、P和OIDD数据源上报周期小于等于5分钟；2.基础定位分析完成时间小于等于4分钟；3.客流监控预警应用处理与展示时间小于等于1分钟；4.端到端处理时限小于等于10分钟；系统数据刷新时间小于等于5分钟。3.4系统部署架构系统部署架构本系统的部署架构如下图所示：互联网舆情数据MySQL数据库服务器BMySQL数据库服务器ATomcat应用服务器AGIS引擎服务器Tomcat应用服务器B客流监控预警平台数据源第三方数据源信令数据源DPI数据源电信大数据平台接口服务器大数据处理集群服务器流式处理服务器新增4台外部应用系统负载均衡设备Web服务器AWeb服务器BPC笔记本手机定位应用服务器A定位应用服务器B图中蓝色服务器为客流监控预警系统需新增服务器，预计在大数据平台流-20-21式处理服务器需增加PCServer4台，用于基础定位分析处理；在客流监控应用侧，需要新增Pcserver10台。4工作推进计划工作推进计划任任务务类类型型任任务务名称名称任任务务描述描述工工程程性性质质开开始始时时间间完完成成时时间间责责任任单单位位配配合合方方P数据采集移互部P数据传输进入大数据平台原有项目推进去年4月7日移