基于移动网络信令数据的实时人流量统计方法

1、吴松1 ，雒江涛1，2 ，周云峰3 ，林举厅4 ，舒忠玲4( 1 重庆邮电大学 通信与信息工程学院，重庆 400065; 2 重庆高校通信网测试技术工程研究中心，重庆400065; 3 中国移动通信集团北京有限公司，北京 100007; 4 重庆重邮汇测通信技术有限公司，重庆 401121)摘 要: 为了实现城市区域人流量实时动态性、有效性统计，提出一种基于现网移动网络信令数据对城市自定 义区域实时人流量进行监测的方法。该方法充分利用现网移动信令数据样本容量大、覆盖范围广、数据稳定可 靠的特点，通过对手机信令数据相关字段分析挖掘，结合 GIS 技术实现了自定义区域实时人流量智能化统计。 经过北

2、京移动信令处理平台应用，该方法较为有效，能对北京市各区域实时人流量进行较为准确的统计。 关键词: 自定义区域实时人流量; 信令数据; GIS 技术; 信令处理平台中图分类号: TP393文献标志码: A文章编号: 1001-3695( 2014) 03-0776-04doi: 10. 3969 / j issn. 1001-3695. 2014. 03. 033Method of real-time traffic statistics using mobile network signalingWU Song1 ，LUO Jiang-tao1，2 ，ZHOU Yun-feng3 ，LIN J

3、u-ting4 ，SHU Zhong-ling4( 1 School of Communication Information Engineering，Chongqing University of Posts Telecommunications，Chongqing 400065，China; 2 Chongqing Universities Communication Network Test Technology Engineering esearch Center，Chongqing 400065，China; 3 China Mobile Group Beijing Co ，Ltd，

4、Beijing 100007，China; 4 Chongqing Chongyou Huice Communication Technology Co ，Ltd，Chongqing 401121， China)Abstract: In order to realize the real-time dynamic，effective statistics of regional human traffic，this paper proposed a met- hod of traffic monitoring based on the existing network mobile netwo

5、rk signaling data The existing network mobile signaling data was with the advantages of large sample size，covering a wide range，stable and reliable data By making full use of the advantage and combined with GIS technology，the way achieved the purpose of intelligent statistics to custom area real hum

6、an traffic through the analysis of the related fields of cell phone signaling data mining Through the application of Beijing mobile signal processing platform，the test result of this method comes out to be accuracy and validityKey words: custom area real human traffic; signaling data; GIS technology

7、; signal processing platform0引言对城市各区域人流量进行实时有效统计是目前城市交通 信息化建设1的重要组成部分。目前，为了获得某一区域实 时性人流量数据，一般采用人工计数和基于立体视觉的行人流 量统计两种方法。人工计数的方式适用于一些小型化区域如 商场、广场，虽然实施较为简便，但是也存在不少的缺点: a) 人 流量是动态的，某一时间段的人流量状况不能代表所有时间的 实时人流量; b) 在人流量较大时候人工计数统计误差较大，所 以这种统计方式统计出的结果只可用于定性了解，实际价值不 高。基于立体视觉的人流量统计方式主要利用双目摄像机原 理，采用两个 CCD 摄像机，运

8、用双目立体视觉技术、摄像机标 定算法与立体匹配算法对人流量进行统计2。这种统计方式率达到了相当高的比例3，人们日益认识到移动通信网络中 的手机信令数据可以作为一种理想出行分析探测器，本文就是 基于现网移动信令数据，提出一种通过对现网全网相关接口 ( A 接口、Mc 接口、HSTP 等) 的海量用户信令基础信息进行存 储分析，建立移动网络小区与交通小区之间的匹配映 射 模 型4，5，进而得到基于手机信令数据的公众出行信息的方法， 为城市规划、交通规划、管理资源配备、外来人口管理、政策制 定等政府管理行为提供数据支撑。1统计方法与实现过程1. 1 统计方法利用手机移动网络信令数据对城市区域人流量进

9、行统计6。与人工计数方式相比更加智能化，对铁路站、机场以及一些大分析是一种新兴的广域人流量探测技术根据无线通信网型的展览馆比较适合，但是由于要部署大量的摄像机与服务 器，部署周期较长，硬件成本较高，后期维护成本也较高。随着 3G 等无线通信技术的迅猛发展，手机普及率、使用络的覆盖特性，以及无线通信网络需具备为移动用户连续提供 服务的功能，移动用户手机终端会定期或不定期地、主动或被 动地与无线通信网络保持联系，这些联系被无线通信网络识别收稿日期: 2013-05-31; 修回日期: 2013-07-05 基金项目: 国家科技重大专项子课题( 2012ZX03005002-005) ; 重庆高校优

10、秀成果转化资 助项目; 重庆市知识产权专项资金资助项目作者简介: 吴松 ( 1986-) ，男，河南商丘人，硕士研究生，主要研究方向为通信网协议、通信网测试技术研究与开发( 714761084 qq com) ; 雒江涛 ( 1971-) ，男，河南郑州人，教授，博士，主要研究方向为新型网络技术和测试方法; 周云峰( 1973-) ，男，河南内乡人，高级工程师，博士; 林举厅 ( 1980-) ，男，广东广州人，高级工程师; 舒忠玲 ( 1979-) ，男，湖北麻城人，硕士为一系列的控制指令，称之为手机信令7 9。通过在移动网络 现网相应接口上安装信令采集设备，并将采集到的信令数据传 送至专用

11、服务器进行分析、处理，在对个人隐私信息加密处理 后可以分析得到手机用户的空间移动10、分布规律，进而得到 与出行特征相关的重要信息。通过移动通信网络中手机信令进行人流量分析的一个根 本性依据是通过移动用户发生的通信事件记录来判断该用户1. 2 实现过程图 2 实时人流量统计数据流程图所处的位置。根据通信事件发生的区域，首先对用户的几个行 为轨迹进行定义:a) 区域内( inside) ，表示用户处在目标区域范围内; b) 区域外( outside) ，表示用户处在目标区域范围外;c) 离开( leave) ，观察到驻留在某区域的用户在该区域以 外的任何一个地方发生任何一个通信事件，则认为该用户

12、离开 了该区域;d) 出现( appear) ，观察到用户在一个区域发生任何一个通 信事件，则称用户在该区域出现，用户在某区域第一次出现则 认为用户进入该区域。用户区域状态跃迁图如图 1 所示。图 1 区域状态跃迁图实时性人流量获取主要按照以下步骤:a) 建立目标人群。首先获取上个整点快照用户，如果 系 统初次运行，则为空; 然后获取统计时段内( 两个整点时刻间) 在目标区域出现的所有用户( 出现用户) ; 快照用户加上出现 用户去重后构成完整的目标人群。b) 追踪目标人群在统计时段的全网事件记录，找到最后 一个事件。c) 根据最后事件的发生区域判断用户最后的位置。如果 某用户最后一个事件发生

13、在目标区域以外，则表明该用户已离 开目标区域，则在目标用人群中减去该用户; 否则，表明该用户 仍在目标区域。遍历所有目标用户，最终得到下一整点时刻目 标区域的最终存量用户。d) 统计汇总。在存量用户中，根据用户不同归属地进行 分类汇总，得到各类用户的数量。MFF_ BUSINESS_ ALL( 基本数据表) 是算法进行的基础 表，该表除包含源信令数据的 CELLID、LAC、MSISDN 等字段信 息外，还有源信令数据 SISDN( MSISDN 的前 9 位) 与手机号码 归属地表联查得到的 COMEFOM( 手机归属地信息) 与USE- TYPE( 用户类型) ; MFB_ USE_ LA

14、STEVENT( 最新网络事件 表) 是根据 MFF_BUSINESS_ALL 得到的目标人群在统计时段 内最新事件记录表( 默认为以 5 min 为时间粒度) ，主要包含 CELLID、AICODE( 区 号) 与 USETYPE ( 用 户 类 型) 字 段;MFS_ EGION _ USE ( 区域驻留用户表) 是 由 MFB _ USE _ LASTEVENT 计算分析得到的目标区域最终存量用户表，该表 和 DIM_ TIME ( 时 间 维 度 表) 联 查 得 到 包 含 AMOUNT ( 人 流 量) 、COMEFOM( 手机归属地信息) 等字段的 MFS _ EAL- TIME

15、_AMOUNT( 实时人流量表) 。算法主要在系统数据库中 ETL 工具集中实现，整个算法的数据处理流程如图 2 所示。该统计方法可以根据不同需求设置不同的时间粒度对目 标区域的实时性人流量进行监测，如整半点、一小时等粒度，所 不同的是建立目标人群的开始时刻和统计时段的大小。除此 之外，该算法还可根据归属地的不同将各区域实时人流量分为 本地流量、外 省流量、国 际流量，外 省流量可细分至地 市5。 算法的具体实现分为以下四个过程。过程 1 生成 MFF_BUSINESS_ALL( 基本数据表) 该过程首先接收从甲方区域服务系统获取现网信令数据，然后对接收到的信令数据中的 MISDN、IMSI

16、等字段进行处理， 最后将处理后的信令数据存储到表 MFF_BUSINESS_ALL( 基 本数据表) 中。该过程主要涉及用户类型的判断、MSISDN 的 加密、IMSI 的主键、去重设置算法，其具体实现过程如下所示:a) if ( CELLID = 0 O NULL)/ / CELLID 为零或者为空时，影响下一步统计DELETED 该条信令数据elseENCYPT MISDN then;/ / 加密 MISDN PIMAY KEYS IMSI ;/ / 将 IMSI 设置为主键b) 将从甲方区域服务系统接收并读出来的文件按照事先 配置好的行分隔符切分成一行一行的数据，然后按照配置的列 分隔符

17、把每个字段切割出来，最后根据字段 SISDN( 手机号前 9 位) 判断用户手机归属地。if( CC! = 86)/ / SISDN 有 CC( 国家码) + NDC( 国内目的码) 组成，中国 CC 为 86 USETYPE = 2;/ /2 表示为国际流量else if ( NDC! = MFB_MOBILE_CALLELOC SISDN)/* MFB_MOBILE_CALLELOC 为国内 ISDN 的存储匹配表，存 储例为 1522338* /USETYPE = 0;/ /0 表示为本地流量else INSET MFB_MOBILE_CALLELOC AICODE INTO MFF_B

18、USINESS_ALL COMEFOM;/* AICODE 为归属地区号，若查询不到归属地区号，默认为本地 流量* /if( COMEFOM! = NULL AND 010)/ / 以归属地 010 北京为例USETYPE = 1;/ /1 表示外地流量elseUSETYPE = 0 ;c) 处理下一条信令数据，返回 a) ;·778·计 算 机 应 用 研 究第 31 卷过程 2生成 MFB_ USE _ LASTEVENT ( 最新网络事件表)该过程利用 MFF_BUSINESS_ALL 中的信令数据，以 5 min 为时间粒度按 IMSI 进行去重，生成 MFB_US

19、E_LASTEVENT ( 最新网络事件表) 。具体实现如下:a) GOUP BY IMSI;/ / 为去重化处理作基础SELECT * WHEE MAX( OWID) ;/* 完成去重，并挑选出最新网络事件( 默认为以 5 min 为时 间粒度) * /b) INSET INTO MFB_USE_LASTEVENT;/ / 统计结果插入 MFB_USE_LASTEVENT过程 3 统计区域驻留用户MFS_EGION_USE( 区域驻留用户表) 按 5 min 时间粒 度进行分析计算，该过程为每 5 min 获取用户最新事件表的数 据，结合区域信息数据，确定用户最新事件发生的所在区域，并 根据

20、历史的驻留信息计算得出最新的区域用户驻留信息。由 于区域用户驻留表为实时更新的表，所以在计算过程中需用到 一张相同结构的 MFT_EGION_USE( 临时中间表) 。具体实 现过程为:a) V_SQL: = 'TUNCATETABLE MFT_EGION_USE'/ / 清空临时表 MFT_EGION_USE 中数据EXECUTE IMMEDIATE V_SQL; COMMIT;/ / 结束当前事务，并将所有数据变更提交数据库生效;b) 统计区域驻留用户，即当前 5 min 最新用户事件发生的 区域用户与原驻留表 MFS_EGION_USE 中的区域用户的交 集，插入到临时表

21、 MFT_EGION_USE 中。伪代码实现如下:INSET INTO MFT_EGION_USE;( SELECT EIGIONED，MISDN，CELLID，DIMTIME， FOM ( TABLE1 )/ / TABLE1 为当前 5 min 最新用户事件发生的区域用户表 ( SELECT C EGIONID，C CELLID FOM TABLE2)/ / TABLE2 为原驻留表 MFS_EGION_USE 中的区域用户WHEE A EGIONID = B EGIONID AND A IMSI = B IMSI) ;c) 统计区域新出现用户，即当前 5 min 最新用户事件发生 的区域

22、用户与原驻留表 MFS_EGION_USE 中的区域用户的 差集，插入到临时表 MFT_EGION_USE 中。伪代码实现类 似 b) ，这里不再赘述。d) 原驻留用户表 MFS_EGION_USE 中的用户与当前 5 min 最新事件的用户的差集，此部分用户视为驻留用户，插入 到临时表 MFT_EGION_USE。但长时间未更新时间的用户 ( 如超过 2 h 为发生事件) 将被清除。e) 清空原驻留表 MFS_EGION_USE 中的数据，将新的 数据从临时表 MFT_EGION_USE 插入到驻留表 MFS_E- GION_USE 中。V_SQL : = 'TUNCATE TABL

23、E MFS_EGION_USE'EXECUTE IMMEDIATE V_SQL; COMMIT;/ / 清空区域驻留用户表中的所有数据INSET INTO MFS_EGION_USE( SELECT* FOM MFT_E- GION_USE_U ) ;/ / 插入更新后的数据f) 每当分析计算半小时的数据后，需将区域驻留用户表 MFS_EGION_USE 的数据插入到区域用户快照表中( MFS_ EGION_SHOT) ，区域用户快照表保存每半小时时刻的区域驻 留用户信息。过程 4 AMOUNT( 实时人流量) 统计 实时人流量主要根据表 MFS_EGION_USE( 区域驻留用户表)

24、 进行实时统计得到结果。将表 MFS_EGION_USE( 区 域驻留用户表) 和时间表 MFD_DATETIME 通过时间相等进行 联查，获取相应查询结果字段，并将结果集插入到表 MFS_E- ALTIME_AMOUNT( 实时人流量) 供前端调用。统计实现伪代 码如下:SELECT A EGIONID，A COMEFOM，/ / 搜索区域、归属地两字段信息TO_DATE( B DIM_DAY，'YYYYMMDD') PUBDATE，/ / 对时间进行限制COUNT( * ) AMOUNT，A USETYPE，/ / 统计用户类型与区域人流量SYSDATE CEATED_TI

25、MEFOM MFS_EGION_USE A，MFD_DATETIME B WHEE A UPDATED_TIME = B DIM_TIME;/ / 对区域驻留表与时间维度表联查INSET INTO MFS_EALTIME_AMOUNT;/ / 统计结果插入实时人流量表2 测试结果及分析算法在北京移动信令处理平台上实现，该平台基于北京移 动云计算平台建设，如图 3 所示。目前该系统已成功上线，并 一直稳定运行。北京移动信令处理平台利用云计算平台对北 京市海量现网移动网络信令数据进行存储、分析，实现北京市 人流量分析与出行分布分析业务有效统计。首先平台通过接 口将采集到的现网移动网络信令数据汇总到

26、信令处理平台的 临时缓存，经过压缩、建立原始数据索引、加密等预处理后将数 据存放至细节数据库; 然后分析服务器将细节数据库中的数据 使用包括提取( extract) 、转换( transform) 和加载( load) 的 ETL 程序集( 应用数据库存储过程，结合相关算法和分布式数据库 等多种技术，根据不同的业务需求相应设计的专题工具) 来分 析统计数据并将分析处理结果存放至数据仓库; 最后通过数据 服务引擎和应用接口来提供人流量和人口出行分析的分析结 果或报表。为了实现算法的验证，首先在客户端后台 Web 页面利用 GIS 画出一指定区域; 然后选定待测用户进入该区域，选定某 一时间在信令

27、处理平台 DB 的区域驻留表中查找待测用户是 否在指定区域; 最后利用客户端前台 Web 查看区域统计的实 时人流量与数据库中统计数值是否一致。通过对手机信令数据信息采集、分析处理，可以获得城市 人口分布的动态信息，可以为交通规划提供详细、实时的人口 分布信息并可以避免传统统计方法的各种弊端。这里以北京 市动物园交通枢纽为例，绿线框内为分析区域，绿色小圆圈代 表基站位置，如图 4 所示( 见电子版) 。园及周围的客流运行，数据展示符合人们的出行规律。通过该 统计方法能准确获取各区域实时人流量动态，便于交通部门针 对客流变化及时调整资源配备。与传统统计方法相比，该方法 在实时性方面得到巨大提升，

28、同时，还能进一步区分移动用户 的来源，可精确到地区，这对于政府管理部门及时掌握人员流 动状况提供了极大方便。数据分析结果已通过北京市相关部 门验证，目前该产品已在北京移动正式上线运行。3结束语图 3 基于云计算的信令处理平台系统结构图确定统计区域后系统会自动生成区域 ID 号，此时选定时 间调用算法。这里以图 4 中分析区域( 动物园交通枢纽) 2013 年 5 月 6 日展示数据为例，部分统计数据导出结果详情如表 1 所示，Web 数据展示如图 5 所示。图 4 分析区域图 表 1 统计数据详表图 5 实时人流量数据展示图由表 1 与图 5 可知动物园交通枢纽上午 8 时人流量逐渐 增大，1

29、3 时左右达到最大值 37 488 人次，此时本省流量31 875 人次，外省流量 5 580 人次，国际流量 33 人次; 日平均人流量 23 961 人次 / 时( 总流量之和 /24) 。该交通枢纽主要承担动物本文提出了一种基于移动网络信令数据的实时性人流量 算法，并基于北京移动信令处理基础平台完成了对算法的验 证，成功实现了对自定义区域实时人流量智能化统计，展示出 实时数据统计结果。应用论文成果可直接完成对现网手机信 令数据的分析处理，通过对业务数据的进一步挖掘可以实时监 控各区域人口动态分布，生成人口出行链表，为科学制定交通 规划与交通改善决策提供更强有力的数据支持。参考文献:1 冉

30、斌 手机信令数据在城市交通管理中的应用J 东南大学学 报: 自然科学版，2012，12( 1) : 124-1282 张艳琼 基于立体视觉的行人流量分析J 计算机测量与控制，2008，5( 5) : 12-173 关志超，胡斌，张昕，等 基于手机数据交通规划、建设、管理决策 支持应用研究C/ / 中国智能交通年会优秀论文集: 智能交通运 用 北京: 中国智能交通协会，20124 赖建辉，陈艳艳，钟园，等 基于手机定位信息的地铁乘客出行路 径辨识方法J 计算机应用，2013，33( 2) : 583-5865 信令处理基础能力平台技术规范书 重庆: 重庆重邮汇测通 信技术有限公司，20126 杨飞，裘炜毅 基于手机定位的实时交通数据采集技术J 城市 交通，2005，3( 4) : 63-687 张博 基于手机网络定位的 OD 调查的出行方式划分研究D 北京: 北京交通大学，20108 刘杰，胡显标，傅丹丹，等 基于无线通信网