xx市水文局水文预警信息发布系统解决方案

xx市城市水文局黄岛分局水文预警信息发布系统项目解决方案一、项目背景为应对突发天气带来的城市雨洪内涝灾害监测及预警信息发布，提高城市运行管理水平，满足市民安全出行的需求，XX市水文局黄岛分局前期开展了“互联网+水文项目”，其中城市积水监测及数值模型模拟分析已初步具备分析条件，为做好最后一公里的应用，特向电信运营商提出了基于位置信息的城市预警信息发布平台。该项目已列于黄岛区2017年城市建设规划中。二、项目需求该局提出目前一期需求是针对黄岛东西两区的主城区道路积水区进行短信实时发送动态预警需求，积水区区域大约40余处（西区），发送短信范围为：2.1进入积水区的人员、车辆信息告知；2.2随着雨情变化进入新的积水区的居民及进入该区域的人员车辆信息告知。2.3积水区是根据雨洪灾害是动态变化的，要求响应时间快。三、山东移动大数据服务优势战略优势：根据中国移动2020战略规划，为适应移动互联网发展要求，中国移动将加快推进从语音经营向流量经营转型，从移动通信业务向创新型全业务转型，由拓展通信业务向拓展数字化服务转型，以数字化方式为用户提供更丰富、更便捷的各类生活和生产服务，打造优质智能管道，成为值得信赖的数字化服务专家。数据优势：（1）山东移动拥有70%以上移动通信市场占有率。（2）客户资料实名制率超过99％。（3）业务支撑系统自创建至今，积累了近20年的客户消费行为数据。（4）移动拥有丰富的网络信令数据，用户在每一个业务应用和操作时，包括语音通话、收发短信等业务时，都会在网络侧记录用户相关的基站位置信息，除此之外还有用户的主动位置更新（更新LAI）和定期的位置更新（一般为2小时以内），也会记录用户的位置信息，通过这些信令数据上下文，我们可以通过基站描点勾勒出用户的活动轨迹。海量信令数据完整描述用户的位置移动规律。（5）目前平台拥有4P数据存储能力，能够实时采集用户位置和行为信息，每天实时处理信令数据超过20T，并对信令完成粗加工、精加工，形成用户达到某区域、发生某行为的特定信息及基于客户历史行为信息挖掘建模生成的客户消费特征标签信息。平台技术优势：山东移动于14年构建基于hadoop、mpp数据库的大数据平台，满足海量数据处理需求。基于hadoop、mpp数据库、资源饰，建设数据服务平台平台，解决数据安全、海量数据实时处理、多租户快速发布及可视化展现等问题。平台分为PAAS平台、数据中心、应用、统一门户、统一平台管控四层。应用层包括产品服务应用和基础数据应用。产品服务应用主要包括选址产品、客源分析产品、公共服务产品、营销辅助产品和其他产品。基础数据应用包括行业开发和脱敏数据开放等统一门户提供统一负载均衡、鉴权管理、统一管控平台接入、API注册、API管理、应用注册、应用发布、应用访问数据信息等功能，同时提供数据被应用访问的频次，被应用访问的数据范围，提供数据资产的评估，为应用上下线和数据开放提供依据。提供一个应用商店来展示与安装下载各类应用。根据不同类型的角色提供个性化的工作台视图界面，使用者门户、开发者门户、运维者门户等等。PaaS平台PAAS平台开放主要包括数据工厂、开发者IDE、服务管理、统一服务接口等部分。可以同平台把基础能力与数据，开放给应用开发者使用。并通过服务管理与对外接口部分把数据开放给外部用户使用。数据中心数据中心负责数据的存储，主要非为对内数据平台、对外脱敏加密数据平台、合作方数据平台与测试模拟数据组成。统一平台管控面向开发人员、运维人员实现数据、应用、资源的统一管控，包括：数据管控、多租户管理、运维管理、监控管理、调度管理、系统管理、安全管理。四、方案设计4.1系统架构系统架构图根据项目建设内容，实现对黄岛东西两区的主城区道路积水区进行短信实时发送动态预警需求，通过以上系统架构，协调各集群间的功能，使整个大数据平台的数据流转更实时、更高效、更智能、更配置化，减少原有传统使用文件进行流转的方式。具体集群功能如下：4.1.1Flume集群Flume集群是大数据平台实时计算与离线计算的转换平台，同时可以承担大规模数据的流转功能，减少文件传输和入库，且通过配置文件即可实现，提高开发效率和数据流转效率。读取文件、Kafka、HDFS、OGG/DSG工具日志等写入文件、Kafka、HDFS、Hive、HBase等对读取数据进行筛选和分发4.1.2Kafka集群Kafka集群是整个大数据平台实时数据交换的平台，所有的数据，如MC、GN、LTE、话单、资料等原始数据，Streams、事件中心等处理的结果数据，均在这个集群中实时进行数据交换。接收接口机转发的MC、GN、LTE等实时信令数据接收flume采集的数据库日志、话单等数据提供Streams实时数据读取，并接收Streams处理后的结果数据提供flume数据读取，将数据流转向其他组件提供事件中心实时数据读取，并接收事件结果数据4.1.3Streams集群Streams集群是所有在线数据的第一道运算集群，在此集群中对数据进行高速的逐条计算，如字段选择、数据加解密、编码转换等等简单但实时性要求非常高的操作。为保证及时性，Streams的数据源和结果存放均为Kafka集群。4.1.4实时计算中心/事件中心实时计算中心/事件中心是整个大数据平台进行在线运算的部分，使用SparkSQL和Codis内存库的组合，可支持复杂的运算。读取Kafka集群数据，同时将运算结果写入Kafka集群读取Codis内存库集群数据，同时将运算结果写入Codis4.1.5Codis集群Codis集群是分布式的内存数据库集群，可提供高并发、低延时的查询。在大数据平台中，主要为实时计算提供即时的查询功能。数据的写入和读取由程序单独控制。4.2实现原理项目建设需要针对XX市黄岛分局40余处（西区）积水区域进行水文预警信息推送，并返回每个积水区栅格内的用户数，考虑以下实施方案流程。确定40余处积水区域后，统计出这40余处积水区域中每个积水区对应的基站信息。通过与水文局系统对接，可获取汛期时哪几个区域产生积水，移动大数据平台将根据这些积水区域对应的基站信息，实时监测进入区域的用户，并对这些用户实时发送预警短信，同时为水文局输出积水区域内用户数量。实现原理图4.3建设内容4.3.1基础数据准备（1）确定40余处积水区域监测点及可能的范围（2）根据积水区域及范围，整理各积水区域对应的基站信息，形成积水区域、移动基站lac+cel列表，每个移动基站是以扇区的方式覆盖相应的区域。根据范围不同，每个积水区域可能对应一个或多个基站。（3）指定几条短信模板，记录到移动短信发送端口，每次发送时，只需发送指定的短信。4.3.3大数据平台_汛期预警短信发送原理简述：与水文局系统对接后，将水文局系统推送来的积水区域信息及短信模板信息，推送到移动大数据预警短信平台上，预警短信平台将根据积水区域条件触发相应基站，通过实时监测基站信息，获取进入积水区域用户，并通过mas端口向积水区域用户发送指定的预警短信。为满足水文局发送预警短信需求，山东移动大数据预警信息发送平台提供两类关键能力：1、客户实时状态捕获能力。山东移动已构建基于大数据流平台的事件处理中心，能够实时采集用户位置和行为信息，每天实时处理信令数据超过20T，并对信令完成粗加工、精加工，形成用户达到某区域、发生某行为的特定信息；原始数据获取：获取信令等网络事件源数据，以识别用户的位置状态、业务状态、等事件行为。事件加工：根据原始数据，加工业务场景所需事件，如汛期时用户到达某积水区域。2、客户接触管控功能：山东移动的预警信息发送平台，整合并打通了短信、彩信、邮件、网厅app等不同接触渠道，根据水文局系统推送的事件行为及实时捕获的用户状态，可实时对用户发送预警短信。4.3.2积水区栅格用户数统计通过积水区域对应的移动基站，可实时监测积水区栅格中用户数量，并以栅格形式输出给水文局。输出频次待定。（1）程序启动从mysql数据库读取相关的元数据信息，以及配置信息。（2）开发streams程序，从kafka集群，读取MC和LTE的位置信令数据，将数据按照固定格式进行拆分。（3）streams程序实时数据读取codis集群中的用户资料信息，筛选出指定积水区域的用户，输出到下一个流。（4）将积水区域内的结果数据实时写入kafka集群指定的topic。（5）在flume集群配置实时抽取进程，将kafka中的数据输出到接口机。（6）积水区域用户数结果输出。4.4系统对接 4.4.1输出文件说明（1）积水区栅格用户数文件（如表1）：计算时间、区域代码、人数、文件发出时间。传输方式：ftp频次为：待定。表1人员总数文件字段含义样例备注时间监控时间201604201430积水区域编码监控区域编码001待定人数该区域聚集人数90文件发送时间文件发出时间201704271435（2）实时到达用户每分钟生成一个文件，每个文件中的手机号码保证唯一。文件内容：手机号码，积水区域标识。传输方式：ftp频次为：分钟级。4.4.2短信下发说明（1）由于积水区域发送的时间不确定，所以经分侧不对用户做固定时间段内的排重，以保证区域内的用户在灾情来临，能够及时的输出；（2）短信下发时需要根据情况，在短信发送侧做好用户下发的排重处理，以避免同一用户多次下发的情况；（3）大数据平台流处理负责实时监控，数据实时推送到短信中心，短信中心负责与XX水文局做好执行控制。4.5云MAS平台对接4.