探讨大数据分析技术在空管中应用

1、2016年9月探讨大数据分析技术在空管中应用* * * * 内容提纲一、数学知识二、技术背景三、主流技术四、空管需求五、应用场景分析1一、数学知识 数学知识3概念；算法；建模；分析与挖掘。 1 1 数学概念（1 1）4l基本定义英文名称：Mathematics，简称Maths或Math，是研究数量、变化、空间、结构以及信息等概念的一门学科。l数量 代数；l变化 函数；l空间 几何；l结构 拓扑；l信息 分析（e.g.统计分析）。 l推理严密：每一个结论的成立都需要足够合理的条件支撑；l结论唯一：每一个结论都是确定的，不是模棱两可的。1 1 数学概念（2 2）5l特点抽象性；l符号抽象：e.g.

2、 （无穷大）；l无实物参考：e.g.“直线、平面”（无限延伸）。严谨性；广泛性。l日常生活应用广泛：e.g. 买菜、购物等吃穿住行；l其他学科领域依赖：e.g.力学、天文学、物理学、化学等。 1 1 数学概念 （3 3）6l问题分类白化问题灰色问题模糊问题p信息准确；p信息不准确；p问题清晰。p信息不准确；p问题清晰。p问题不清晰。 1 1 数学概念（4 4）7l空管应用举例空域结构优化；空中交通流量管理；4D轨迹优化；机场进离场排序等。 1 1数学算法（1 1）8l概念英文名称：Algorithm，是指解题方案的准确而完整的描述，是一系列解决问题的清晰指令，代表着用系统的方法描述解决问题的策

3、略机制。l特点有穷性；确切性；输入输出；可行性。 1 1 数学算法（2 2）9l分类迭代p特点：函数内部实现循环，通过使用计数器结束循环。递归p特点：重复调用函数自身实现循环，遇到满足终止条件的情况时逐层返回来结束。穷举p特点：对所有可能的情况逐一验证。回溯p特点：从一条路出发，能进则进不能进则退，换一条路再试。动态规划p特点：求解决策过程最优化的数学方法。 1 1 数学算法（3 3）10l空管应用举例卡尔曼滤波算法（监视目标跟踪处理）；地图投影算法（经纬度坐标转换为直角坐标）；视频压缩算法（景象记录）；带约束优化算法（进离场排序）等。 1 1 数学建模（1 1）11l概念英文名称：Model

4、ing，是对事物抽象的一种描述。l特别声明数学建模：工程建模；p通过使用数学符号，数学式子，程序，图形等对某一事物或问题进行抽象描述。 1 1 数学建模（2 2）12l空管应用举例4D轨迹估算（质点运动数学模型）；中期冲突探测（几何运动数学模型）；短期冲突告警（质点运动数学模型）；空域侵入告警（质点运动数学模型）等。 1 1 数据分析挖掘(1)(1)13l概念数据分析：Data Analysis，通过使用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。数据挖掘：Data Mining，通常是指从大量的数据中通过算法搜索隐藏于其中信息的过

5、程。 1 1 数据分析挖掘(2)(2)14l区别数据挖掘，目标不是很清晰，要依靠挖掘算法来找出隐藏在大量数据中的规则、模式、规律等 ；l联系数据挖掘，是数据分析的基础支持，简单来说，就是先对原始数据进行业务关联性、时效性、有效性等逻辑性挖掘，其次抽取有效数据，清理、格式化数据，为数据分析提供数据支持。数据分析，一般要分析的目标比较明确，分析条件也比较清楚。 1 1 数据分析挖掘(3)(3)15l常用方法回归分析、聚类、关联规则、特征、变化和偏差分析、web页挖掘等。l数据分析现状传统数据分析技术比较成熟，e.g.基于SQL数据库查询的统计分析。基于大数据的数据分析，发展迅速，良莠不齐，任重而道

6、远。 1 1 数学概念（4 4）16l空管应用举例飞行计划配对统计；出入境飞行计划统计；军民航飞行计划统计；空域飞行流量信息统计等。二、技术背景 技术背景18数据；存储；计算。 2 2 数据（1 1）19l数据英文名称：Data，是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等。l特点数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵。数据本身没有意义，数据只有对实体行为产生影响成为信息时，才会产生重要价值。 2 2 数据（2 2）20l传统数据特点：应用：p数据量小p初级建模p信息相对较少p辅助维护pp 2 2 数据（3 3）21l大数据特点应用p数据量大；p预测分

7、析；现状p处理复杂，难度大，云架构、并行处理是共识；p数据复杂。p决策评估。p结合行业进行充分发掘是难题，也是未来企业保持行业竞争优势的重要砝码。 l存储现状存储设备变强，e.g.服务器和工作站，硬盘和内存容量越来越大，由M-G-T增长；2 2 存储22存储方式多样，e.g.移动介质、固定介质、私有云、公共云等。存储技术先进，e.g. NAS、SAN、ISCSI 。 2 2 计算23l技术现状分布式计算p特点：将大的任务分解成小的任务，在多台计算机上同时计算，被分解后的小任务互相之间有独立性，节点之间的结果几乎不互相影响，实时性要求不高。并行计算p特点：将大的任务分解成小的任务，在多台计算机上

8、同时计算，倾向于海量数据分析处理，计算的结果相互影响，实时性要求高。云计算p特点：由分布式计算、并行计算发展而来的，处于萌芽阶段，但是未来发展的趋势。三、云平台架构 云平台架构25IAAS服务层；PAAS服务层；SAAS服务层。 云平台架构26用户接入云应用SaaS应用云平台PaaS平台云资源IaaS平台ERP/OA/CRM/HR/BA/SCM/PM/EAM客户、个人、开发/实施伙伴等创建的应用服务第三方SaaS应用服务客户自建SaaS应用服务SaaS应用服务支付、物流、政务等第三方云应用服务；外部行业服务组件 aPaaS门户 应用引擎 平台管理 数据管理 应用管理 安全管理 伙伴管理 软件资

9、产生命周期管理：需求 设计 开发 测试 部署iPaaS门户 BPM ESB EAI MDM管理 Portal LDAP 公共云集成服务IaaS云计算运营管理平台 公共服务自助管理/调度管理/资源管理/用户管理/资源监控/计费/安全服务/网络虚拟化的基础设施层 云计算 云存储 云网络 云安全空管云管理平台aPaaS平台服务（application platform as a service）iPaaS平台服务（integration as a service）SaaS管理门户：配置管理/自助管理/授权控制/消息服务/计费/安全管理 IAAS服务层：服务层：主要提供基本架构服务，包括基本的计算服务

10、、网络服务、存储服务、灾备服务、安全服务等；3 3 云平台架构(1)(1)27lIAAS服务层PAAS服务层：服务层：基于IAAS层，面向SAAS层提供数据存储、数据分析挖掘等服务。SAAS服务层：服务层：基于PAAS层，提供与行业相关的应用服务或呈现服务。四、空管需求 空管需求29飞行流量；管制压力；信息现状；技术发展。 乘坐人次增多；4 4 空管需求(1)(1)30l飞行流量现状飞行航线增加；飞行器架次增加；军民融合；低空开放。飞行流量增多，业务需求=工作高效化 自然因素；4 4 空管需求(2)(2)31l管制压力影响因素：军航活动；航班量大；管理严格；惩罚严厉。管制压力增大，使用需求=

11、工作智能化 l信息现状职责多；4 4 空管需求(3)(3)32机构多；员工多；系统多；数据多。空管信息孤岛，共享需求= 数据共享 l技术发展大数据挖掘技术；4 4 空管需求(4)(4)33存储技术；并行计算技术；云平台架构；大数据分析技术。技术发展，提供支撑= 不可能变可能 4 4 空管需求(5)(5)34（四）技术发（四）技术发展，提供支撑，展，提供支撑，不可能变可能不可能变可能（技术保障）（技术保障）（一）飞行流量增多，工作高效化（业务需求）（三）信息孤岛现状，数据共享（现状问题）（二）管制压力增大，工作智能化（使用需求）需求+问题+保障空管大数据分析技术应用天时、地利天时、地利条件具备，

12、如何做怎么做，需要人和人和，暂时欠缺。五、应用场景分析 应用场景分析36场景1：4D轨迹估算；场景2：飞行冲突调配；场景3：日志分析；场景4：雷达数据处理。 5 5 应用场景分析（1 1）37l4D轨迹估算（1）通常做法实现弊端p利用飞行情报并结合BADA库内机型参数，对计划未来航段进行估算；p如果4D轨迹估算的模型太复杂，精度较高，但接收雷达目标信息后对未来航段更新比较耗时，易造成人机界面显示比较慢；p接收到雷达目标信息后，对配对的飞行计划进行修正。p如果4D轨迹估算的模型太简单，精度较低，造成飞行计划冲突告警虚警率较高，影响管制员日常操作。 5 5 应用场景分析（2 2）38l4D轨迹估算

13、（2）大数据分析技术应用p利用大数据分析技术，对同一航班的历史数据进行统计分析，分析在同一航路点航班的过点时间和高度信息，然后对原4D轨迹估算的结果进行修正或直接强制使用，提高4D轨迹估算的精度。 5 5 应用场景分析（3 3）39l飞行冲突调配（1）通常做法实现弊端p若是飞行预先调配或飞行前调配，一般选择进行地面等待，通过调整飞行时间间隔，使之满足安全标准，依据大多是管制员的工作经验；p依赖管制员的经验；p若是飞行中调配，一般采取调整高度、速度和空中等待这样的措施，拉大横向间隔或纵向间隔，使之满足安全标准，依据也大多是管制员的工作经验。p效率低资源浪费。 5 5 应用场景分析（4 4）40l飞行冲突调配（2）使用现状大数据分析技术应用p飞行冲突调配系统有成品，e.g.川大智胜有一套智能化飞行冲突调配系统，曾在成空有部署。p对探测到的冲突场景进行分析，找到历史相似的场景（数据挖掘）；p推广难度大，系统提出的调配方案通常与管制员操作习惯不匹配，调配方案可靠性一般被管制员质疑，选择相信自己经验。p通过分析历史相似场景的调配方案，修正现有系统的调配方案（数据分析）。 5 5 应用场景分析（5 5）41l日志分析通常做法实现弊端pATC系统技术监控进程、一些主要进程实时生成日志文件；p资源浪费；p系统故障、进程出问题时，日志文件才会被用到，而且日志上的部分信息只有研发人员