垂直业务大数据--数据预测服务课件

1、主要问题改进思路实施路线案例与核心问题分析业务背景 垂直领域业务大数据 预测服务场景的思考垂直领域业务大数据？指的是符合如下条件的场景：采集频率高：重复实时采集业务运行数据数据量大：有规模，至少几万个样例多维度：可以采集到多个方面的相关数据，便于分析和特征提取举例：数据中心的运维，公安的监控设备，能源企业的管线维护3背景与趋势标配市场趋势云计算SaaS数据与分析爆发型需求High Demand基本预测式服务实时处理业务网络化采集AI /深度学习PLCMachine IntegrationSensors(ERP)各种业务监控的背景（以中石油管道业务为例）大型管输 SCADA 系统拓扑图（来自网络

2、）通过智能仪表，光缆及卫星通信链路，实现大型管网数据采集与监控在此基础上，实现运输跟踪，管道诊断，设备状态查询，设备能耗查询等监控应用已搭建海量数据的统一数据平台，实现基础层面的数据存储，查询支持积累了大量历史数据，并具备大量实时动态数据获取的能力主要问题SCADA所在计算机网络系统的运维管理应用集成程度和智能化程度不足更多的依赖于实时数据进行故障发现及处理，缺乏对历史数据集的分析，缺乏在此基础上实现的事件预警和预测没有将管道运行数据与相关的空间地理，气候信息等结合起来进行集成分析，导致许多历史数据记录缺乏可参考性IT 架构方面数据应用方面改进思路：实现事件预警123321根据历史数据进行模型

3、匹配实时数据不匹配已有模型则提出预警定位预警因素由专家进行分析确认故障后进行维修并记录满足报警条件触发故障报警采集实时数据设置报警条件数据分析（主动）传统做法（被动）运行数据超出阈值，产生故障报警运行数据未超出阈值，不产生故障报警改进思路：实现事件预警报警阈值传统做法：可能较晚发现故障但运行数据偏离预测模型，产生事件预警故障报警事件预警事件预警数据分析：可能较早预测故障风险预测模型拟合趋势改进思路：实现数据集成天气数据地理数据地图数据地形数据社会数据温度数据降雨数据来源：公共数据，中国气象数据网，彩云天气等来源：各种社会开放式数据，已有集成数据等业务数据各种业务采集设备数据中继应用接入数据集成

4、包装加工过滤分解应用接入应用接入重组应用接入数据训练数据预警提供支持改进思路：数据迭代训练历史数据实时数据聚类聚类聚类分段分段分段分段抽样训练改进模型初始预测模型抽样训练抽样训练抽样训练模拟预测改进模型改进模型改进模型模拟预测模拟预测模拟预测对比对比对比对比事件预警事件预警事件预警发现差异参考案例（森林火灾预防）传统做法：实时火情监控，无差别扑灭火源缺点：被动处理导致火情无序发生，救火资源难以优化调度数据分析：预测火源产生位置及蔓延范围优点：针对高风险林区提前砍伐处理，消除隐患有规律地调度防火资源火情一旦蔓延救援成本和灾害损失都难以估量需要提前扼杀隐患森林火灾的数据集成与数据分布森林火情天气因

5、素工业分布居住分布地质因素生物活动森林火情的发生与多种外部因素相关，包括自然因素以及人类生产活动因素数据分析的难点在于如何发掘外部数据和森林火情之间的内在联系森林火灾的预测数据训练外部数据采集入库测控数据数据训练数据预警森林初始分布林木生长速率自燃概率林木死亡速率预测参数无火情火情失控执行砍伐作业以消除风险点高风险点预测（可视化模拟）建议单个周期缩短至 3 - 6 个月，滚动迭代式进行实施路线规划确立总体思路确立实施框架确定场景收集存量数据确定数据源评估数据质量IT 合规要求技术选型部署业务优化部署新的业务反馈与改进沟通，培训与变更控制沟通，培训与变更控制14小结：预测式服务的思路：形成一个更

6、大的循环 CollectSenseAnalyze行动干预各种传感器, RFID, PLC集成各种方式的数据采集预测式分析, 深度学习技术采集感知分析告警, 移动化, 提示主动阻断式服务预测式服务复杂场景处理（快速识别关键要素）自动化的报表与趋势汇报场景这里是否有我们的机会呢智能服务的场景目标如何真正做到场景驱动从“model to data”模式（即先设定思路，再灌数据，单向过程）到“data to model”模式（即先探索数据，提炼思路后，形成循环）场景的关键问题与瓶颈可迭代性（可持续性）问题：其实很难以理论、提前的构思来设定其思路；我们研究者当下的见解，其实由于各方面的数据量过大、过于琐碎，个体其实有非常大的局限性与不明确（实际上混沌）的限制；可迭代性（可持续性）问题，对于机器来说，具有天然的优势，但对于人来说，则太过于困难了，原因可能在于人们可能难以在复杂的模式中保持较低的“耗散”，往往很快就耗散完了动力，难以为继了。而机器（如AlphaGo）则有一个天然的优势，可以对枯燥的事情持续亿万遍。机器的缺点在于原来的摄入角度太少，信息不完整，受到极大的限制，降低了可用性大数据关于场景的思