大数据与安全生产综述

大数据与安全生产综述第一页，共112页。2014年12月12日，总局党组书记、局长杨栋梁主持召开党组（扩大）会议，提出“建立安全生产统一数据库，实现‘来源可查、去向可追、责任可究、规律可循’”。贯彻落实总局栋梁局长的指示第二页，共112页。2015年4月2日，国务院办公厅印发《关于加强安全生产监管执法的通知》（国办发〔2015〕20号）。要大力提升安全生产“大数据”利用能力，加强安全生产周期性、关联性等特征分析，做到检索查询即时便捷、归纳分析系统科学，实现来源可查、去向可追、责任可究、规律可循。贯彻落实国办20号文件精神第三页，共112页。云计算移动互联网智慧城市大数据物联网社交网络社会管理大数据时代已经到来第四页，共112页。社会治理行为方式生活方式企业经营工作方式思维方式互联网思维、大数据等信息技术正在改变……第五页，共112页。安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1第六页，共112页。云计算、移动互联网、物联网、社交网络、电子商务、即时通信等技术形式的涌现，推动人类从现实社会快速切换到网络社会形态，形成了人类不同于传统生活方式的虚拟生活方式。（一）信息时代的特征第七页，共112页。学习交流娱乐看报购物理财现实世界真实生活移动互联网社交网络社交网络网上教学门户网站网游网上购物互联网金融网络社会虚拟生活三、大数据时代（一）信息时代特征第八页，共112页。＝２Byte(字节)1PB=1024T一年国产电视剧（1.7万部）容量1EB=1024PB；5EB相当于至今全世界人类所讲过的话语1ZB=1024EB；全世界海滩上的沙子数量总和1TB=1024G一家大型医院X光图片1GB=1024M一部广播级电影1MB=1024K50万个汉字1KB=1024B500个汉字Megabyte(MB)Kilobyte(KB)Gigabyte(GB)Terabyte(TB)Petabyte(PB)三、大数据应用（二）数据的概念第九页，共112页。上传30小时视频130万人评论200万条搜索27.7万人登录600万条信息发布2.04亿封邮件全球产生7.5PB数据互联网上一分钟三、大数据应用（二）数据的概念第十页，共112页。（三）互联网、互联网+新的媒体形式的出现起源

上世纪90年代中后期应用领域邮件、门户网站、电子商务政府、企业大规模信息化建设新的商业模式的出现互联网开始颠覆传统产业之旅第十一页，共112页。互联网+让传统行业插上互联网的翅膀！互联网可以+？工业金融交通政务农业教育医疗民生

互联网正在改变物质之上的所有组织形态、改变物质生产的组织方式。

信息技术不是在融合，而是在融化、重构和颠覆其他产业形态。（三）互联网、互联网+第十二页，共112页。传统模式：每个业务需要配备独立的设备（服务器、存储等）计算资源难以共享、孤岛现象、资源浪费办公人事财务网站虚拟机虚拟机虚拟机虚拟机云计算模式：

把计算资源合并成一个大的计算资源池（云计算中心）云计算中心根据各个业务需要，提供相应的计算能力（四）云计算、云服务第十三页，共112页。云计算的目标是让用户像用电、用水一样使用信息基础设施各自配备小发电机电厂集中发电云计算的本质是把计算能力的专用服务变为了公用服务电网集中供电（四）云计算、云服务第十四页，共112页。虚拟化–“一拆多”分布式–“多合一”虚拟拆分物理计算机虚拟机虚拟整合物理计算机虚拟机（四）云计算、云服务第十五页，共112页。（五）物联网

物联网(TheInternetofthings)的概念是在1999年提出的，又名传感网，物物相连的互联网。把所有物品通过射频识别（RFID）、红外感应器、全球定位系统、激光扫描器等信息传感设备与互联网连接起来，进行信息交换和通讯，实现智能化识别、定位、跟踪、监控和管理。国际电信联盟曾描绘“物联网”时代的图景：当司机出现操作失误时汽车会自动报警；公文包会提醒主人忘带了什么东西；衣服会“告诉”洗衣机对颜色和水温的要求等等。第十六页，共112页。

人类的网络社会行为，包括聊天、购物、搜索、点赞等，产生了诸如日志、图片、音频、视频等规模巨大、类型多样的存贮在各类介质上的数据。人类由此进入大数据时代！（六）大数据第十七页，共112页。单日信息产生量超过50TB,存储量40PB淘宝国家电网到2012年10月资讯系统累计产生大资料2PB第一医院所存资讯2008年130TB,预计2015年1PB高峰期每秒100万次回应请求联通用户上网记录83万条/秒，对应信息量3.6PB/年每天产生信息超过10TB，现已存20PB，预计该基因库最终将达1EB每天1千亿次服务调用、55万亿次计算、300TB存储量公交一卡通每天刷卡4000万次地铁1000万次每秒产生2千元的交易额，累计各种信息达到PB中山大学新浪微博华大基因每天约处理60亿次搜索请求几十PB数据百度腾讯交通银行北京公交每日约处理600G数据。存量信息超过70TB京东商城农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB三、大数据应用（六）大数据第十八页，共112页。核心技术：自然语言处理语义分析机器学习垂直搜索综合门户新闻门户交友社区娱乐网站音乐网站体育网站网上购物旅行网站网上招聘网络游戏……新闻评论博客博文讨论话题音视点播网购记录网上简历…...交互信息痕迹信息民生民意生活习惯网民喜好关注焦点人群分类人性分析行为分析全民记录记录全民（六）大数据第十九页，共112页。大数据技术：在海量、无序的数据中洞察规律，发现价值！数据的价值不在于数据本身在于数据之间的关联关系第二十页，共112页。

大数据将成为国家竞争力的重要标志，与矿产、土地、石油一样成为国家的基础性战略资产。提高国家治理体系和治理能力现代化要靠大数据。（六）大数据第二十一页，共112页。安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1第二十二页，共112页。*（一）大数据概念溯源2001年，MetaGroup（Gartner的前身）指出，随着网络及其应用（电子商务等）发展，数据将呈现出爆炸式增长的趋势，并提出3DDataManagement的技术预测，即DataVolume、DataVelocity

和DataVariety2012年，Gartner的IT技术发展趋势战略报告指出：大数据正在逼近“TippingPoint”（爆发点），40%以上的企业开始大数据方面的投资。第二十三页，共112页。*（一）大数据概念溯源2008年9月4日《自然》（Nature）刊登了一个名为“BigData”的专辑，从互联网技术、网络经济学、生物医药等多个方面探讨了大数据的挑战与机遇2009年7月O’ReillyMedia出版了名为“BeautifulData”，介绍大数据相关的技术2009年10月微软为纪念JimGray,出版了“第四范式—数据密集的科学发现”，认为科学研究范式的发展“理论科学实验科学计算机仿真数据科学”2011年2月11日：Science刊登了一个名为“DealingwithData”的专辑，联合Science:Signaling、Science:TranslationalMedicine和ScienceCareers推出相关专题，讨论数据对科学研究的重要性2012年4月，欧洲信息学与数学协会会刊ERCIMNews出版专刊“BigData”讨论了数据管理、数据密集型研究等问题第二十四页，共112页。*facebook社交网络…淘宝、ebay电子商务…微博、Apps移动互联…

21世纪是数据信息大发展的时代，移动互联、社交网络、电子商务等极大拓展了互联网的边界和应用范围，各种数据正在迅速膨胀并变大。互联网（社交、搜索、电商）、移动互联网（微博）、物联网（传感器，智慧地球）、车联网、GPS、医学影像、安全监控、金融（银行、股市、保险）、电信（通话、短信）都在疯狂产生着数据。（二）大数据概述第二十五页，共112页。

GBTBPBEBZB想驾驭这庞大的数据，我们必须了解大数据的特征。地球上至今总共的数据量：在2006年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据；在2011年，这个数字达到了1.8ZB。市场研究机构预测：到2020年，整个世界的数据总量将会增长44倍，达到35.2ZB（1ZB=10亿TB）！随着信息不断膨胀与爆炸，已经积累到了引发变革的程度。更多的信息增长速度也在指数级加快。1TB=1024GB1PB=1024TB1EB=1024PB1ZB=1024EB（二）大数据概述第二十六页，共112页。大数据无法在容许的时间内，用常规软件工具对其内容进行抓取、管理和处理的数据集合；大数据规模的标准是持续变化的；大数据当前泛指单一数据集的大小在几十TB和数PB之间

---维基百科定义三、大数据应用（二）大数据概述第二十七页，共112页。2008年9月美国《自然》杂志刊登了一个名为“BigData”的专辑，首次提出大数据（BigData）概念。

大数据，或称巨量资料，是指由数量巨大、结构复杂、类型众多的数据所构成的数据集合，必须通过特殊化处理分析才能形成有规律、可预测的信息服务能力。（二）大数据概述第二十八页，共112页。（二）大数据概述

4V特征数据类型繁多VarietyV数据体量巨大VolumeV处理速度快VelocityV价值密度低Valuev第二十九页，共112页。数据存储量大、计算量大（Volume）

预计到2020年，中国产生的数据总量将是8.5ZB，全球的数据总量预计将达到40ZB。若以光盘存储，其总重量相当于424艘满载的尼米兹航空母舰。2020年35ZB光盘重量=43,078,400吨424艘尼米兹号航母重量(101,600吨)第三十页，共112页。数据来源多、格式多（Variety）大数据类型分为结构化数据和非结构化数据，结构化数据是指用数据或统一的结构加以表示，如数字、符号；非结构化数据是指无法用数字或统一的结构表示，如文本、图像、声音、网页、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。第三十一页，共112页。大数据的来源互联网快速发展，社交网络成熟移动终端普及物联网、传感器、监控设备云计算……主要三类：人和人之间、人和物（机器）之间、物和物之间数据量骤增，数据来源多样。主动、被动和自动方式产生数据，数据产生方式的巨大变化导致大数据的产生。第三十二页，共112页。移动互联网智慧城市物联网电子商务…社交网络iPhoneiPadNoteBookPC条码RFID视频采集设备GPS终端二维码淘宝微博百度腾讯华大基因国家电网联通北京公交第三十三页，共112页。价值密度低(Value)

浪里淘沙又弥足珍贵。一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。第三十四页，共112页。监控卡口1监控卡口2监控卡口3监控卡口41亿/天车行轨迹2300万车辆信息9000千万人口3000万驾驶员卡口信息：牌号：鲁F123****车型：解放j6p颜色：蓝色位置：济南经十山大路口方向：自西向东时间：2013.2.58:45:30山东省17地市交通卡口每天采集行车记录数将近1亿条根据牌号比对一天的车辆行驶信息，耗时30分钟，查出4000多辆嫌疑车辆监控卡口...套牌车查找-大数据的分析计算车牌号车型颜色距离...卡口信息卡口信息卡口信息卡口信息卡口信息数据调取数据调取计算结果第三十五页，共112页。数据增长、处理速度快Volecity

利用各种大数据分析工具，比如Hadoop、SPSS和R，可从各种类型的数据中快速获得高价值的信息，这一点和传统的数据分析技术有着本质的区别。第三十六页，共112页。

（二）大数据概述大数据正在改变人类的思维方式？随机样本精确求解因果关系全体数据近似求解关联关系传统思维大数据思维第三十七页，共112页。（三）大数据国内外应用现状1.国外现状2012年3月，美国奥巴马政府宣布推出“大数据的研究和发展计划”。该计划承诺将投资两亿多美元，大力推动和改善与大数据相关的收集、组织和分析工具及技术，以推进从大量的、复杂的数据集合中获取知识和洞见的能力。第三十八页，共112页。案例1：美国治理警察超速行驶大数据应用美国佛罗里达州为了治理警察超速行驶问题，通过对不同高速口收费站的原始数据记录（约为110万条）的比对挖掘分析，得到了一个惊人的结果：当地的3900辆警车在13个月的时间里共发生了5100多次的超速行驶记录。通过进一步的筛选分析发现，警车超速行驶的时间竟然大部分都发生在上下班时间。通过对海量数据的分析处理可以得出的结论是，警车超速行驶大都不是为了执行公务。分析结果公布在《太阳哨兵报》之后，翔实的数据纪录与可信的分析结果引起了当地民众的广泛关注，牵扯到超速案件的12个部门近800名警察受到处理，“警察开快车”事件被有效治理和纠正。第三十九页，共112页。案例2：疾病预防美国人在去医院前，喜欢在谷歌搜索类似“流感症状”的词汇谷歌据此预测流感趋势，比美国疾病控制和预防中心(CDC)的流感通报提早一周到10天政府由此可提前准备应对措施谷歌推出流感趋势监测系统(GoogleFluTrends）第四十页，共112页。2010年，美国西弗吉尼亚州发生死亡29人的矿难，由于该煤矿的监管记录保存完整，每条记录都包括检查的时间、结果、违反的法律条款、处理的意见、罚款的多少、已缴纳的金额、煤矿是否申诉等数据项。

逾千条的监管记录为事故追责提供了重要证据，最终事故认定煤矿安全健康局无监管失职，出事煤矿所属公司应承担主要责任。案例3：美国矿难大数据应用第四十一页，共112页。GPSGPSGPS

小松挖掘机上装有GPS卫星定位系统和工作状态无线传输系统小松公司在后台能够看到每台挖掘机的位置、工作时间和挖掘量案例4：挖掘机预测经济发展第四十二页，共112页。2.国内现状

国务院总理李克强主持召开国务院常务会议，要求“建立部门间互联共享信息平台，运用大数据等手段提升监管水平”。

李克强总理在山东考察时，“现场办公”要求要以云计算、大数据理念，与企业信息技术平台有机对接，建立统一综合信用信息平台，实现“大数据”共享。*（三）大数据国内外应用现状第四十三页，共112页。案例1：互联网金融利用掌握的大数据和大数据技术，为中小企业提供贷款服务从提出申请，到商户收到贷款，整个过程最快只需三分钟累计贷款总额260亿，单日利息收入100万，坏账率仅千份之三商品供应商（企业和个人）商品购买者（企业和个人）

资金流资金流云计算平台信息流交易信息信息流网络数据模型在线视频调查模式交叉检验技术(辅以第三方验证)客户信用水平和还款能力评估报告和结果交易信息发放贷款信息流监控客户现金流各渠道信息和调研获得的客户信用记录、交易状况、投诉情况海量的客户和交易数据赋予了阿里巴巴掌握客户信息及其交易行为的强大的优势第四十四页，共112页。案例2：全国公安系统大数据应用-网上抓逃犯2014年起，全国公安系统利用基于大数据、云计算技术研发的多点碰撞应用系统助力民警办案。应用系统通过3至10秒的大数据碰撞，即可迅速从2.8亿条旅馆和21亿条网吧数据中，提取出600万住宿人员和2500万网吧上网人员，进行交叉碰撞计算，获得53个候选名单，缩小了排查范围，最后交给办案单位进一步筛选，提高了破案效率。第四十五页，共112页。案例3：淘宝网大数据应用

淘宝上的买家在购买商品前，会比较多家供应商的产品，进而反映到淘宝网站统计数据中，通过用户比选、购买行为进行贸易分析预测。2008年初，淘宝上买家询盘数急剧下滑，淘宝网预测到欧美对中国的采购在下滑，最后推断出世界贸易即将发生变化。第四十六页，共112页。案例4：360反欺诈应用360互联网安全中心通过1亿设备，6.49亿网名，累计监测到网民个人信息多大11.2亿条，内容包括姓名、电话、上网账户、银行卡密、身份证号码等多种用户隐身信息，在GIS地图上生产了中国网络骗子地图。360通过手机卫士为用户提供骚扰电话拦截服务，识别出骚扰电话中“响一声”最多，占到了总量一半，每天上午10点骚扰电话最猖獗，周一是骚扰电话也要“休息”，统计出骚扰电话分布图。中国网络骗子地图2014年骚扰电话分布第四十七页，共112页。

2012年3月通过“大数据研究与发展倡议”，率先将大数据上升为国家战略，大力提升美国从海量复杂的数据集合中获取知识和洞见的能力。第一波投资两亿多美元，通过公布重要部门的大数据项目规划，扶持重要领域的大数据技术研发，带动其他部门和社会各界对大数据技术的研发投入和推广应用。具体实现三个目标：(1)开发能对大量数据进行收集、存储、维护、管理、分析和共享的最先进的核心技术;(2)利用这些技术加快科学和工程学领域探索发现的步伐，加强国家安全，转变现有的教学方式;(3)扩大从事大数据技术开发和应用的人员数量。（四）大数据战略——美国第四十八页，共112页。

2013年10月31日，英国发布《把握数据带来的机遇：英国数据能力战略》。该战略由英国商业、创新与技术部牵头编制。

战略旨在促进英国在数据挖掘和价值萃取中的世界领先地位，为英国公民、企业、学术机构和公共部门在信息经济条件下创造更多收益。为实现上述目标，该战略从提升数据分析技术、加强国家基础设施建设、推动研究与产业合作、确保数据被安全存取和共享等几个方面做出了部署，并作出11项行动承诺，确保战略目标得以落地，投资金额达1.89亿英镑。（四）大数据战略——英国第四十九页，共112页。

2013年10月，澳大利亚政府发布又信息管理办公室成立的“大数据工作组”制定的公共服务大数据战略。

该战略旨在推动公共部门利用大数据分析进行服务改革，制定更好的公共政策，保护公民隐私。战略还决定成立数据分析卓越中心(DACOE)，通过构建一个通用的能力框架帮助政府部门获得数据分析能力，并促成政府与第三方机构合作以培养分析技术专家。列举了2014年7月前需完成的6项大数据行动计划。（四）大数据战略——澳大利亚第五十页，共112页。法国政府宣布将在2013年投入1150万欧元，用于7个大数据市场研发项目。

目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。三、大数据应用（四）大数据战略——法国第五十一页，共112页。

2012年，中国政府批复“十二五国家政务信息化建设工程规划”，标志着我国开放、共享和智能的大数据时代已经来临。我国在“十二五”战略新兴产业发展规划中就明确提出了，要支持海量数据的存储处理技术的研发和产业化。（四）大数据战略——中国2014年底发改委、工信部牵头联合相关部门制定大数据战略与行动纲要。2014年政府工作报告明确提出，“设立新兴产业创业创新平台，在新一代移动通信、集成电路、大数据。。。”2015年政府工作报告明确提出：互联网+大数据、中国制造2015第五十二页，共112页。

（五）大数据标准化大数据标准化工作是支撑大数据产业发展和应用的重要基础国际上若干大数据标准化相关工作组，如ISO/IECJTC1WG9、ITU-T、NISTNBD-PWG等工信部和国标委2014年成立了“全国信标委大数据标准工作组”与发达国家相比还有差距，需结合我国建设需求和特色，推进标准化的建设第五十三页，共112页。

（五）大数据标准化国内大数据标准化工作工作范围：

负责制定和完善我国大数据领域标准体系；组织开展大数据相关技术和标准的研究；申报国家、行业标准，承担国家、行业标准制修订计划任务，宣传、推广标准实施；组织推动国际标准化活动正在编制《大数据标准化白皮书》2.0版本研制2014年下达的大数据领域10项国家标准征集大数据领域的相关标准需求序号计划号标准名称120141172-T-469多媒体数据语义描述要求220141184-T-469数据能力成熟度评价模型320141190-T-469信息技术大数据技术参考模型420141191-T-469信息技术大数据术语520141194-T-469信息技术科学数据引用620141200-T-469信息技术数据交易服务平台交易数据描述720141201-T-469信息技术数据交易服务平台通用功能要求820141202-T-469信息技术数据溯源描述模型920141203-T-469信息技术数据质量评价指标1020141204-T-469信息技术通用数据导入接口规范第五十四页，共112页。（六）大数据处理技术大数据采集与预处理大数据存储与管理大数据计算模式大数据分析与挖掘大数据可视化分析大数据安全第五十五页，共112页。大数据采集与预处理数据的多源和多样性，导致数据质量存在差异，严重影响数据的可用性。很多公司已经推出了多种数据清洗和质量控制工具（如IBM的DataStage）。大数据存储与管理存储规模大，管理复杂，要兼顾结构化、非结构化和半结构化的数据。分布式文件系统和分布式数据库的发展正在有效的解决这些问题。对于大数据存储和管理，尤其值得关注的是大数据索引和查询技术、实时及流式大数据存储与处理的发展。第五十六页，共112页。大数据计算模式大数据处理多样性的需求，出现了多种典型的计算模式，如大数据查询分析计算（如Hive）、批处理计算（如HadoopMapReduce）、流式计算（如Storm）、迭代计算（如HaLoop）、图计算（如Pregel）和内存计算（如Hana），这些计算模式的混合计算模式将成为满足多样性大数据处理和应用需求的有效手段。大数据分析与挖掘对迅速膨胀的数据进行深度分析和挖掘，对自动化分析要求越来越高，越来越多的大数据数据分析工具和产品应运而生，如用于大数据挖掘的RHadoop版、基于MapReduce开发的数据挖掘算法等。第五十七页，共112页。大数据可视化分析可视化方式可帮助人们探索和解释复杂的数据，有利于决策者挖掘数据的商业价值。各种相关商品不断出现，可视化工具Tabealu的成功上市反映了大数据可视化的需求。大数据安全大数据的安全一直是企业和学术界非常关注的研究方向。通过文件访问控制来限制呈现对数据的操作、基础设备加密、匿名化保护技术和加密保护等技术正在最大程度的保护数据安全。第五十八页，共112页。安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1第五十九页，共112页。安全生产大数据：企业安全生产、政府安全监管、社会个人参与以及与此关联的经济活动全过程所形成的文本、音频、视频、图片等海量信息的集合。当下还处于大数据的初级阶段。（一）安全生产大数据概念监管机构企业个人中介机构安委会成员单位来源对象数据内容调查报告视频动态信息安全管理动态信息安全管理静态信息生产图纸信息事故信息大安全大数据大监管互联网第六十页，共112页。真实性：安全生产大数据是在依法行政的许可下采集的，任何被采集对象有义务如实地填报各项数据，因此数据要求是真实准确的，并具有法律效用。原始性：安全生产大数据不论是一次采集还是多次采集，均直接来源于政府、企业或个人，都是最为原始可靠的数据采集。完整性：监管机构为了完成一项或几项工作开展数据采集工作，必须努力保证所采集数据对于该项工作的完成是完整的。公正性：安全生产大数据采集所涉及到的组织或个人，都必须履行义务接受采集，任何组织或个人不可以随意拒绝。（二）安全生产大数据具有“七性”第六十一页，共112页。可持续性：安全生产大数据可以根据业务需要定时、定期采集，如安全生产诚信信息等。也可以根据需要经授权后随时获取，确保业务的持续性。可处理性：安全生产大数据是安监机构为了履行行政职能而采集的，数据的内在关系是明确的，数据结构是合理的，是可以和便于机器自动处理的。可开放性：安全生产大数据是安监机构在依法行政下获取的，在确保国家安全、组织或个人的隐私与利益不受侵害的前提下，可以依法开放。任何机构、组织或个人也有权向相关部门提出获得和使用数据的申请。（二）安全生产大数据要具有“七性”第六十二页，共112页。（三）安全生产大数据面临的主要问题数据规模小缺乏原始信息缺乏统一的标准部门协调能力不足信息化能力弱分析工具欠缺专业人员缺乏主要问题第六十三页，共112页。数据量小、质量差：虽然安监部门都有一定规模安全生产相关数据，但由于其数据搜集、数据整理等能力不足，数据完整性、规范性方面还存在很大缺陷。特别是原始、动态数据不足，难以实现全覆盖。缺乏标准：目前我国建筑、交通、铁路、民航、民爆等行业的安全监管职责在行业管理部门，非煤、危化、工矿商贸等其他行业的安全监管职责在安监部门，各部门建立的事故信息、监管信息等数据库没有形成统一的标准，为数据衔接造成很大局限。部门协调能力不足：安全监管对象众多，各级机构限于能力和手段，在采集企业、个人及公共安全数据、互联共享中协调能力不足，难以得到充分授权与发挥作用。（三）安全生产大数据当前面临的主要问题第六十四页，共112页。企业信息化能力弱。安全生产隐患排查主要靠人力，易受到主观因素影响，且很难界定安全与危险状态，可靠性差。分析工具缺乏：在安全生产管理中，由于缺少有效的分析工具，缺少对事故规律的认识，导致我国对于安全生产主要采取“事后管理”的方式，缺少事前预防，在事故发生后才分析事故原因、追究事故责任、制定防治措施。这种方式存在很大局限性，不能达到从源头上防止事故的目的。大数据专业分析人员缺乏：大数据建设的每个环节都需要依靠专业人员完成，其关键环节数据分析是基于预言建模或未来趋势分析，传统的数据分析师并不具备开发预测分析应用程序模型的技能，安全生产领域的相应人才更是少之又少。（三）安全生产大数据面临的主要问题第六十五页，共112页。数据采集的基础支撑环境较弱因国家政务外网云尚未完成全覆盖，依托其运行的安全生产专网云目前只覆盖了总局、32个省级安监局、26个省级煤监局、76个监察分局和2/3的地级、1/3的县级安全监管机构。其他机构目前仅能通过互联网专用通道连接。受带宽限制，联网传输速度不高。？还有约1/3的地级和2/3的县级安全监管机构没有接入安全生产专网。32个省级安监局，全覆盖26个省级煤监局77个煤监分局省级安全监管监察机构已覆盖2/31/3未覆盖地级安全监管机构县级安全监管机构已覆盖1/32/3未覆盖第六十六页，共112页。缺乏统一的数据交互标准规范数据之间的交互能力较弱业务流程不同系统对接困难数据无法交互某市安监局整改治理验收评价整改治理评价总局第六十七页，共112页。数据采集不全、缺乏动态音视频数据安全监管监察部门企业各级安全监管监察部门基本上未与企业实现网络的有效连接，缺乏采集和更新企业安全生产基础数据的标准和通道。致使现有采集的企业安全生产基础数据不完整、不准确，更难以及时更新。第六十八页，共112页。类型少：数据类型单一，绝大部分为关系型数据，图像、视频、文本等安全生产业务数据少。时效性差：目前的数据获取方式主要依赖企业报送，数据按月、按季度上报，相对传感器等物联网技术实时获取数据，时效性差价值密度低：累计上报的结构化数据大都是间接性数据、可利用价值较低，非结构化比重小导致其可挖掘的范围小。目前，各个统计累计报送数量达到100余万条，累计报送报表超过500余张，上报单位约10万家。数据类型少和时效性差第六十九页，共112页。2、价值密度低：上报的隐患数据中96%为结构化数据，2%为非结构化数据，2%为蕴含隐患的图片数据1、企业隐患数据体量巨大，但是目前全国隐患数据库仅有150余万条企业自查数据非结构化数据：餐厅操作间地面污水比较多，人员走路容易滑到，存在安全隐患需要及时清理4、时效性差：试点企业7600家，2014年平均每家企业排查13条隐患3、隐患数据类型少：安全生产隐患类型纷杂多样，但是统计归类的隐患只有23项数据类型少和时效性差第七十页，共112页。

对安全监管监察机构而言，大数据可带来六大转变，最终为实现事故的超前预防提供预测预警：从粗放式管理向精细化转变从单向管制向政民互动转变从各自为战向共享协作转变从被动响应向主动预见转变从行政主导的政府向以人为本服务型政府转变从经验决策向基于大数据的科学决策转变（四）安全生产大数据的思考第七十一页，共112页。（四）安全生产大数据的思考当前的安全生产数据是大数据吗？当前数据概况大数据概况数据来源，主要采取的是人工录入，较少采取物联网等传感器自动抓去的信息。大数据是永远在线的，数据来源非常广泛，主要是UGC(用户产生内容)，机器抓取数据、用户行为数据、移动互联网数据、车联网和物联网等传感数据。数据类型，主要是以结构性数据为主，语音、视频、图片等非结构性数据相对较少。大数据更多是依赖于非结构性数据而生存，当前占据互联网90%以上的数据是图片、语音和视频等。数据价值，主要是用于年度、季度和月度的统计分析，数据的共享交换能力较弱。结果数据过多，过程数据较少，因此其挖掘价值较低。大数据的产生速度可以说是毫秒级别，成几何级数增长。数据处理速度，数据收集、存储、加工和传输速度较慢，与企业的实时监控设备互联互通、信息共享较弱。大数据由于其覆盖范围广，一旦挖掘成功，其价值是难以估算。如，淘宝网的用户推荐系统，银行的信用评级系统，均是大数据的价值之体现。第七十二页，共112页。大数据算法是不用随机分析法（抽样调查）这样的捷径，而采用所有数据的方法。——大数据经典《大数据时代》（四）安全生产大数据的思考国家工商总局商品定向监测（抽样数据）对比

阿里巴巴大数据打假平台（全部数据）假货总会露出马脚，大数据使环境越来越透明，假货无处藏身。数据来源第七十三页，共112页。（四）安全生产大数据的思考以结构化数据（表单）为主对比

多元数据类型（图片/音频/视频）数据类型RFID数据进货物流：XX省XX市图片与文本数据：意大利进口数据标准结果1110±3合格230220±20合格153120±15不合格2L2±0.2L合格1.7L1.8±0.2L合格假货音频与视频数据大数据打假案例第七十四页，共112页。（四）安全生产大数据的思考以结构化数据（表单）为主对比

多元数据类型（图片/音频/视频）数据价值新颖精致宏伟的大价值微不足道的小数据数据标准1110±3230220±20153120±152L2±0.2L1.7L1.8±0.2L通常存储的表单数据第七十五页，共112页。（四）安全生产大数据的思考分析模型第七十六页，共112页。（四）安全生产大数据的思考算法第七十七页，共112页。（四）安全生产大数据的思考传统数据分析与应用大数据分析与应用大数据分析模型传统分析是对有限的样本数据进行分析，大多数据仓库都有一个精致的提取、转换和加载（ETL）的流程和数据库限制，这意味着加载进数据仓库的数据是容易理解、清洗，并符合业务的元数据大数据分析是对总体数据，尤其是针对传统手段捕捉到的数据之外的非结构化数据进行分析，这意味着数据的理解、清洗等加工过程是复杂多变的，这使它更具有挑战性，但同时它提供了在数据中获得更多洞察力的可能。大数据中结构性数据主要是时间序列数据，非结构性数据主要是文件数据，因此，需精通的模型覆盖范围比传统数据分析要广泛。计量经济学：时间序列模型，路径分析模型、贝叶斯模型等统计学：相关性分析，线性回归模型、矩阵等计算机科学：神经网络、文本分析与挖掘、关联规则分析等传统分析是建立在关系数据模型之上的，主题之间的关系在系统内就被创立，分析在此基础上进行。在真实的世界里，很难在所有的信息间以一种正式的方式建立关系，因此以图片、视频、移动互联网、无线射频识别（RFID）等产生的非结构化数据广泛存在。绝大多数的大数据分析是基于非结构化数据。传统分析是定向定时的批处理，而且我们在获得所需的洞察力之前需要每晚等待提取、转换和加载（ETL）以及转换工作的完成大数据分析更多是针对数据的实时性分析。在一个传统的分析系统中，并行是通过昂贵的硬件，如大规模并行处理（MPP）或对称多处理(SMP)系统来实现。当前的数据分析平台是主要基于相对便宜的X86小型服务器集群，实现动态增减服务器容量与计算量。大多数据分析软件主流是基于开源的Hadoop系统产生。传统数据分析与应用大数据分析与应用=?第七十八页，共112页。（四）安全生产大数据的思考传统数据分析人才大数据分析人才=?熟悉统计学基本原理可以不懂计算机可以不会统计软件编程可以没有太丰富想象力必须熟悉统计学和计量经济学原理；必须会使用C++、Java等主流编程语言；必须会使用高级统计分析软件，如R、SAS和SPSS等必须理解分布式计算的原理，熟悉MapReduce+Java想象力必须丰富第七十九页，共112页。不是因果关系，而是相互关系。不是随机样本，而是全体数据；“样本=总体”不是精确性，而是混杂性，尤其是大数据的简单算法比小数据的复杂算法有效；（四）安全生产大数据的思考简而言之，大数据分析：

大数据时代最大的转变就是，放弃对因果关系的渴求，而取而代之关注相关关系。也就是说只要知道“是什么”，而不需要知道“为什么”。这颠覆了千百年来人类的思维惯例，对人类的认知和与世界交流的方式提出了全新的挑战。第八十页，共112页。安全生产大数据工作思路4汇报提纲大数据概述与应用2安全生产大数据现状与问题23基本概念简述1第八十一页，共112页。国务院安委会部委省政府地市/区县政府安监工商质检人社民政公安交通水利环保自然人(公众)法人(组织)公共资源（一）安全生产综合监管模式“矩阵式”的网状结构第八十二页，共112页。以应用为中心向以数据为中心转变OA“烟囱式”、每个应用建设一套数据DATA结构化数据半结构化数据非结构化数据构筑大数据平台，搭建不同应用单一应用平台构建ERPCRMPDMERPCRMPDMOABI 烟囱式：每个应用建设一套数据（二）安全生产大数据服务模式第八十三页，共112页。1各部门的业务基本覆盖智慧安监

-五级成熟度模型跨部门的业务实现关联公众服务实现互动基础资源实现共享大数据服务安全监管2345（二）安全生产大数据服务模式-智慧安监第八十四页，共112页。业务上云应用创新数据整合基础设施云平台云应用++（二）安全生产大数据服务模式-“三步走”非煤矿山监管危化品监管烟花爆竹监管煤矿安全监察工贸行业监管。。。非煤基础信息煤矿基础信息隐患排查信息标准化信息事故调查信息行政执法信息。。。趋势分析指数分析舆情分析预警分析。。。

第八十五页，共112页。工贸烟花行政许可云计算IaaS平台计算池存储池网络池传统架构（烟囱式）非煤…………煤矿危化每个系统对应一套硬件系统系统相对封闭、数据共享受限不改变现有软件系统开放式大数据处理平台监管执法数据互联网数据……模式转换创新监管应用标准化第一步上云第二步数据整合隐患排查云计算模式（三）基于云计算的安全生产大数据服务第八十六页，共112页。静态隐患排查上报动态物联网隐患采集手工填报智能互联政府检查移动执法社会举报检查举报隐患排查云服务数据中心社会化监督重大隐患辨识事故隐患致因分析事故隐患关联分析粉尘隐患监控预警重大危险源监控预警有限空间作业监控预警工贸行业隐患预警分析重点企业隐患预警分析地区隐患排查预警分析微博微信智能搜索第八十七页，共112页。一企一档标准化达标投诉举报情况许可情况……处罚情况隐患排查检查情况二级达标企业全员隐患查报率100%隐患整改率100%无事故发生有事故发生隐患无上报标准化不达标检查发现存在重大隐患无隐患举报设立未满三年企业A企业B企业标签投诉频繁加大扶持重点抽查联合惩戒安全生产责任保险费率增加10%…………安全生产责任保险费率降低20%…………加强监管企业安全生产诚信大数据应用第八十八页，共112页。1、发生安全事故的A企业属地归属、行业归属2、发生安全事故的A企业其法人情况（包括年龄、性格、祖籍、违法情况等）3、发生安全事故的A企业安全生产违规情况A企业安全生产档案-大数据的分析计算法人（年龄、性别、地域）事故情况（轻伤事故、重伤事故、死亡事故）标准化等级（一级达标、二级达标）隐患排查情况（是否排查隐患、整改率）...事故追溯安委会成员单位交换数据库工商建筑质检消防…企业基本信息煤矿数据库非煤数据库危化数据库工贸数据库…安全生产监管监察数据库法人（年龄、性别、地域）1、企业注册追溯（其他地域是否存在相同法人企业）2、企业安全生产全过程追溯过程追溯第八十九页，共112页。运输监督企业登记注册举报投诉处罚执法追踪溯源信用评估许可审批应急响应管理监督分析统计协同治理危化品仓储应急处置危化品使用云计算+物联网实时监控企业规范经营、政府高效监管、舆论有效监督

来源可查、去向可追、责任可纠、规律可循危化品责任追朔危化品生产危化品管理第九十页，共112页。语义分析引擎铝粉胶木灰煤尘锌粉湿度机械温度木屑…………………匹配匹配语法库语义库百度百科维基百科行业词库安全词库••••••••••••互联网数据标记偏移量0偏移量1偏移量2偏移量3事故：粉尘爆炸按规则分词名称粉尘铝粉氧化剂互联网公开网页爬虫软件原始网页镜像文本信息图片信息脚本信息索引信息••••••分词→词库语法库行业词库安全词库……数据资源目录按行业煤矿非煤矿山危化烟花轻工机械冶金……

按地区全国北京上海广东广西海南天津重庆江苏浙江西藏……按性质安全生产旅游政务论坛……按……互联网铝镁粉尘爆炸搜索第九十一页，共112页。大数据展现KPI监控分析预警分析综合评价分析与数据挖掘分布分析构成分析地域分析占比逾趋势分析逾趋势分析类型分析关联因素分析安全生产大数据可视化展现第九十二页，共112页。企业基本信息行政许可信息地理信息一张图重大危险源监控监测数据视频信息重大隐患信息应急资源信息第九十三页，共112页。安全生产指数：综合地表征企业/区域安全风险状况》事故发生的季节性、周期性、关联性等规律，制定安全生产决策提供支持。安全生产事故与标准化达标情况关系分析安全生产事故数量在特定月份地域分布关系分析第九十四页，共112页。安全生产舆情分析预警第九十五页，共112页。通过数据挖掘，建立安全生产舆情大数据分析模型，实现关联结果分析、趋势预判分析、模拟预测分析。第九十六页，共112页。重大事件全国定位基于GIS系统，通过安全生产舆情指数模型分析，实现省级安全生产舆情热度分析、重大事件全国定位、重点地市舆情排行、区域安全生产舆情分析。

省级安全生产舆情热度分析重点地市舆情排行区域安全生产舆情分析第九十七页，共112页。通过大数据挖掘分析，探索舆情传播规律，构建舆情预警指标体系，及时发现舆情危机苗头并预警。第九十八页，共112页。依托国家电子政务外网、互联网及移动互联网，以安全生产信息资源规划和数据应用服务为导向，充分运用云计算技术，从服务于国家安全监管总局（国家煤矿安全监察机构）、省级安全监管局、国务院安委会有关成员单位、生产经营单位（煤矿、非煤矿山、危险化学品、烟花爆竹、工贸等行业领域）、中介服务机构、社会公众等6类用户的角度，建成安全生产数据统一采集，统一管理、清洗、存储、加工、分析和应用的安全生产大数据平台。（四）构建安全生产大数据应用顶层设计第九十九页，共112页。安全生产信息资源服务安全生产大数据应用服务数据存储层资源管理层标准规范体系安全运维体系国家安监总局（国家煤监局）数据应用服务安全生产信息资源规划国务院安委会成员单位数据应用服务安全生产信息资源规划地方监管监察部门数据应用服务安全生产信息资源规划生产经营单位数据应用服务安全生产信息资