大数据的核心技术和应用x课件

1、大数据时代刊物报表指与值班业务事务有关的定期与不定期刊物和一定格式的报文，如通讯、摘报、简报、通告、政府公文、报批单等，它们主要为与省政府值班室业务关联的网络内部通讯服务，也可以向外部提供数据和信息发布。刊物报表包括电子文档和印刷品两种形式，它们都具有文字和图片传真的数据传输、储存与编辑功能，无论服务于传统印刷还是网站方式，数据都要求有多种格式显示。第1页，共29页。将从如下几个方面为大家介绍大 数 据1234何为大数据？技术核心？现阶段应用？安全威胁有哪些？为何选址贵阳？5在一个复杂的大型网络系统里，必然共存着多个厂商的硬件和软件产品。网络系统的目标就是要通过不同厂商的硬件设备和计算机软件的

2、互联，从而实现网络信息及设备资源的共享。为了保证用户的网络系统具有互操作性、可用性、可靠性、可扩充性、可管理性，应建立一个开放的，遵循国际标准的网络系统。第2页，共29页。首先来了解一下大数据到底有多大？ 一组名为“互联网上一天”的数据告诉我们，一天之中，互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多,相当于美国两年的纸质信件数量;发出的社区帖子达200万个，相当于时代杂志770年的文字量。一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万由此可见，大数据不仅量大，而且更新快。图像接入，目前XXX省公安、交通、水利等部门已在重点监控地

3、方安装了监控设备，图像接入系统就是要把这些众多分布在各地的监控点纳入到指挥中心来，同时还要解决卫星图像、电视图像的综合接入。第3页，共29页。 含义：大数据(big data)：是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。从某种程度上说，大数据是数据分析的前沿技术。可以根据一定条件，将突发事件相关的多份信息统一导出成文件汇编（单一的CEB），可以再上报，并可通过数码印刷设备输出到纸张。（3）系统特点可以事先平时与战时相结合。第4页，共29页。 通俗含义：简言之，大数据就是从各种各样类型的数据中，运用一定的方法快速获得有价值信息的能力。第5页，共29页。大数据的四个

4、V特征1234volume：海量化Variety：多样化Velocity：快速化Value：价值密度低大数据体积巨大，PB级别将是常态，且增长速度快，数据每时每刻都有更新。来源多：搜索引擎、社交网络、通话记录格式多：结构化的数据、非结构化的数据大数据处理速度要求及时，这一点有一点像新闻。 如在连续不断的检测过程中，可能有用的数据可能只有一两秒，但是无法事先知道哪一秒是有价值的。 5、扩展性原则和易于升级，随着网络用户应用规模的不断扩大，要求网络能方便地扩充容量，支持更多的用户和应用。随着通信技术的不断发展，网络要能平滑地过渡到新的技术和设备，保护用户现有投资。由于XXX省级应急平台业务系统的不

5、断发展，网络系统必然随之不断扩大。因此，目前的网络设计必须为今后的扩充留有足够的余地，这样才能最好地保护投资。第6页，共29页。大数据在各行业的应用网络建设现状，XXX省级应急平台的网络建设主要依托XXX省电子政务外网。省电子政务网络外网：是电子政务网络对外的窗口，与互联网通过网络安全系统逻辑相连，对外提供一些网上服务，如受理申请、审批等；同时也是办公人员与外面进行信息交流的通道。连接范围为省、市、县（区）级政府及相关职能部门，以及因需要接入的企事业单位。 第7页，共29页。医疗保健领域：1、医疗保健内容预测分析： 利用医疗保健内容分析预测技术可以找到大量患者相关的临床医疗信息，通过大数据处理

6、，能够更好地分析患者的信息。2、精确诊断预测分析： 通过社交网络可以收集数据的健康类运用，例如：可通过检测人体中药剂的含量来确定患者下一次服药时间及服药量，而不是仅仅根据药单说明书。结合电子公文交换、电子公章、标准公文生成，开发了突发事件应急信息报送系统，有效提高了应急信息处理的安全性、准确性和规范性。系统主要功能特点第8页，共29页。交通行业：快速传递地理定位数据： 为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎事故，在货车上装有传感器、无线适配器和GPS。缓解停车难问题： 利用iOS和安卓手机，能够跟踪入网城市的停车位，用户可以运用网络平台，查看附近的可用的车库和停车位，以及价

7、格区间等，从而作出判断。缓解道路拥堵系统的系统方案： 基于实时交通报告来预测拥堵情况。如交通管理人员可以对某段路的拥堵情况及时调整信号灯。网络建设现状，XXX省级应急平台的网络建设主要依托XXX省电子政务外网。省电子政务网络外网：是电子政务网络对外的窗口，与互联网通过网络安全系统逻辑相连，对外提供一些网上服务，如受理申请、审批等；同时也是办公人员与外面进行信息交流的通道。连接范围为省、市、县（区）级政府及相关职能部门，以及因需要接入的企事业单位。 第9页，共29页。零售业领域：收集客户信息信息： 对消费者的喜好以及个人信息进行分类统计，从而优化销售模式。如淘宝网就可以根据客户的浏览习惯在用户浏

8、览网页时将相关产品推荐给客户。这其实就涉及到了数据的积累。销售模式的优化： 厂家可以通过产品的销售情况对产品的销售模式进行调整：如可以根据某款产品在各地的销售量情况可以适时调整供货量。需求分析： 通过对客户各项信息的统计，制定出最佳的销售策略，如当红美剧纸牌屋就是Netflit公司在收集了观众大量的观看习惯、喜好之后作出的拍摄决定。4、易维护性原则，要保证网络能正常稳定运行，要求网络维护人员可以方便地对网络设备进行远程控制和配置；并且网络设备要能够进行热插拔，方便进行日常维护。第10页，共29页。大数据在生活中的应用云电视：大数据与互联网的完美结合1）可与电子公文交换系统相融合，日常进行普通公

9、文的报送，战时，报送突发事件信息。2）将应急预案，事先制定成系统模版，实现快速应急反应。第11页，共29页。云电视 应用云计算、云存储技术、大数据分析的电视产品，是云设备的一种。通俗地讲，就是用户不需要单独再为自家的电视配备所有互联网功能或内容，将电视连上网络，就可以随时从外界调取自己需要的资源或信息，比如说，可以在云电视里安装使用各种即时通讯软件，在看电视的同时，进行社交、办公等等。3）对报送的信息进行分类组织，实现快速处理将报送信息根据类型进行内网发布，可以通过突发事件名称、事件、来源等进行检索和浏览；报送的信息包括XML和版式两部分，通过XML，便于信息交换；通过版式，便于信息阅读和打印

10、；第12页，共29页。理解云电视首先得理解云技术网络服务提供商就是一朵云用户可以把从网络服务提供商得到的服务想象为从云端飘下的小雨用户不用考虑网络服务商如何处理数据，只要索取资源即可这就使用户不再被动的收看电视，而是可以在线点播电影、电视节目预定、视频通话、玩游戏等等这其中大数据与云技术实现了完美结合这就是云电视除硬件的容错外，网络设备还应具备软件故障隔离和软件的热备份和热启动等，这样才能保证网络运行的万无一失。为了防止局部的故障引起整个信息系统的瘫痪，要避免网络出现单点失效。在骨干通信信道上要提供备份链路，提供冗余路由。在主要通信设备上要提供冗余配置，保证不会由于局部模块的故障影响整个设备的

11、运行。 第13页，共29页。大数据的核心技术： 数据挖掘网络系统设计原则，结合XXX省级应急平台建设工程的实际应用和发展要求，在进行网络系统设计时，以需求为导向、以应用促发展。网络系统的建设应遵循以下原则：第14页，共29页。 数据挖掘（Data mining）：又译为资料探勘、数据采矿。它是数据库知识发现中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。 即从大量的、不完全的、有噪声的、模糊的、随机的实际数据中，提取出我们想要的、或者有潜在价值的信息的过程。3）对报送的信息进行分类组织，实现快速处理将报送信息根据类型进行内网发布，可以通过突发事件名称、事件、来源等

12、进行检索和浏览；报送的信息包括XML和版式两部分，通过XML，便于信息交换；通过版式，便于信息阅读和打印；第15页，共29页。大数据的安全威胁有哪些图像接入的重点在于对图像信息的集中管理和控制。要求采用数字化的存储和查询方式，支持基于TCP/IP的图像信号传输。系统必须对各种来源的图象信号实现集中控制切换和共享。可以设置专门的图象监控终端，也可在所有处警席位、值班主任席位、紧急指挥席位监视、控制所需要的图像。收统一的权限管理系统来控制。第16页，共29页。大数据的安全威胁大数据基础设施安全威胁大数据存储安全威胁隐私泄露问题针对大数据的高级持续性攻击其他安全威胁3）对报送的信息进行分类组织，实现

13、快速处理将报送信息根据类型进行内网发布，可以通过突发事件名称、事件、来源等进行检索和浏览；报送的信息包括XML和版式两部分，通过XML，便于信息交换；通过版式，便于信息阅读和打印；第17页，共29页。非授权访问 信息泄露或丢失网络基础设施传输过程中破坏数据完整性大数据基础设施安全威胁拒绝服务攻击网络传播病毒攻击者能够通过实施 嗅探、中断人攻击 、重放攻击来窃取或篡改数据。 通过干扰网络，改变其正常的作业流程或执行武官 程序，导致系统响应迟缓，影响合法用户的正常使用，甚至使合法用户遭到排斥，不能得到响应的服务。没有预先经过同意，就使用网络或计算机资源 ，主要形式有 假冒、身份攻击、非法用户进入网

14、络系统进行违法操作，以及合法用户以未授权方式进行操作等。通过信息网络传播计算机病毒 。 如攻击者通过建立隐蔽隧道窃取 敏感信息，最典型的有美国棱镜门（窃取世界各地公民信息）、阿桑奇事件、斯诺登事件。LCD多屏拼接模式，根据实际工程实施经验，建议组合屏底座高度在0.8米左右，控制台到大屏幕的观看距离不小于4.5米。同时，为了方便安装维护，投影单元箱体后面需要保留净空间60厘米。第18页，共29页。大数据存储安全威胁：主要指NoSQL非关系型数据库存储安全威胁模式成熟度不够：系统成熟度不够：代码容易产生漏洞：数据冗余和分散问题：目前的标准sql技术包含严格的访问控制和隐私管理工具，而NoSQL没有

15、。NoSQL含有较多漏洞。这是计算机诞生时起就一直存在的问题，至今无法解决，只能不断打漏洞补丁。NoSQL模式下数据分散在不同地理位置、不同服务器中，以实现数据的优化查询和备份。在这种情况下，难以定位数据并进行保护。3、安全性原则，为了保护XXX省级应急平台关键性数据的安全可靠，需要网络能够提供多种方式和层次的访问控制（包括标准访问控制列表和控制访问控制列表）。XXX省级应急平台要与Internet 网连接，因此要具有强大的防火墙功能和灵活有力的数据包过滤功能，为通信系统提供高质量的安全保障。 第19页，共29页。 大数据中的隐私泄露： 大数据中用户无法知道数据的确切存放位置，用户对其个人数据

16、的采集、存储、使用、分享无法有效控制。例如实名注册一个社交网站后，用户信息将不再受用户本人支配，攻击者可通过攻击社交网站窃取用户信息。应急值守，值守业务是基本处理模块，所有值班员受理的值班信息，包括各种电子文档、电话、传真、邮件、视频文件都要首先送到值班业务模块，在值班员的受理过程中进行鉴别、确定类型与编号，然后进行分发，分发包括输出信息到上下级端口，也包括到数据库，以及到别的模块，以便作进一步的数据处理。第20页，共29页。其他安全威胁网络化社会使大数据易成为攻击目标大数据滥用风险大数据误用风险如论坛、博客、微博等为黑客窃取个人信息提供了平台。如黑客能够利 用大数据技术最大限度地收集用户的敏

17、感信息。如从社交网站获取 的个人信息的准确性， 基本资料例如年龄、婚姻状况等都是为经验证的，分析结果可信度不高。 第21页，共29页。大数据产业为何落户贵阳刊物报表指与值班业务事务有关的定期与不定期刊物和一定格式的报文，如通讯、摘报、简报、通告、政府公文、报批单等，它们主要为与省政府值班室业务关联的网络内部通讯服务，也可以向外部提供数据和信息发布。刊物报表包括电子文档和印刷品两种形式，它们都具有文字和图片传真的数据传输、储存与编辑功能，无论服务于传统印刷还是网站方式，数据都要求有多种格式显示。第22页，共29页。一：生态条件优越。 贵阳的经济社会发展具有明显的生态示范城市效应，贵安生态条件也很

18、优越。贵阳市气候凉爽，周边年平均气温15.1，夏无酷暑，冬无严寒。空气清新，达到世界卫生组织设立的清新空气负氧离子标准的上限。纬度合适，处于北纬26度，与埃及的开罗、印度的新德里、美国的夏威夷大体相当。海拔适中，在l000米左右，紫外线辐射为全国乃至全球最少的地区之一，非常适合人居。灾害罕见，没有发生过地震、台风等。由于省政府已建有屏显系统，随着全省应急会商系统的建设，应急会商业务的发展，可以考虑扩建或重建。显示屏组合模式，大屏幕组合模式分两种：LCD多屏拼接模式和电视墙显示模式；第23页，共29页。 二：产业要素保障能力强。 贵州省电力充沛，能源富足，是“西电东送”的起源。贵州省水资源丰富，

19、电力水火并济，稳定可靠。随着高铁时代的到来，贵州省物流逐步通畅，交通日益便捷。生活生产配套环境相对优越。贵阳市拥有相对较好的生产、生活和产业配套环境，电子商务、金融、保险、法律、物流、会展等生产性服务业发展水平在全省处于领先。综合业务管理系统，应急综合应用系统可对各单位日常和应急所涉及到的各项工作提供全过程综合管理，该系统所涉及的内容主要包括：应急值守、信息报送、刊物报表等。 第24页，共29页。 三：大数据产业支撑基础好。 运营商大数据中心奠定产业发展基础。三大运营商数据中心在贵安新区相继开工建设，其中：中国电信云计算中心用地500亩，总投资70亿元，中国移动(贵州)数据中心项目用地275亩

20、，总投资20亿元，中国联通(贵安)云计算基地用地500亩，总投资50亿元。三大运营商数据中心在贵安新区相继建成后，将使贵阳周边特定区域集聚20-30万的机架、上百万台的服务器，数据存储规模可达EB以上，成为国内乃至全球最大的数据聚集地之一。信息报送，突发事件发生后，需要即时、安全发送事件基本信息和发展动态监控信息给各主管部门和政府，这就需要一条应急信息的快速专用通道，这就是应急信息报送系统通过专用信息报送的网络通道，采用安全可控的电子文件格式，按照预备案规范要求即时报送信息，同时采用电子公章、CA等身份认证、操作日至等系统后台监控信息发送情况并予以自动统计、分析，以辅助决策的事件管理应用系统。 第25页，共29页。 四：产业配套支撑能力不断提升。 富士康第四代产业园已落户贵安新区，配套支撑能力不断提升。二是以011、061、083三大军工基地为核心的航空航天电子装备行业快速发展，大幅提升产业自主创新能力。三是电子材料配套能力逐步提升。在锂离子电池正极材料，银粉浆料、钯粉等电子浆料和电子级磷化工产品，金属镓等半导体材料和稀土磁性材料已具备很好的基础。富士康贵安产业