互联网金融信息安全 大数据技术及应用安全 大数据技术及应用安全

互联网金融信息安全第七章新技术应用主讲教师：XXX目录1生物识别技术与应用2云计算技术及应用3大数据风控技术及应用4区块链技术及应用大数据风控技术及应用7.3案例导入：支付宝、携程数据泄露案例2013年11月27日,原支付宝公司内部一员工李某伙同他人多次以批量出售的方式泄露用户信息被杭州当地警方逮捕。据悉,李某曾经是支付宝公司技术员工,利用工作之便,在2010年分多次在公司后台下载了公司用户的资料,资料内容超20G。随后伙同两名外部人员,以500元3万条的价格将用户信息多次出售于,电商公司、数据公司。这些用户资料,包括公民个人的真实姓名、手机、身份证号、电子邮箱、家庭住址、消赏记录等。大量信息。因此，互联网金融机构必须对云计算安全问题时刻保持警惕。2014年3月22日傍晚18点18分,一位白帽子黑客“猪猪侠”在乌云平台发布了ー条令人惊悚的漏洞报告。报告中指出,携程的一个漏洞会导致大量用户银行卡信息(包含持卡人姓名、身份证、银行卡号、卡CVV码、6位卡Bin)泄露,可能直接引发盗刷等问题。携程方面承认漏洞的存在,承诺短期内修复该漏洞,案例导入：支付宝、携程数据泄露案例同时声明,此次漏洞共涉及93名存在潜在风险的携程用户,客服已通知相关用户更换信用卡。资料来源：作者根据网络新闻整理。思考题:大数时代的信息泄露可能带来哪些风险?7.3.1大数据概述1.大数据的发展历程第一阶段：萌芽期

（

20世纪90年代至21世纪初

）随着数据挖掘理论和数据库技术的逐步成熟，一批商业智能工具和知识管理技术开始被应用，如数据仓库、专家系统、知识管理系统等。第二阶段：成熟期（21世纪前10年）Web2.0应用迅猛发展，非结构化数据大量产生，传统处理方法难以应对，带动了大数据技术的快速突破，大数据解决方案逐步走向成熟，形成了并行计算与分布式系统两大核心技术，谷歌的GFS和Mapreduce等大数据技术受到追捧，Hadoop平台开始大行其道。7.3.1大数据概述第三阶段：大规模应用期

（

2010年以后

）大数据应用渗透各行各业，数据驱动决策，信息社会智能化程度大幅提高。1.大数据的发展历程7.3.1大数据概述基百科中关于大数据的定义为：大数据是指利用常用软件工具来获取，管理和处理数据所耗时间超过可容忍时间的数据集。IDC对大数据作出的定义为：大数据一般会涉及两种或两种以上数据形式，它要收集超过100TB的数据，并且是高速、实时的数据流；或者是从小数据开始，但数据每年会增长60%以上。2.大数据的概念7.3.1大数据概述3.大数据的特点容量种类速度价值7.3.1大数据概述3.大数据的特点容量。大数据聚合在一起的数据量是非常大的，根据IDC的定义至少要有超过100TB的可供分析的数据，数据量大是大数据的基本属性。种类。Variety则意味着要在海量、种类繁多的数据间发现其内在关联。互联网时代，各种设备通过网络连成了一个整体。进入以互动为特征的Web2.0时代，个人计算机用户不仅可以通过网络获取信息，还成为信息的制造者和传播者。这个阶段不仅数据量开始了爆炸式增长，数据种类也开始变得繁多。7.3.1大数据概述3.大数据的特点3.速度。大数据时代的数据产生速度非常迅速。在Weh2.0应用领域，在1分钟内，新浪可以产生2万条微博，Twitter可以产生10万条推文，苹果可以下载4.7万次应用，淘宝可以卖出6万件商品，人人网可以发生30万次访问，百度可以产生90万次搜索查询，Facebook可以产生

600万次浏览量。大名鼎鼎的大型强子对撞机(LHC)，大约每秒产生6亿次的碰撞，每秒生成约700MB的数据，有成千上万台计算机分析这

些碰撞。7.3.1大数据概述大数据的特点价值。比前面三个V更重要的，就是value，它是大数据的最终意义，获得洞察力和价值。大数据的崛起，正是在人工智能、机器学习和数

据挖掘等技术的迅速发展驱动下，呈现了这么一个过程：将信号转化

为数据，将数据分析为信息，将信息提炼为知识，以知识促成决策和

行动。就大数据的价值而言，就像沙子淘金，大数据规模越大，真正

有价值的数据相对越少。7.3.1大数据概述4.大数据的影响科学研究思维方式社会发展就业市场••大••大••大••大数数数数据据据据使具决的得有策兴人“逐起类全渐使科样成得学而为数研非—据究抽种科在样、新学经效的家历率决成了而策为7.3.1大数据概述5.大数据的应用（一）金融行业大数据在高频交易、社交情绪分析和信贷风险分析三大金融创新领域发挥重要作用。（二）汽车行业利用大数据和物联网技术的无人驾驶汽车，在不远的未来将走入我们的日常生活（三）互联网行业借助于大数据技术，可以分析客户行为，进行商品推荐和有针对性广告投放7.3.1大数据概述5.大数据的应用（四）餐饮行业利用大数据实现餐饮O2O模式，彻底改变传统餐饮经营方式（五）电信行业利用大数据技术实现客户离网分析，及时掌握客户离网倾向，出台客户挽留措施（六）能源行业随着智能电网的发展，电力公司可以掌握海量的用户用电信息，利用大数据技术分析用户用电模式，可以改进电网运行，合理地设计电力需求响应系统，确保电网运行安全7.3.1大数据概述5.大数据的应用（七）物流行业利用大数据优化物流网络，提高物流效率，降低物流成本（八）城市管理可以利用大数据实现智能交通、环保监测、城市规划和智能安防（九）生物医学大数据可以帮助我们实现流行病预测、智慧医疗、健康管理，同时还可以帮助我们解读DNA，了解更多的生命奥秘7.3.1大数据概述5.大数据的应用（十）体育和娱乐大数据可以帮助我们训练球队，决定投拍哪种题材的影视作品，及预测比赛结果（十一）安全领域政府可以利用大数据技术构建起强大的国家安全保障体系，企业可以利用大数据抵御网络攻击，警察可以借助大数据来预防犯罪（十二）个人生活大数据还可以应用于个人生活，利用与每个人相关联的“个人大数据”，分析个人生活行为习惯，为其提供更加周到的个性化服务7.3.1大数据概述6.大数据关键技术（一）数据采集利用ETL工具将分布的、异构数据源中的数据,如关系数据、平面数据文件等,抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础；也可以把实时采集的数据作为流计算系统的输人,进行实时处理分析（二）数据存储和管理利用分布式文件系统、数据仓库、关系数据库,NOSQL数据库、云数据库等,实现对结构化、半结构化和非结构化海量数据的存储和管理7.3.1大数据概述6.大数据关键技术（三）数据处理与分析利用分布式并行编程模型和计算框架,结合机器学习和数据挖掘算法,实现对海量数据的处理和分析;对分析结果进行可视化呈现,帮助人们更好地理解数据、分析数据（四）数据安全和隐私保护在从大数据中挖掘潜在的巨大商业价值和学术价值的同时,构建隐私数据保护体系和数据安全体系,有效保护个人隐私和数据安全7.3.1大数据概述7.大数据计算模式大数据计算模式 解决问题代表产品批处理计算针对大规模数据的批量处理Mapreduce、Spark等流计算针对流数据的实时计算Storm、S4、Flume、Streams、Puma、DStream,

Super

Mario、银河流数据处理平台等图计算针对大规模图结构数据的处理Pregel、Graphx、Graph、Powergraph、Hama