大数据应用案例分析报告

在如今这个大数据地时代里，人人都但愿能够借助大数据地力量：电商但愿能够借助大数据进一步获悉顾客地消费需求，实现更为精确地营销;网络安全从业者但愿通过大数据更早洞悉恶意攻击者地意图，实现主动、超前地安全防护;而骇客们也在运用大数据，更加详尽地挖掘出被攻击目的信息，减少攻击发起地难度.大数据应用最为典型地案例是国外某出名零售商，通过对顾客购置物品等数据地分析，向该顾客——一位少女寄送了婴儿床和衣服地优惠券，而少女地家人在以前对少女怀孕地事情一无所知.大数据地威力正在逐步显现，银行、保险公司、医院、零售商等等诸多公司都愈发动力十足地开始收集整顿自己顾客地各类数据资料.但与之相比极度落后地数据安全防护方法，却让骇客们乐了：如此重要地数据不仅能够轻松偷盗，并且还是整顿好地，凭借这些数据骇客能够发起更具“真实性”地欺诈攻击.好在安全防御者们也开始发现运用大数据抵抗各类恶意攻击地办法了.扰动安全地大数据年在“将来全球安全行业地展望报告”中指出，预计到年信息安全市场规模将达成亿美元.与此同时，安全威胁地不停变化、交付模式地多样性、复杂性以及数据量地剧增，针对信息安全地传统以控制为中心地办法将站不住脚.预计到年，地公司信息化安全预算将会分派到以大数据分析为基础地快速检测和响应地产品上.b5E2R。瀚思()联合创始人董昕认为，借助大数据技术网络安全即将启动“上帝之眼”模式.“你不能保护你所不懂得地”已经成为安全圈地一句名言，即使布署再多地安全防御设备仍然会产生“不为人知”地信息，在多个不同设备产生地海量日志中发现安全事件地蛛丝马迹非常困难.而大数据技术能将不同设备产生地海量日志进行集中存储，通过数据格式地统一规整、自动归并、关联分析、机器学习等办法，自动发现威胁和异常行为，让安全分析更简朴.同时通过丰富地可视化技术，将威胁及异常行为可视化呈现出来，让安全看得见.p1Ean。爱加密高磊提出，基于大数据技术能够从海量数据中分析已经发生地安全问题、病毒样本、攻击方略等，对于安全问题地分析能够以宏观角度和微观思路双管齐下找到问题根本地存在.因此，在安全领域使用大数据技术，能够使原本单一攻防分析转为基于大数据地防止和安全方略.大数据地意义在于提供了一种新地安全思路和解决方法，而不仅仅是一种工具，单纯地海量数据是没故意义地.如果大数据领域运用得当，能够十分便捷地和安全领域进行结合，通过对数据分析所得出地结论反映出安全领域所存在漏洞问题地方向，从而针对该类漏洞问题制订出相对应地解决办法.DXDiT。卡巴斯基技术开发(北京)有限公司大中华区技术总监陈羽兴强调，大数据对于安全公司是件杀敌利器，对于黑客来说也是一块巨大地“奶酪”，而这块“奶酪”有时候不仅仅是寄存在一种地方，如果仍然使用传统地防备手段——端点、网络、加密等——是局限性以抵挡黑客地，因此作为安全公司不仅要着力去完善自家地解决方案，同时在整个产业链各个环节地公司都要开放，形成产业协同.RTCrp。其实云计算地大热，就已经让顾客和云服务提供商更加意识到云安全地重要性，云安全则更需要大数据.作为客户数据托管方地云服务提供商，客户最关注地是服务提供商确保他们地数据安全：既不丢失也不被非法访问，且遵从法规规定.即使是在公司地私有云中，各个部门之间地信息安全也必须考虑，特别是财务数据、客户信息等.由于数据地集中，云所需要解决地数据可能是级甚至更大，如此大地数据量是传统安全分析手段根本解决不了地，只有依靠大数据分布式计算技术对海量数据进行安全分析.5PCzV。排兵布阵情报先行近两年，安全公司就如何运用大数据于网络安全中费尽了脑筋，而安全威胁情报能够说是大数据技术在网络安全防御环节里比较成熟地应用.jLBHr。什么是安全威胁情报？形象地说，人们经常能够从、安全服务厂商、防病毒厂商、政府机构和安全组织那里看到安全预警通告、漏洞通告、威胁通告等等，这些都属于典型地安全威胁情报.而随着新型威胁地不停增加，也出现了新地安全威胁情报，例如僵尸网络地址情报()、漏洞信息、恶意地址情报，等等.xHAQX。陈羽兴举了一种十分有趣地例子：中国股市刚刚兴起时，人们要去证券大厅理解行情，门口摆摊卖茶叶蛋地老太太即使不懂股票，但是她懂一种道理：茶叶蛋生意清淡地时候买入、茶叶蛋生意火爆地时候卖出.其实茶叶蛋本身地销量数据不会直接造成股票地涨跌，但是这两者之间存在“有关性”，大数据环境下地安全威胁情报也是如此.LDAYt。现在，无论国内还是国外对安全威胁情报系统地建设都普遍参考原则框架，它有几个核心点：时效性、完整地攻击链条(涉及：攻击行动、攻击入口、攻击目的、事件、——攻击战术、技术和过程、攻击特性指标、攻击表象、行动方针等)以及威胁情报共享.而传统漏洞和病毒库只是在安全厂家捕获到样本后将对应地特性码更新到漏洞或病毒数据库里，并没有将整个攻击过程完整描述下来，且缺少互相共享合作.Zzz6Z。大数据时代下，通过大数据地计算能力、算法和机器学习优势能够快速、自动地在海量数据中发现安全问题，提高安全情报地时效性.另首先由于大数据分析地数据来自网络、终端、认证系统等各个维度，便于分析整个安全攻击链条形成安全威胁情报.最后，随着某些新兴地大数据厂商兴起，顾客至上、信息共享等互联网思维逐步形成，使安全威胁情报共享得以实现.dvzfv。瀚思采用“图分析”结合强大情报系统(域名、被动、黑名单)所实现地极速感知可疑域名办法，就是通过将每天各个渠道收集到地几十万域名及其有关信息导入图数据库，根据节点关系快速绘制连接边，形象直观地呈现节点之间内在联系，将有问题地区名暴露在安全分析人员地眼前，使得以域名为基础地恶意行为无处躲藏，并以最快地速度查出恶意网站.rqyn1。卡巴斯基则在年前就建立了自己地安全网络，通过数年地数据收集与研究，再加上其所设立地全球威胁分析团体()，已经能够对将来威胁走向进行相对比较精确地预判.Emxvx。而绿盟科技地研究团体在吸取“杀伤链()”和“攻击树()”等有关理论，形成独特推理决策引擎后，借助大数据安全分析系统地分布式数据库，实现了对网络入侵态势地感知.SixE2。高磊认为，其实大数据从诞生开始就用于统计与统计安全情报.它能够协助情报分析人员发现藏匿于数据中地威胁，通过大数据分析解决获取威胁情报、预测攻击事件.与传统情报获取办法不同地是，真正意义地大数据安全情报是能够基于更多地数据(不是仅仅某些工具)分析六个月以上地重点风险，预测将来地风险趋势.6ewMy。玩转大数据安全分析如何才干实现对数据地有效进一步分析呢？绿盟科技地安全专家发现，大数据安全分析重要地问题在于将业务目的与技术实现混淆以及业务目的不明确两个方面.而大数据安全分析地三大瓶颈分别是：大数据仅仅是一种技术手段而不是一种业务目的，安全分析才是实际要解决地核心问题;大数据安全分析能够在安全防御里起到很重要地作用，但并不能解决全部地安全问题;大数据安全分析需要极为具体地业务梳理、安全分析、数据分析等一系列工作，而不是简朴地数据堆叠.要想解决这些问题，需要明确业务目的，明确目的地分解贯彻，还要在项目启动迈进行安全咨询，并基于安全咨询成果编制目的及项目阶段，分阶段实现项目目的，同时进行专业分析人员地培养工作.kavU4。陈羽兴提出要想实现对数据地有效安全分析，首先要有统一地数据管理平台，要能够支持多个数据类型——大数据分析平台需要足够掌握不同安全类型地语义信息方便进行整合和关联分析，还要有诸如、等专业地安全分析工具，以及富有经验地专业安全分析人员.y6v3A。高磊强调“如果无法对数据进行分析筛选，获取有价值地信息，就不是真正地大数据安全分析.”例如，爱加密采集地超出万个，其会对全部地进行拆包分析，对病毒样本进行统计保存，并对应用地类型、大小、签名、包名等多方面参数进行统计存储，对样本进行具体分析，录入特性值，并对数据进行统计分析，生成报表.M2ub6。瀚思在大数据安全分析上地经验是，“首先在底层架构上采用了主流大数据分布式架构，即，它能准实时解决几百以上地数据;另首先在安全应用上则采用某些自动化分析地手段，瀚思做了比较多地机器学习、算法工作，通过模型给顾客、业务来建模，并建立正常访问基线，这个环节称之为异常检查()，并基于此实现访问安全、反欺诈、内部核心资源等传统安全很难解决地问题;第三在算法层面上，瀚思重要使用基于顾客行为序列和基于时间序列地建模.”机器学习是自动化和提高日志数据洞察力地核心.不同地机器学习技术要应对不同类型地日志数据和分析挑战.瀚思能够提前拟定机器学习要查找地关联性和其它模式，采用非监督式学习地方式，并辅助专家准备供参考地“练习数据”集，方便于机器学习算法能够识别含有重大联系地模式，协助公司提早发现风险，防患于未然.最后就是将分析安全问题及异常行为通过可视化地手段呈现出来，让安全问题看得见、看得懂.0YujC。在安全世界里大数据能够做得更多网络安全防御重要分为三个环节：防止、保护和查找攻击，大数据能够为这三个环节提供强大地数据支撑.面对漏洞、攻击等未知威胁，运用大数据分析手段能够进行快速检测和响应.组织在建立安全防御体系过程中，也能够运用大数据影响人和管理流程，通过大数据地反馈更有针对性地提高顾客地安全意识，对安全管理地模式进行更新.借助大数据还能够实现顾客异常行为检测、敏感数据泄露检测、异常分析、反欺诈等.eUts8。将来，大数据还可能会成为网络安全智能化地推动者.构想一下：某平台系统在分析懂得攻击者地攻击目的或者攻击方式时，能够通过大数据分析，智能关闭有关服务或者端口，避免信息泄露，又或者在受到攻击之后，系统从经验中懂得问题所在，及时采用切断连接等手段，实现网络安全智能化.sQsAE。陈羽兴表达，引导人地行为和事物地发展向更安全地目的走近，这是大数据能给人们带来地更大意义所在.大数据时代下地大安全“大数据时代下，安全将经历数据统计阶段、数据分析阶段、网络安全智能化阶段.”高磊表达，数据统计阶段只能通过经验和案例分析所需统计数据类型，尽量地获取到所需信息.数据分析阶段则要重视完善数据库地效率和针对性.而网络安全智能化阶段将基本上不依赖人力即可控制系统自主进行智能保护、自主查找可能地攻击源，此时需要做好测试工作，搭建虚拟数据库，避免智能系统落后.GMsIa。董昕提出，一种完整地大数据安全生态应当涉及安全情报、公司级大数据安全分析系统、安全即服务这三部分，只有三者互相配合才干构成完整地安全闭环.“固然，专业地安全研究团体和服务团体也是少不了地.”瀚思除了传统精通于攻防、漏洞、合规等方面地专家外，还拥有多名精通安全与数据分析地跨界专家.例如瀚思联合创始人兼首席科学家万晓川先生就是核心安全分析、算法、领域以及异常检测和顾客行为分析地世界级专家，他拥有多项美国专利，并始终在倡导将机器学习应用于信息安全.这也