大数据应用案例

-.z.大数据应用案例1物联网大数据应用由于遍布全球的众多传感器和智能设备，物联网触发了数据或大数据的淹没。只有大数据技术和框架才能处理这样庞大的数据量，这些数据量可以传输各种类型的信息。物联网的数量增长越多，就需要更多的大数据技术。在这个领域内，机构需要将重点转移到实时易于访问的丰富数据上。这些数据会影响客户群，并可通过挖掘产生有意义的结论。来自传感器的数据应该被处理以实时发现模式和见解，以推进业务目标。现有的大数据技术可以有效利用传入的传感器数据，将其存储起来，并使用人工智能进展高效分析。实际上，对于物联网处理，大数据是燃料而人工智能是大脑。物联网不仅是大数据的重要来源，还是大数据应用的主要市场。在物联网中，现实世界中的每个物体都可以是数据的生产者和消费者，由于物体种类繁多，物联网的应用也层出不穷。下面简述几种典型物联网大数据的使用案例。车队管理许多运输公司都携带传感器来监控驾驶员的行为和车辆的位置。好的驾驶技能和道路平安行为得到保险公司的奖励。通过提供所有机械和电气组件的详细机器日志数据，物联网为远程信息处理提供了一个优势。全球物流公司UPS广泛使用该技术来监控车队车辆的速度，行驶里程，休息停靠，油耗，发动机使用情况等。因此，该公司减少了有害排放和燃料消耗。UPS快递为了使总部能在车辆出现晚点的时候跟踪到车辆的位置和预防引擎故障，它的货车上装有传感器、无线适配器和GPS。同时，这些设备也方便了公司监视管理员工并优化行车线路。UPS为货车定制的最正确行车路径是根据过去的行车经历总结而来的。2011年，UPS的驾驶员少跑了近4828万公里的路程。1.2智慧城市智慧城市，是一个基于物联网大数据应用的热点研究工程，图1所示为基于物联网大数据的智能城市规划。迈阿密戴德县，就是一个智慧城市的样板。佛罗里达州迈阿密戴德县与IBM的智慧城市工程合作，将35种关键县政工作和迈阿密市严密联系起来，帮助政府领导在治理水资源、减少交通拥堵和提升公共平安方面制定决策时获得更好的信息支撑。IBM使用云计算环境中的深度分析向戴德县提供智能仪表盘应用，帮助县政府各个部门实现协作化和可视化管理。智慧城市应用为戴德县带来多方面的收益，例如戴德县的公园管理部门今年因及时发现和修复跑冒滴漏的水管而节省了100万美元的水费。图1基于物联网的智慧城市农业基于物联网应用技术平台可以升级传统农业流程，对农作物的用药、灌溉、施肥及其相关畜牧业等实现实时监控，提高资源利用率，减少对环境的污染，特别是加强农作物疾病监控与常见传染性疫情预警，在保证农作物增产率的同时提高生产经济效益，从而实现农业现代化高效经营和可持续开展。约翰迪尔是一家销售农场设备的跨国公司。它监测各种参数，如土壤湿度水平等。数据发送到一个集中管理平台，根据湿度水平，可以提醒农民何时进展灌溉。这可以防止不必要的灌溉，防止特定地区的水资源集中。卫生保健可穿戴式健身追踪器和医疗应用程序帮助人们监控他们的安康状况。来自这些设备的数据可用于追踪如血压，糖水平等参数，以及预先诊断感染疾病的可能性。Preventice公司整合了应用程序，手机，笔记本电脑，平板电脑和云等，用于远程病人监控。该公司允许客户的医生在线监测其安康状况，以防止常规检查。Proteus是一家初创公司，其药丸中含有传感器，可用于检查患者是否遵医嘱。2基于大数据的智能交通信息通讯技术的开展，使交通运输从数据贫乏转向数据丰富的大数据时代，北京市6万余辆出租车一天就会产生数亿条GPS数据，车牌识别、交通监控视频等数据量更大，交通相关的数据量级已从TB级别跃升到PB级别，对智能交通系统的运营和管理产生了巨大影响。面对众多的交通大数据，如何对其进展准确、高效的处理和分析及预测，挖掘其中蕴含的深层应用，做出即时和正确的交通诱导和疏通以有效改善实际交通拥堵状况成为智能化交通信息处理分析的核心内容。交通大数据与传统交通数据的不同主要表达在特征中。结合交通大数据的根本类型，认为交通大数据具有6V特征，具体如表1所示。表1交通大数据的特征特征描述Volume：体量巨大构造化数据和非构造化数据的广泛来源与长期存储Velocity：处理快速交通流具有时变性，交通管理与效劳具有时效性，需要较快的数据处理速度Variety：模态多样数据来源广泛、类型丰富，交通系统具有多状态特征Veracity：真假共存数据存在缺失、错误、冗余等异常现象Value：价值丰富具有时间、空间、历史等多维特征，是多元效劳的根底Visualization：可视化交通运行状态、城市路网特性等需要可视化的展现数据是智能交通系统的根底，交通数据采集手段和处理方法的深度革新将引领智能交通系统的变革。目前，国际智能交通领域的车路协同系统、公众出行便捷效劳、车联网等热点技术领域都在广泛研究和应用大数据技术。交通大数据的应用对交通的开展将带来巨大的变化，这主要表达在大数据技术的实时性、分布性、高效性及预测性方面。１〕实时性。传统的海量数据模糊查询和统计分析无法到达交通实时性的需求，大数据能够实时地对交通大数据分析、处理，提供秒级响应，帮助人们在海量的交通数据中快速发现交通异常，并定位症结，方便交通管理，使交通运行得更加合理。２〕分布性。传统的数据应用多为单表挖掘分析，一旦涉及到跨表关联就会因效率问题而无能为力，大数据的分布式并行处理擅长复杂的块表关联分析，推动数据串并关联，提高数据处理能力，支撑高并发多用户访问，协同人们在交通紧急事件中多方协作、快速处置。３〕高效性。高效的交通大数据挖掘能力，能够快速发现海量交通数据中的内在关联规律，进而提高交通运营效率以及路网的通行能力。伦敦市利用大数据减少了交通拥堵时间，提高了交通运转效率。４〕预测性。大数据技术较高的预测能力可降低交通状态误报和漏报的概率，通过建立区域交通状态的监测及预测模型，共享交通运行与路况环境数据，随时对交通的动态性进展实时监控，帮助驾驶者及用户预先了解交通拥堵状况，避开拥堵路段。大数据对交通的巨大影响除了以上几个方面外，对交通环境的平安性也有巨大影响。大数据的实时性和可预测性以及综合的决策模型有助于提高交通平安系统的数据处理能力。大数据快速整合各个传感器数据，结合车辆运行轨迹数据，综合分析车辆行驶平安性，为应急决策提供辅助，提高应急救援能力，有效降低交通事故的发生。由此可见，大数据技术的出现及应用能够有效地解决智能交通面临的诸多难题。3企业内部大数据应用目前，大数据的主要来源和应用都是来自于企业内部，商业智能〔businessintelligence,BI〕和OLAP可以说是大数据应用的前辈。企业内部大数据的应用，可以在多个方面提升企业的生产效率和竞争力。具体而言：市场方面，利用大数据关联分析，更准确地了解消费者的使用行为，挖掘新的商业模式；销售规划方面，通过大量数据的比拟，优化商品价格；运营方面，提高运营效率和运营满意度，优化劳动力投入，准确预测人员配置要求，防止产能过剩，降低人员本钱；供给链方面，利用大数据进展库存优化、物流优化、供给商协同等工作，可以缓和供需之间的矛盾、控制预算开支，提升效劳。在金融领域，企业内部大数据的应用得到了快速开展。例如，招商银行通过数据分析识别出招行信用卡价值客户经常出现在星巴克、DQ、麦当劳等场所后，通过"多倍积分累计〞"积分店面兑换〞等活动吸引优质客户；通过构建客户流失预警模型，对流失率等级前20%的客户出售高收益理财产品予以挽留，使得金卡和金葵花卡客户流失率分别降低了15个和7个百分点；通过对客户交易记录进展分析，有效识别出潜在的小微企业客户，并利用远程银行和云转介平台实施穿插销售，取得了良好成效。当然最典型的应用还是在电子商务领域，每天有数以万计的交易在淘宝上进展，与此同时相应的交易时间、商品价格、购置数量会被记录，更重要的是，这些信息可以与买方和卖方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配．淘宝数据魔方是淘宝平台上的大数据应用方案，通过这一效劳，商家可以了解淘宝平台上的行业宏观情况、自己品牌的市场状况、消费者行为情况等，并可以据此进展生产、库存决策，而与此同时，更多的消费者也能以更优惠的价格买到更心仪的宝贝。而阿里信用贷款则是阿里巴巴通过掌握的企业交易数据，借助大数据技术自动分析判定是否给予企业贷款，全程不会出现人工干预。据透露，截至目前阿里巴巴已经放贷300多亿元，坏账率约0.3%左右，大大低于商业银行。4大数据在金融领域应用金融领域一直较为重视大数据技术的开展。相比常规商业分析手段，大数据可以使业务决策具有前瞻性，让企业战略的制定过程更加理性化，实现生产资源优化分配，依据市场变化迅速调整业务策略，提高用户体验以及资金周转率，降低库存积压的风险，从而获取更高的利润。4.1大数据在金融领域典型应用场景在银行业的应用主要表现在两个方面：一是信贷风险评估。以往银行对企业客户的违约风险评估多基于过往的信贷数据和交易数据等静态数据，内外部数据资源整合后的大数据可提供前瞻性预测。二是供给链金融。利用大数据技术，银行可以根据企业之间的投资、控股、借贷、担保及股东和法人之间的关系，形成企业之间的关系图谱，利于企业分析及风险控制。在证券行业的应用主要表现为：一是股市行情预测。大数据可以有效拓宽证券企业量化投资数据维度，帮助企业更精准地了解市场行情，通过构建更多元的量化因子，投研模型会更加完善。二是股价预测。大数据技术通过收集并分析社交网络如微博、朋友圈、专业论坛等渠道上的构造化和非构造化数据，形成市场主观判断因素和投资者情绪打分，从而量化股价中人为因素的变化预期。三是智能投资参谋。智能投资参谋业务提供线上投资参谋效劳，其基于客户的风险偏好、交易行为等个性化数据，依靠大数据量化模型，为客户提供低门槛、低费率的个性化财富管理方案。在互联网金融行业的应用，一是精准营销。大数据通过用户多维度画像，对客户偏好进展分类筛选，从而到达精准营销的目的。二是消费信贷。基于大数据的自动评分模型、自动审批系统和催收系统可降低消费信贷业务违约风险。4.2金融大数据的典型案例分析为实时接收电子渠道交易数据，整合银行内系统业务数据。中国交通银行通过规则欲实现快速建模、实时告警与在线智能监控报表等功能，以到达实时接收官网业务数据，整合客户信息、设备画像、位置信息、官网交易日志、浏览记录等数据的目的。该系统通过为交通银行卡中心构建反作弊模型、实时计算、实时决策系统，帮助拥有海量历史数据，日均增长超过两千万条日志流水的银行卡中心，形成电子渠道实时反欺诈交易监控能力。利用分布式实时数据采集技术和实时决策引擎，帮助信用卡中心高效整合多系统业务数据，处理海量高并发线上行为数据，识别恶意用户和欺诈行为，并实时预警和处置；通过引入机器学习框架，对少量数据进展分析、挖掘构建并周期性更新反欺诈规则和反欺诈模型。系统上线后，该银行迅速监控电子渠道产生的虚假账号、伪装账号、异常登录、频繁登录等新型风险和欺诈行为；系统稳定运行，日均处理逾两千万条日志流水、实时识别出近万笔风险行为并进展预警。数据接入、计算报警、案件调查的整体处理时间从数小时降低至秒级，监测时效提升近3000倍，上线3个月已帮助卡中心挽回数百万元的风险损失。百度的搜索技术正在全面注入百度金融。百度金融使用的梯度增强决策树算法可以分析大数据高维特点，在知识分析、汇总、聚合、提炼等多个方面有其独到之处，其深度学习能力利用数据挖掘算法能够较好地解决大数据价值密度低等问题。百度"磐石〞系统基于每日100亿次搜索行为，通过200多个维度为亿账号准确画像，高效划分人群，能够为银行、互联网金融机构提供身份识别、反欺诈、信息检验、信用分级等效劳。该系统累计为百度内部信贷业务拦截数十万欺诈用户，拦截数十亿不良资产、减少数百万人力本钱，累计合作近500家社会金融机构，帮助其提升了整体风险防控水平。5在线社交网络大数据应用在线社交网络，是一种在信息网络上由社会个体集合及个体之间的连接关系构成的社会性构造。在线社交网络大数据主要来自即时消息、在线社交、微博和共享空间４类应用。由于在线社交网络大数据代表了人的各类活动，因此对于此类数据的分析得到了更多关注。在线社交网络大数据分析是从网络构造、群体互动和信息传播３个维度，通过基于数学、信息学、社会学、管理学等多个学科的融合理论和方法，为理解人类社会中存在的各种关系提供的一种可计算的分析方法。目前，在线社交网络大数据的应用包括网络舆情分析、网络情报搜集与分析、社会化营销、政府决策支持、在线教育等。圣克鲁斯警察局是美国警界最早应用大数据进展预测分析的试点，通过分析社交网络，可以发现犯罪趋势和犯罪模式，甚至可以对重点区域的犯罪概率进展预测。2013年4月，美国计算搜索引擎WolframAlpha，通过对Facebook中100多万美国用户社交数据进展分析，试图研究用户的社会行为规律。根据分析发现，大局部Facebook用户在20岁出头时开场恋爱，27岁左右时订婚，30岁左右结婚，而30~60岁之间，婚姻关系变化缓慢。这个研究结果与美国人口普查数据相比，几乎完全一致。中国社科院国情调查与大数据研究中心联合腾讯互联网与社会研究中心在京发布"社交网络与赋能研究报告"，该报告历时1年合作而成，剖析老中青三个代际人群在使用社交网络时的特点，社交网络赋予他们的影响和变化。报告显示，在55岁以上老年QQ活泼用户中，发QQ空间的比例为32%，浏览QQ空间的比例为49%，发文字消息的比例为62%，发表情消息的比例为26%，玩游戏的比例为13%；使用互联网或社交网络的老年人在日常休闲活动的内容上更加丰富，各项活动的选择比例也更高。比方在跳广场舞方面，不使用互联网的老年人仅有8.1%的选择比例，而使用互联网但不使用社交网络的老年人有11%的比例，而既使用互联网又使用社交网络的老年人则有约22%的会进展跳舞活动。对于中年人群体，女性比男性更加愿意用社交网络尝试新的购物模式，大概有23.5%的女性中年在朋友圈买过东西，而男性中年在朋友圈购物的比例占17.8%，在社交网络上购物的生活方式也逐渐在中年人群体中流行起来。而对于身为互联网原住民的青年人，94%的人表示出门不带手机感到很不习惯，86.8%的人无法适应从智能手机换到普通手机，73%的人通常每隔15分钟至少看一次微信/QQ等社交软件。半数以上的人都愿意尝试在互联网和社交网络上进展职业选择，青年人在社交网络上职业选择倾向现排名前三的职业分别为微商、公众号写手、电子游戏玩家，其分别对应的百分比为30.3%、18.6%、16.8%，可见，以一种虚拟网络平台为根底构建起的新型就业模式可能在青年人中有一定的市场。以下再列举几个具体案例：1〕用户画像体系每个企业都不可以防止的要对用户进展画像，用户画像的提出，根本上是源于企业对用户认知的需求。产品经理，需要了解用户的特征，对产品进展功能的完善。内容运营人员，需要筛选目标用户，对内容进展精准投放。2〕微博事件研究事件预警：对微博中发生的重大事件进展监控，及时发出通知，编辑或运营人员高效快速的完成内容的创作或采取相应的运营策略。事件演变分析：记录事件的演变过程，分析事件的开展态势。3〕相似文本研究在*些内容的聚合页〔如*些话题聚合页面等〕，存在内容重复或及其相似的现像，会导致信息呈现不够多元化和丰富性，引起视觉疲劳。总得说来，在线社交网络大数据应用可以从以下３方面帮助我们了解人的行为，以及掌握社会和经济活动的变化规律：１〕前期警告。通过检测用户使用电子设备及效劳中出现的异常，在出现危机时可以更快速地应对。２〕实时监控。通过对用户当前行为、情感和意愿等方面的监控，可以为政策和方案的制定提供准确的信息。３〕实时反应。在实时监控的根底上，可以针对*些社会活动获得群体的反应信息。6电力行业大数据应用大数据分析是促进传统电网向智慧电网进展革新的重要力量，大数据分析系统由数据采集、数据传输、数据挖掘、数据反应等多个环节组成，其以物理电网为依托，将先进的传感测量技术、通信技术、云计算技术和控制技术与物理电网高度融合，通过对电网运行数据、负载变化数据、设备监控数据、电力企业营销数据、电力企业管理数据等多类型数据的分析与挖掘，实现对电网的全环节高效运维、全天候实时监控、全地域应急处置、全用户需求预测，为智慧电网的平安、可靠、经济、高效、绿色运行提供最有力的保障。电力大数据分析在电力系统的每个环节都有重要应用，协助实现了对电网的智能控制和优化配置，提高电力规划的管理能力。第一，发电环节可对常规能源发电的机组的运行情况、设备之间的互动以及各种参数指标实行实时监控，对风力、太阳能发电进展电机组的稳态特性和动态特性进展稳定性分析预测，实现发电环节的自动、稳定和高效。第二，输电环节可通过大数据分析提高其平安性，通过在每个节点上增加监控能力，可对整个输送线路上的导线温度、线路电容、绝缘子污秽以及线路风振进展全程监测，并作出评估和诊断。由于智能电网具有自愈的特性，对发现破坏或者不正常的情况进展自我治愈，对用户实现连续供电。第三，变电环节可以通过大数据分析