新生研讨课程互联网与数据利用

互联网与数据利用当前第1页\共有40页\编于星期五\1点互联网与数据利用教学目标与教学内容综述当前第2页\共有40页\编于星期五\1点01大数据分析的背景教学目的：互联网等信息技术的飞跃发展，改变了人们的生活方式，改变了组织运作模型，改变了社会。信息作为一种社会资源，几何级增长。当前第3页\共有40页\编于星期五\1点01大数据分析的背景教学目的：联通：用户上网记录83万条/秒，对应数据量3.6PB/年；工商银行累计存储数据已经超过4.9PB，农业银行每年结构化及非结构化数据归档量分别突破100TP及1PB，交通银行每日处理约600GB数据，存量数据超过70TB非结构化数据呈指数倍增长；当前第4页\共有40页\编于星期五\1点01大数据分析的背景教学目的：如能有效的处理和分析，非结构数据中也富含了对企业非常有价值的信息。在欧洲公共事业管理中，基于大数据分析的智能交通、智能电表、远程教育等领域每年创造价值2千5百亿欧元。在通信运营商中，通过基于客户位置数据、网络日志数据和社交网络数据，对客户的消费行为、流失情况、交往圈、欺诈情况进行分析，提升了客户的忠诚度和保有率。当前第5页\共有40页\编于星期五\1点01大数据分析的背景教学目的：如何利用这些海量信息，获得有价值的知识，用于医疗、军事、电子商务等行业企业的科学决策等。由于数据来源、存储形式、特征发生了根本性的变化，以往的数据采集、分析、挖掘的方法不能与之适应。本课程，教授结构化数据的高维数据降维（遥感图像）；基于网络爬虫工具的自动化网络数据采集；文本信息的知识获取（分词、特征提取）、基于领域本体的语义网构建和知识推理通过应用分析和综合应用案例，告知同学们互联网环境下的大数据下如何发现大价值。当前第6页\共有40页\编于星期五\1点01大数据分析的背景基本要求：教师引导学生阅读大量案例；具备寻找网络下数据分析工具的能力；具有一定观察分析能力。教学方法：（1）以应用案例为切入点，引导同学们观察某种现状，感受其带来的价值，机遇与挑战。

（2）价值背后的支撑：数据资源，提出产生背景、获取方式、特点

（3）什么样的先进技术和手段能够找到大价值

（4）如何发现数据、处理数据、分析数据

（5）每种方法都给出一个解决方案。

（6）学生自主提出解决方案

引用案例启发，导师引导给出解决方案、学生自主进行策划和方案选择。

由于课时少，每次要求课后要求学生搜集素材，下次课程，针对应用问题教师和学生共同讨论给出解决方案（在教师的引导和启发下完成）。当前第7页\共有40页\编于星期五\1点01大数据分析的背景课程进度表第一讲互联网环境下的数据来源（遥感卫星、电子商务交易、医疗、社交媒体）、特征（结构化、非结构化、视频、图像）及其存储形式讨论：宝贵的数据资源在哪里，你了解多少生活中互联网下的信息，是否有价值。第二讲互联网环境下的社会问题讨论：美国棱镜门事件给你什么启示，从数据利用的视角谈体会第三讲互联网环境下的社交媒体信息能带来什么，怎么寻找，有好的方法么？讨论：你对网络爬虫工具的理解，能做什么第四讲你在互联网上看过电影或者新闻，为什么会有类似的电影内容向你推荐讨论：当网络下有电影、产品等推荐时，你有怎样的联想，是否希望也尝试做。第五讲基于GIS的图像大数据的数据挖掘方法及应用（图像识别和图像匹配）讨论：GIS是什么工具？能做什么？第六讲在微博、微信上发帖子么，会产生怎样的效应讨论：你的行为是否会被跟踪，如何实现的第七讲互联网下的网络新闻内容分析讨论：舆情分析的目的和价值第八讲各类网络数据案例分析（基于行为、情感分析的综合案例）

当前第8页\共有40页\编于星期五\1点1.1信息通信技术进入新时代当前第9页\共有40页\编于星期五\1点1.2Internet的发展互联网上的一分钟当前第10页\共有40页\编于星期五\1点1.2Internet的发展互联网上的一分钟当前第11页\共有40页\编于星期五\1点1.2Internet的发展互联网上的一天Twitter---2亿条，7TB；50亿个单词，几乎是60年来纽约时报单词量的两倍Facebook---2.5亿张照片，300TBYoutube---7万小时视频美国国家安全局电话监控---30TB淘宝网站---完成数千万笔交易，20TB全球互联网上一天的信息量可以刻满1.58.亿张DVD，80万个硬盘，约为800EB单就中文信息而言，每天产生数亿万个新网页当前第12页\共有40页\编于星期五\1点1.2Internet的发展2011年4月美国国会图书馆收集了235TB数据全球新产生的数据年增40%，全球信息总量每两年就可以翻番！而对新数据的处理能力以及其利用率的增长则不足5%百度CEO：过去两年人类产生的数据占到全部人类文明的90%。预测未来人类身体状况。当前第13页\共有40页\编于星期五\1点1.3大数据的定义大数据是指无法在限定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合，大数据规模的标准是持续变化的，当前泛指单一数据集的大小在几十TB和数PB之间。——维基百科定义当前第14页\共有40页\编于星期五\1点1.3大数据的特点进入新时代大数据(BigData)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V(即Volume、Variety、Value、Velocity)来概括大数据的特征。

一是数据体量巨大(Volume)。截至目前，人类生产的所有印刷材料的数据量是200PB(1PB=210TB)，而历史上全人类说过的所有的话的数据量大约是5EB(1EB=210PB)。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。

二是数据类型繁多(Variety)。这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。

三是价值密度低(Value)。价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒。如何通过强大的机器算法更迅速地完成数据的价值“提纯”成为目前大数据背景下亟待解决的难题。

四是处理速度快(Velocity)。这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。当前第15页\共有40页\编于星期五\1点1.4大数据时代即将来临物联网的应用安全监控的数据环境监视的数据远程医疗与居家监控电子病历隐藏数据企业数据存储量互联网海量数据当前第16页\共有40页\编于星期五\1点互联网业交通业……行业数据全球每秒钟发送290万封

电子邮件，一分钟读一篇的话，足够一个人昼夜不息的读5.5年…亚马逊每天产生近630万笔订单…Google上每天需要处理24PB的数据…联通：用户上网记录83万条/秒，对应数据量3.6PB/年金融业北京公交一卡通每天刷卡4000万次，地铁1000万次农夫山泉每天从销售其矿泉水的超市回传10张照片，每月3TB工商银行累计存储数据已经超过4.9PB，农业银行每年结构化及非结构化数据归档量分别突破100TP及1PB，交通银行每日处理约600GB数据，存量数据超过70TB通信业饮料企业1.4大数据时代即将来临当前第17页\共有40页\编于星期五\1点1.4大数据时代即将来临物联网的应用安全监控的数据环境监视的数据远程医疗与居家监控电子病历隐藏数据企业数据存储量互联网海量数据当前第18页\共有40页\编于星期五\1点01大数据分析的背景02大数据分析的价值与技术03

大数据在各个行业的应用当前第19页\共有40页\编于星期五\1点2.1大数据分析的价值非结构化数据呈指数倍增长，如能有效的处理和分析，非结构数据中也富含了对企业非常有价值的信息。在欧洲公共事业管理中，基于大数据分析的智能交通、智能电表、远程教育等领域每年创造价值2千5百亿欧元。在通信运营商中，通过基于客户位置数据、网络日志数据和社交网络数据，对客户的消费行为、流失情况、交往圈、欺诈情况进行分析，提升了客户的忠诚度和保有率。Source:McKinseyGlobalInstituteAnalysis半结构化数据结构化数据非结构化数据企业非结构化数据越来越多当前第20页\共有40页\编于星期五\1点2.1大数据分析的技术当前第21页\共有40页\编于星期五\1点03大数据在各个行业的应用01大数据分析的背景02大数据分析的价值与技术当前第22页\共有40页\编于星期五\1点3.1大数据在宏观经济管理领域的应用IBM日本公司建立了一个经济指标预测系统，它从互联网新闻中搜索出影响制造业的480项经济数据，再计算出PMI预测值，准确度相当高。印第安纳大学学者利用Google提供的心情分析工具，根据用户近千万条短信、微博留言中预测道琼斯工业指数。准确率高达87%。淘宝网建立了“淘宝CPI”，它通过采集、编制淘宝网上390个类目的热门商品价格来统计CPI，它比国家统计局公布的CPI还提前半个月预测经济的走势。当前第23页\共有40页\编于星期五\1点3.2大数据在农业领域的应用Google前雇员创办Climate公司，从美国气象局等数据库中获得几十年的天气数据，将各地的降雨、气温和土壤状况及历年农作物产量做成精密图表，从而能够预测美国任一农场下一年的产量。任何一个农场主去他那里问明年种什么能卖出去、能赚钱，他能告诉你，说错了他保证赔偿，赔偿比保险公司还要高，到现在为止他还没有赔过。通过手机上农产品“移动支付”数据、“采购投入”数据和“补贴“数据分析，可准确预测农产品生产趋势，政府可依此决定出台激励措施和确定合适的作物存储量，还可为农民提供服务。当前第24页\共有40页\编于星期五\1点3.3大数据在商业领域的应用沃尔玛基于每个月4500万的网络购物数据，并结合社交网络上有关产品的大众评分，开发机器学习语义搜索引擎“北极星“，方便浏览，在线购物者因此增加10%-15%，增加销售十多亿美元。当顾客在超市买东西时，通过手机定位，可以分析他们在货柜前停留时间的长短，从而判断顾客对什么感兴趣。不仅仅是通过手机定位，实际上美国有的超市在购物推车上也安装了位置传感器，根据顾客在不同货物前停留时间的长短来分析顾客可能的购物行为。在淘宝网上买东西时，消费者会在阿里的广告交易平台上留下记录，阿里不仅从交易平台把消费记录拿来自己使用，还会把消费记录卖给其他商家。当前第25页\共有40页\编于星期五\1点3.4大数据在金融业的应用华尔街某公司通过分析全球3.4亿微博账户留言来判断民众情绪，人们高兴的时候会买股票，而焦虑的时候会抛售股票，它通过判断全世界高兴的人多还是焦虑的人多，依此决定公司股票的买入或卖出。阿里公司根据在淘宝网上中小企业的交易状况筛选出财务健康和诚信经营的企业，给他们提供贷款，并且不需要这些中小企业的担保。目前阿里公司已放贷上千亿元，坏帐率仅0.3%。2012年年底，四大商业银行的坏账率为1%左右，尽管四大银行要求有担保，但坏账率仍然比阿里高出3倍。？当前第26页\共有40页\编于星期五\1点3.5大数据在银行业的应用实现方式第一步，利用移动互联网技术，定位功能确定商圈，目前已实际覆盖全国161个商圈，累计服务千万人次。第二步，利用用户活动轨迹追踪，确定高价值商圈，设计业务。第三步，再利用大数据进行客户需求的体验分析，既包括客户的需要，也包括客户的体验（即用户需要相对于用户意义、目的、情感的关联），最终实现用户体验的LIKE曲线。中信银行将客户使用信用卡加油与吃饭的信息关联起来进行分析，通过数据的挖掘，卡中心发现，在周末18：00之前加油的客户，有60%会去吃饭；再结合LBS信息，分析客户就餐区域，发现其中70%有去中心城区吃饭的习惯。于是信用卡中心与中心城区的汉拿山烤肉店合作，在每个周末17：30的时候，向驶出加油站的客户，打出这样的手机广告："物超所值，美味、环境优雅，价格适中，朋友聚会的理想场所，持中信卡可享五折优惠！"​信用卡服务当前第27页\共有40页\编于星期五\1点3.6大数据在保险领域的应用1、电话营销利用数据挖掘对过去电话访谈、成交记录建立预测模型，找出有购买意愿的潜在客户4、交叉销售美国保险公司利用数据挖掘技术对不同客户的消费特征进行分析，制定交叉销售策略，保证公司是在最能给公司创造收益的客户集中地地区运营2、欺诈分析利用历史数据，寻找影响保险欺诈最为显著的因素及量化取值区间，建立预测模型，快速将理赔案件依照欺诈可能性进行分类处理，协助无问题案件快速通过5、续保率维持澳大利亚的保险公司利用数据挖掘工具对客户忠诚度、客户细分和客户保持进行分析，以减少客户流失3、客户体验太平洋寿险发布大数据客户体验指数（DEO指数），其基于客户与公司线上线下互动产生的全量数据，DEO指数根据销售、售后服务、理赔三大领域，诚信、品质、效率、期望值四个维度，选取保险监管部门确定的行业标准12个服务评价定量指标，以及公司重点关注的另外8个客户体验指标，以报告期积累的全量实际数据为基准值计算得出。2013年各渠道与客户交互数为2432万人次。电话和柜面两大传统服务渠道占比达81%，新兴移动渠道占比迅速攀升。客户关注的十大热点为退保利益、退保手续、分红利益、产品咨询、续期交费状态、生存金领取手续、出险报案、续期交费凭证、续期交费时间期次、理赔责任保险领域数据挖掘应用现状当前第28页\共有40页\编于星期五\1点3.6大数据在保险领域的应用保险领域应用方案——架构当前第29页\共有40页\编于星期五\1点3.6大数据在保险领域的应用保险领域应用方案——示例：社交媒体信息交叉验证欺诈行为交叉验证当前第30页\共有40页\编于星期五\1点3.7大数据在医疗卫生领域的应用Google通过用户搜索与流感相关词汇的频率，判断某个地方可能会发生流感。2009年在甲型H1N1流感爆发的几周前，Google就做出预测，而且还判断出了流感是从哪里来的。当前第31页\共有40页\编于星期五\1点3.7大数据在医疗卫生领域的应用根据麦肯锡的报告，医疗大数据的分析将为美国产生3000亿美元的价值，减少8%的国家医疗保健支出。当前第32页\共有40页\编于星期五\1点3.7大数据在医疗卫生领域中的应用医疗服务的交付方式将发生重大变革，从患者对医生信息的获取，到医生对患者的诊疗，到出院后的康复和回访，数字医疗的冲击将贯穿整个过程。诊疗过程也会有巨大变革，国外已经有公司在运营专门的远程医疗医院。美国某医疗机构，完全通过远程的方式提供在线问诊服务。而移动医疗对诊疗过程带来的影响更是重大，通过可穿戴设备、植入式设备，方便获取病人实时体征信息，这个在以前是不可能或者成本高昂，对于病情诊断意义重大。而体征获取传感器与植入式治疗设备的配合对于部分疾病的治疗将有划时代的意义。移动网络、社交媒体会改变颠覆医疗活动中各角色的地位，现在病人已经可以通过多渠道信息，对医生处方提出质疑。未来基因技术的进展和消费级基因测序的普及也将对行业产生重大影响，基因测序的成本迅速下降，未来每个人只要愿意都可以拥有自己的基因测序结果。女星安吉丽娜-朱莉，通过检查发现自身携带致癌基因BRCA1，其患上乳腺癌及卵巢癌概率为87%，通过乳腺切除降低概率到5%。移动医疗是推动健康管理的重要手段，近期大火的大姨吗便是抓住了女性群体的特定健康管理的需求。当前第33页\共有40页\编于星期五\1点3.8大数据在社会管理中的应用广东东莞通过统计当地食盐销售量与上年同期比较，判断农民工数量的变化。这与电信运营商根据活跃移动用户数的变化所推出的数据几乎相当。根据手机用户从这个路口到那个路口所花费的时间，可以判断马路上是不是流量比较多，是否拥堵。根据有多少个手机在同时移动，大致可以了解发生突发事件时的人流聚集情况，还可以通过手机的注册地进一步分析机主究竟是从哪里来的。腾讯为每个微博用户建立了档案，可以从微博帖子分析用户的性格，提前关注可能引起社会不稳定的因素。当前第34页\共有40页\编于星期五\1点3.9大数据在智能搜索中的应用19902000201020202030内容由网站专业人员产生内容由网民产生内容还可由物件产生自组织内容感知、自配置自治通信Web浏览等即时通信、博客、微博等语义搜索、语义图书馆、语义数据库等分布搜索、智能个人代理在电影中加入Google知识图谱的InfoCard后，当用户暂停了正在播放的影片之时，程序就会弹出在该在画面显示的人物个人信息，包括实名、出生地点、岁数、角色名称、他/她曾演出的电影，以及在GooglePlay上跟他/她相关的内容。当前第35页\共有40页\编于星期五\1点3.10大数据在电信运营管理中的应用据Sybase分析报告，在利用大数据挖掘提升企业销售额方面，电信业在所有行业中名列第一，人均产值提升达到17%，大数据正在成为运营商发展的新动力。Smartfren是印尼本土最大的CDMA运营商，2013年5月，Samrtfren大数据精准营销系统正式上线。在系统商用最初的两个月，依托新型的大数据营销平台，实现了对目标市场和目标客户群的精准细分，利用主动营销、事件营销、触点营销等丰富的营销手段，有效开展市场营销活动，使Smartfren的营销转化率提高到6.6%，月利润增长了3.1%，离网率降低到0.8%，运营效益显著提升。中国联通基于对用户上网数据的分析给出详细账单，避免了收费的纠纷，同时准确掌握基站的忙闲。当前第36页\共有40页\编于星期五\1点3.11大数据在电子商务中的应用某用于为电子商务网站提供商品推荐服务的电商推荐系统。是一个基于大数据技术实现的软硬一体系统，它以数据挖掘、分析为基础，收集网站访客的点击信息，并结合消