大数据融合及应用(经典)49

1、大数据融合及应用 演讲人：李月月第四组人员： 潘正兵、冯卫娇、闵青焱、刘双龙 李月月、白雪、刘超目录 大数据应用案例1 大数据关键技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语目录 大数据应用案例1 大数据关键技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语 一个父亲有一个高中的女儿，接到了一个促销的广告，是关于婴儿的广告，这个父亲勃然大怒，说商家无良，为了促销向我的高中生女儿促销婴儿产品。但是过了一两个星期，他感到非常内疚，因为他对于商家的这种态度是错误的，原因是他的高中女儿确实怀孕了。

2、为什么商家会发现这个问题呢？商家实际上就是通过在商场的一些数据挖掘和对比，发现这个女孩子经常在商场里购买过类似的一些商品，在有一些类似的货架面前驻足观看，而且这个频度很高，商家对于后台大数据的分析，筛选出潜在的客户，发出商业广告。案例1“无良”商家案例2 农夫山泉利用大数据卖矿泉水案例3 阿迪达斯的“黄金罗盘”案例4 淘宝网掘金大数据金融市场 淘宝推出信用贷款服务，不依赖担保、抵押，仅基于海量的企业经营数据，通过大数据分析，分析出企业经营状况和信誉度，作出决策，这种金融模式获得了巨大的成功！大数据帮助提高制造绩效的3个主要方面 分别是：更好的预测产品需求并调整产能（46%），跨多重指标理解工厂

3、绩效（45%）以及更快地为消费者提供服务与支持（39%）。上述数据是根据“LNS研究与MESA国际”的近期调查得出的。案例5麦肯锡：如何利用大数据改进制造业案例5 乔布斯的癌症治疗 苹果公司的传奇总裁史蒂夫-乔布斯在与癌症斗争的过程中采用了不同的方式，成为世界上第一个对自身所有DNA和肿瘤DNA进行排序的人。乔布斯生病后，治疗团队也调用了大数据，对乔布斯的个人情况匹配海量的诊疗数据，得到一个更好的治疗方案，因此他的生命得以延长了好几年。 乔布斯开玩笑说：“我要么是第一个通过这种方式战胜癌症的人，要么就是最后一个因为这种方式死于癌症的人。 趣多多在愚人节的这次营销活动，创造了6亿多次页面浏览并影

4、响到近1,500万独立用户，品牌被提及的次数增长了270%。可以说这是一次成功的品牌营销活动，广泛的发声，让趣多多的用户关注度得到了一次巨大的提升，诙谐幽默的品牌基因更加深入的进入到用户的意识层面。案例6 依靠大数据玩转愚人节营销目录 大数据应用案例1 大数据关键技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语大数据带来的时代变革 一场生活、工作与思维的大变革！ 大数据开启了一次重大的时代转型。就想望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方式，成为新发明和新服务的源泉，而更多的改变正蓄势

5、待发大数据，变革公共卫生大数据，变革商业大数据，变革思维大数据，开启重大的时代转型预测，大数据的核心大数据，大挑战一、大数据时代的思维变革“更多”不是随机样本，而是全体数据！ 当数据处理技术已经发生翻天覆地的变化时，在大数据时代进行抽样分析就像在汽车时代骑马一样。一切都改变了，我们需要的是所有的数据，“样本总体”。让数据“发声”小数据时代的随机采样，最少的数据获得最多的信息全数据模式，样本总体 执迷于精确性是信息缺乏时代和模拟时代的产物。只有5%的数据是有框架且能适用于传统数据库的。如果不能接受混乱，剩下95%的非框架数据都无法被利用，只有接受不精确性，我们才能打开一扇从未涉足的世界的窗户。允

6、许不精确大数据的简单算法比小数据的复杂算法更有效纷繁的数据越多越好混杂性，不是竭力避免，而是标准途径新的数据库设计的诞生“更杂”不是精确性，而是混杂性！ 知道“是什么”就够了，没必要知道“为什么”。在大数据时代，我们不必非得知道现象背后的原因，而是要让数据自己“发声”。关联物，预测的关键“是什么”，而不是“为什么”改变，从操作方式开始大数据，改变人类探索世界的方法“更好”不是因果关系，而是相关关系二、大数据时代的商业变革 大数据发展的核心动力来源于人类测量、记录和分析世界的渴望。信息技术变革随处可见，但是如今信息技术变革的重点在“T”（技术）上，而不是在“I”(信息）上。现在，我们是时候把聚光

7、灯打向“I”，开始关注信息本身了。数据，从最不可能的地方提取出来数据化，不是数字化量化一切，数据化的核心当文字变成数据当方位变成数据当沟通成为数据一切事物的数据化“数据化” 一切皆可“量化” 数据就像一个神奇的钻石矿，当它的首要价值被发掘后仍能不断给予。它的真实价值就像漂浮在海洋中的冰山，第一眼只能看到冰山的一角，而绝大部分都隐藏在表面之下。数据创新1：数据的再利用数据创新2：重组数据数据创新3：可扩展数据数据创新4：数据的折旧值数据创新5：数据废气数据创新6：开放数据给数据估值“价值”“取之不尽，用之不竭”的数据创新 微软以1.1亿美元的价格购买了大数据公司Farecast，而两年后谷歌则以

8、7亿美元的价格购买了给Farecast提供数据的ITA Software公司。如今，我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分价值还是必须从数据本身来挖掘。“角色定位”数据、技术与思维的三足鼎立三、大数据时代的管理变革 我们时刻都暴露在“第三只眼”之下：亚马逊监视着我们的购物习惯，谷歌监视着我们的网页浏览习惯，而微博似乎什么都知道，不仅窃听到了我们心中的“TA”，还有我们的社交关系网。无处不在的“第三只眼”我们的隐私被二次利用了预测与惩罚，不是因为“所做”，而是因为“将做”数据独裁挣脱大数据的困境“风险”让数据主宰一切的隐忧 当世界开始迈向大数据时代时，社会也将经历类似

9、的地壳运动。在改变人类基本的生活与思考方式的同时，大数据早已在推动人类信息管理准则上重新定位。然而，不同于印刷革命，我们没有几个世纪的时间去适应，我们也许只有几年时间。管理变革1：个人隐私保护，从个人许可到让数据使用者承担责任管理变革2：个人动因VS预测分析管理变革3：击碎黑盒子，大数据程序员的崛起管理变革4：反数据垄断大亨“掌控”责任与自由并举的信息管理正在发生的未来 大数据并不是一个充斥着算法和机器的冰冷世界，人类的作用依然无法被完全替代。大数据为我们提供的不是最终答案，只是参考答案，帮助是暂时的，而更好的方法和答案还在不久的未来！目录 大数据应用案例1 大数据关键技术42 大数据带来的时

10、代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语 最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。麦肯锡称：数据，已经渗透到当今每领域一个行业和业务职能领域，成为重要的生产因素！“大量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。VolumeVelocityValueVariety大数据的4V特征数据体量巨大百度资料表明，其新首页导航每天需要提供的数据超过1.5PB（1PB=1024TB），这些数据如果打印出来将超过5千亿张A4纸。有资料

11、证实，到目前为止，人类生产的所有印刷材料的数据量仅为200PB。数据类型多样现在的数据类型不仅是文本形式，更多的是图片、视频、音频、地理、位置信息等多类型的数据，个性化数据占绝对多数。处理速度快数据处理遵循“1秒定律”，可从各种类型的数据中快速获得高价值的信息。价值密度低以视频为例，一小时的视频，在不间断的监控过程中，可能有用的数据仅仅只有一两秒。目录 大数据应用案例1 大数据相关技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语Structure based: key value integration Your text in here C

12、ontent based: spatial-temporal linkageKnowledge: ontology guided data fusion, Common sense integration, Domain knowledgeObserve relationships between every data items Reveal the trends Create new conceptsShow the categories and hierarchies Data mining: association, clustering, time-series and classi

13、fication analytics Graph mining Ranking everything数据融合大数据分析可视化 大 数 据 处 理 理 论 依 据大数据系统构件数据管理知识开发用户互动基于SQL语言: 面对OLAP的传统行和列不基于SQL或map-reduce的: 由谷歌率先发起数据流: 基于运行商数据直接生成任意图形新平台技术数据入口/汇聚数据平台分析不同范围的服务传统交付模式-单片或基于设备的解决方案云: 能够充分利用物理设施的弹性，以实现处理快速增长数据的能力“数据库将演变成一个虚拟的，基于云计算，超级可扩展的分布式平台。”- Forrester analyst Jim K

14、obielus新的传输方案大数据新模式和新技术Gartner 2011年技术成熟度曲线,大数据处于高速发展期 大数据应用案例1 大数据关键技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语一、制造业正处于一个数据爆炸的时代【制造业企业的运营越来越依赖信息技术】【制造业整个价值链、制造业产品的整个生命周期都涉及到诸多的数据】【数据量的暴涨成了许多行业共同面对的严峻挑战和宝贵机遇】制造业大数据分布图产品数据：设计、建模、工艺、加工、测试、维护数据、产品结构、零部件配置关系、变更记录等。运营数据：组织结构、业务管理、生产设备、市场营销、质量控制、生产

15、、采购、库存、目标计划、电子商务等。价值链数据：客户、供应商、合作伙伴等。外部数据：经济运行数据、行业数据、市场数据、竞争对手数据等。个性化定制数据：大规模定制和网络协同的发展，使得个性化定制数据一跃成为消费者张扬个性的载体。二、大数据是工业互联网的命脉 大数据可能带来的巨大价值正在被传统产业认可！ 通过技术创新与发展，以及数据的全面感知、收集、分析、共享，为企业管理者和参与者呈现出看待制造业价值链的全新视角。二、大数据是工业互联网的命脉1）实现智能生产2）实现大规模定制“两个海量” 消费需求产生海量数据 生产过程产生海量数据 这两方面大数据信息流最终通过互联网在智能设备之间传递，由智能设备进

16、行分析、判断、决策、调整、控制并继续开展智能生产，生产出高品质的个性化产品 实现工业4.0的两大特征：智能与互联大数据应用将带来制造业企业创新和变革的新时代。三、大数据构成新一代智能工厂工业4.0时代的到来，意味着工业大数据时代的到来。工业大数据的应用，也必将成为未来提升制造业生产力、竞争力、创新能力的关键要素抓住二者，便能占据全球工业转型的制高点！ 大数据应用案例1 大数据关键技术42 大数据带来的时代变革56 大数据风险 大数据在“工业4.0”中的应用 认识大数据37 结语 卓越的才华并不依赖大数据，大数据扼杀创新。 如果对不可量化的事物进行量化，我们将失去全面了解该事物的机会！大数据属于谁？目录 大数据应用案例1 大数据关键技术42 大数