项目4 大数据方法的驱动力

《大数据导论》大数据的跨界年度【导读案例】大数据企业的缩影——谷歌GoogleGoogol?【导读案例】大数据企业的缩影——谷歌1000000000000000000000000000000…【导读案例】大数据企业的缩影——谷歌Google存储网址——80亿+搜索请求——122亿次/月搜索行为【知识准备】将数据变成竞争优势决策实施结果优化【知识准备】将数据变成竞争优势数据知识见解【知识准备】将数据变成竞争优势市场动态对业务架构的理解对业务架构的形式表达对公司提供值的能力业务流程管理的认知信息与通信技术的创新万物互联大数据跨界年度2012许多高端消费公司加大了对大数据的应用脸书和领英上市商业用户开始期待以一种同样便捷的方式来获得大数据的使用体验感谢聆听！4.1.1大数据的跨界年度4.2.1信息与通信技术4.3.1OLTP与OLAP4.1.2各大公司的大数据行动4.2.2万物互联网4.2.3数据获取与来源4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能大数据企业的缩影-谷歌4.大数据方法的驱动力4.1.3将信息变成一种竞争优势4.1.4市场动态4.1.5业务架构与流程管理4.2.4不同的性能挑战与管理需求4.3.2抽取、转换与加载技术4.3.3数据仓库与数据集市4.3.4传统商务智能与大数据商务智能大数据营销大数据企业的缩影——谷歌GoogleGoogol?大数据的跨界年度信息与通信技术OLTP与OLAPIANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁JENSMARTENSSON

交通副总裁各大公司的大数据行动万物互联网数据获取与来源IANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁IANHANSSON

市场营销副总裁4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能MIRAKARLSSON

项目经理KALLEPERSSON

生产经理VICTORIAPERSSON分派MIRANILSSON

执行助理4.大数据方法的驱动力将信息变成一种竞争优势市场动态业务架构与流程管理不同的性能挑战与管理需求抽取、转换与加载技术数据仓库与数据集市传统商务智能与大数据商务智能大数据营销《大数据导论》大数据行动大数据行动——谷歌大数据行动——谷歌大数据行动——谷歌获取数据存储数据分析数据大数据行动——谷歌获取数据存储数据分析数据大数据行动——谷歌获取数据存储数据分析数据大数据行动——谷歌大数据行动——亚马逊NO.1Clever?大数据行动——亚马逊大数据行动——亚马逊布局？字体？颜色？大数据行动——亚马逊PC端移动端大数据行动——亚马逊感谢聆听！4.1.1大数据的跨界年度4.2.1信息与通信技术4.3.1OLTP与OLAP4.1.2各大公司的大数据行动4.2.2万物互联网4.2.3数据获取与来源4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能大数据企业的缩影-谷歌4.大数据方法的驱动力4.1.3将信息变成一种竞争优势4.1.4市场动态4.1.5业务架构与流程管理4.2.4不同的性能挑战与管理需求4.3.2抽取、转换与加载技术4.3.3数据仓库与数据集市4.3.4传统商务智能与大数据商务智能大数据营销大数据企业的缩影——谷歌GoogleGoogol?大数据的跨界年度信息与通信技术OLTP与OLAPIANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁JENSMARTENSSON

交通副总裁各大公司的大数据行动万物互联网数据获取与来源IANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁IANHANSSON

市场营销副总裁4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能MIRAKARLSSON

项目经理KALLEPERSSON

生产经理VICTORIAPERSSON分派MIRANILSSON

执行助理4.大数据方法的驱动力将信息变成一种竞争优势市场动态业务架构与流程管理不同的性能挑战与管理需求抽取、转换与加载技术数据仓库与数据集市传统商务智能与大数据商务智能大数据营销《大数据导论》将信息变成一种竞争优势将信息变成一种竞争优势HOW？提高了企业的信息能力立足国内市场创造商机把握市场动态将信息变成一种竞争优势数据价格数据需求将信息变成一种竞争优势方便安全数据共享无限可能将信息变成一种竞争优势大数据应用将信息变成一种竞争优势大数据应用将信息变成一种竞争优势实时响应将信息变成一种竞争优势大数据战略感谢聆听！4.1.1大数据的跨界年度4.2.1信息与通信技术4.3.1OLTP与OLAP4.1.2各大公司的大数据行动4.2.2万物互联网4.2.3数据获取与来源4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能大数据企业的缩影-谷歌4.大数据方法的驱动力4.1.3将信息变成一种竞争优势4.1.4市场动态4.1.5业务架构与流程管理4.2.4不同的性能挑战与管理需求4.3.2抽取、转换与加载技术4.3.3数据仓库与数据集市4.3.4传统商务智能与大数据商务智能大数据营销大数据企业的缩影——谷歌GoogleGoogol?大数据的跨界年度信息与通信技术OLTP与OLAPIANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁JENSMARTENSSON

交通副总裁各大公司的大数据行动万物互联网数据获取与来源IANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁IANHANSSON

市场营销副总裁4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能MIRAKARLSSON

项目经理KALLEPERSSON

生产经理VICTORIAPERSSON分派MIRANILSSON

执行助理4.大数据方法的驱动力将信息变成一种竞争优势市场动态业务架构与流程管理不同的性能挑战与管理需求抽取、转换与加载技术数据仓库与数据集市传统商务智能与大数据商务智能大数据营销《大数据导论》市场动态市场动态

家人朋友同事

规模行业知识业务市场动态数据信息知识智慧处理加工有用的数据解决复杂的问题指导任务的执行进行决策和解决问题对事物发展的前瞻性看法DIKW业务架构战略层战术层操作层数据信息知识智慧聚集处理使用洞察力归纳与演绎前瞻性业务架构战略层战术层操作层数据信息知识智慧经验行动判断感谢聆听！市场动态数据信息知识智慧4.1.1大数据的跨界年度4.2.1信息与通信技术4.3.1OLTP与OLAP4.1.2各大公司的大数据行动4.2.2万物互联网4.2.3数据获取与来源4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能大数据企业的缩影-谷歌4.大数据方法的驱动力4.1.3将信息变成一种竞争优势4.1.4市场动态4.1.5业务架构与流程管理4.2.4不同的性能挑战与管理需求4.3.2抽取、转换与加载技术4.3.3数据仓库与数据集市4.3.4传统商务智能与大数据商务智能大数据营销大数据企业的缩影——谷歌GoogleGoogol?大数据的跨界年度信息与通信技术OLTP与OLAPIANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁JENSMARTENSSON

交通副总裁各大公司的大数据行动万物互联网数据获取与来源IANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁IANHANSSON

市场营销副总裁4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能MIRAKARLSSON

项目经理KALLEPERSSON

生产经理VICTORIAPERSSON分派MIRANILSSON

执行助理4.大数据方法的驱动力将信息变成一种竞争优势市场动态业务架构与流程管理不同的性能挑战与管理需求抽取、转换与加载技术数据仓库与数据集市传统商务智能与大数据商务智能大数据营销《大数据导论》业务流程管理业务流程管理迈克尔·哈默(MichaelHammer)詹姆斯·钱皮(JamesA．Champy)《企业再造》(ReengineeringtheCorporation)业务流程管理业务流程管理（BPM）全球竞争压力消费品化政府监管业务流程管理业务流程管理生产流程层运作层计划层战略层低高业务流程管理企业信息系统办公自动化系统事物处理系统决策支持系统…业务流程管理业务流程六大要素目的资源活动结构结果价值业务流程管理业务流程种类根据生产所需，安排原材料的检验、入库和供应回答客户的咨询从供应商那里采购向市场投放新产品业务流程管理关系型数据库（DBMS）业务流程管理系统（BPMS）思想业务流程管理业务流程管理（DBM）业务流程管理系统（BPMS）业务流程管理？感谢聆听！市场动态数据信息知识智慧4.1.1大数据的跨界年度4.2.1信息与通信技术4.3.1OLTP与OLAP4.1.2各大公司的大数据行动4.2.2万物互联网4.2.3数据获取与来源4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能大数据企业的缩影-谷歌4.大数据方法的驱动力4.1.3将信息变成一种竞争优势4.1.4市场动态4.1.5业务架构与流程管理4.2.4不同的性能挑战与管理需求4.3.2抽取、转换与加载技术4.3.3数据仓库与数据集市4.3.4传统商务智能与大数据商务智能大数据营销大数据企业的缩影——谷歌GoogleGoogol?大数据的跨界年度信息与通信技术OLTP与OLAPIANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁JENSMARTENSSON

交通副总裁各大公司的大数据行动万物互联网数据获取与来源IANHANSSON

市场营销副总裁APRILHANSSON

生产副总裁IANHANSSON

市场营销副总裁4.1理解采用大数据的商业动机4.2理解大数据规划考虑4.3熟悉大数据商务智能MIRAKARLSSON

项目经理KALLEPERSSON

生产经理VICTORIAPERSSON分派MIRANILSSON

执行助理4.大数据方法的驱动力将信息变成一种竞争优势市场动态业务架构与流程管理不同的性能挑战与管理需求抽取、转换与加载技术数据仓库与数据集市传统商务智能与大数据商务智能大数据营销《大数据导论》信息与通信技术【导读案例】Google搜索算法告诉你，如何将一个人变成傻瓜【导读案例】Google搜索算法告诉你，如何将一个人变成傻瓜【导读案例】Google搜索算法告诉你，如何将一个人变成傻瓜这朵云看起来好像一个傻瓜？【导读案例】Google搜索算法告诉你，如何将一个人变成傻瓜【知识准备】大数据的规划考虑业务场景大数据分析体系价值效益统一数据架构建立大数据标准信息与通信技术信息与通信技术数据分析与数字化开源技术与商用硬件社交媒体超联通社区与设备感谢聆听！《大数据导论》万物互联网万物互联网万物互联网技术进步成本降低万物互联网技术进步成本降低万物互联网互联协同取得突破万物互联网创新带来巨大商机感谢聆听！《大数据导论》数据获取和数据来源数据获取和数据来源日志传感器Web数据采集IP骨干传输数据中心传输数据传输数据集成数据清洗冗余消除数据预处理数据获取和数据来源数据采集数据获取和数据来源传感器数据获取和数据来源日志文件数据获取和数据来源Web爬虫数据获取和数据来源采集方法模式数据结构数据规模复杂性应用程序传感器pull结构化或非结构化中复杂的视频监控，库存管理日志文件push结构化或半结构化小容易Web日志，点击流Web爬虫pull混合大中等搜索，社交网络分析根据数据采集方式的不同,数据采集方法又可以大致分为以下两类:•基于拉(pull-based)的方法,数据由集中式或分布式的代理主动收集。•基于推(push-based)的方法,数据由源或第三方推向数据汇聚点。数据获取和数据来源大数据传输过程数据获取和数据来源IP骨干传输数据获取和数据来源数据中心传输——中心体系架构数据获取和数据来源TCP协议DCTCPVamananUDP协议拥塞控制机制数据中心传输——传输协议数据获取和数据来源数据预处理数据集成数据集成技术在逻辑上和物理上把来自不同数据源的数据进行集中,为用户提供一个统一的视图数据清洗数据清洗是指在数据集中发现不准确、不完整或不合理数据,并对这些数据进行修补或移除以提高数据质量的过程冗余消除去重技术能够显著地减少存储空间,对大数据存储系统具有非常重要的作用感谢聆听！数据获取和数据来源《大数据导论》性能挑战与管理需求不同的性能挑战数据流的传输性能数据查询速度网络传输速度不同的性能挑战数据流传输性能不同的性能挑战数据流传输性能不同的性能挑战数据流传输性能不同的性能挑战数据流传输性能不同的性能挑战弹性分布式数据集（RDD）有向无环图（DAG）减少了I/O读写所耗费的时间Spark特色不同的性能挑战数据查询速度引擎区别优缺点适用场景SQL索引分解关联查询优化分页查询不同的性能挑战网络传输速度异步传输降低耦合性提高吞吐量不同的管理需求大数据管理框架数据加标签与适用元数据生成标签的标准规范可能获得的外部数据类型关于管理数据隐私和数据匿名化的策略数据源和分析结果归档的策略实现数据清洗与过滤指导方针的策略不同的管理需求使用云环境常见理由内部硬件资源不足系统采购的前期投资不可用业务隔离大数据计划作为概念验证需要处理的数据集已经在云端感谢聆听！《大数据导论》OLTP与OLAP移动支付移动互联网知识准备战略层战术层操作层关键成功因素（CSF）绩效指标（PI）关键绩效指标（KPI）分析处理系统OLAP与OLTP联机事务处理OLTP（On-LineTransactionProcessing）用于存储和管理日常运营的数据联机分析处理OLAP（On-LineAnalyticalProcessing）通常涉及到那些存储和管理与分析和决策相关的数据的数据库OLAP与OLTPOLAP与OLTPOLTPOLAP与OLTPOLAPOLAP与OLTPOLTP和OLAP协同工作感谢聆听！《大数据导论》抽取、转换、加载技术抽取、转换和加载ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程抽取（Extract）转换（Transform）加载（Load）抽取、转换和加载操作型数据存储

(OperationalDataStore，ODS)数据仓库

(DataWarehousing，DW)数据库操作系统

(DatabaseManagementSystem，DBMS)抽取、转换和加载借助ETL工具实现SQL方式实现ETL与SQL结合实现ETL实现抽取、转换和加载抽取数据转换数据加载数据对于与存放数据仓库的数据库系统相同的数据源处理方法DBMS都会提供数据库链接功能，在DW数据库服务器和原业务系统之间建立直接的链接关系对于与数据仓库中的数据库系统，不同的数据源的处理方法通过ODBC的方式建立数据