大数据体系结构及关键技术课件

1、大数据体系结构及关键技术大数据体系结构及关键技术主要内容一、大数据时代的新命题二、大数据的体系结构三、大数据的关键技术四、物联网与云计算架构五、知名企业大数据架构六、大数据系统设计案例总结、交流、作业主要内容一、大数据时代的新命题一、大数据时代的新命题谷歌大数据中心：全球主要DC有8个谷歌大数据中心：全球主要DC有8个大数据表象概念：百度数据规模大数据表象概念：百度数据规模大数据表象概念：对系统要求大数据表象概念：对系统要求大数据时代的新命题:数据在爆炸式增长 互联网海量大数据 物联网各类型数据发数据处理能力要求提高 大规模数据存取方式 大数据并行技术能力数据间关联性分析加强 社交网络关系 多

2、业务关联性 用户行为分析网络数据的实时同步 一切营销都线下线上 多业务跨地域数据同步“数据结构化”本身是最具挑战性的一个环节.海量数据与快速处理是一对悖论.大数据时代的新命题:信息社会需求：信息化-智能化-现代化农业社会工业社会信息社会人力工具 - 镰刀 - 锄头 动力工具 - 机车 - 机床智能工具-推理机-智能网 信息时代的大数据需求信息社会需求：信息化-智能化-现代化农业社会工业社会信息社会信息时代数据大爆炸，推动智能技术发展信息时代数据大爆炸，推动智能技术发展信息时代，软件编程模型发展“面向信息处理”的智能化编程模型，编程简化为数据配置与管理信息时代，软件编程模型发展“面向信息处理”的

3、智能化编程模型，大数据技术架构数据智能大数据技术架构数据智能二、大数据的系统架构二、大数据的系统架构传统数据库技术架构:Oracle数据库体系架构传统数据库技术架构:Oracle数据库体系架构大数据架构：分层架构从数据在生命周期看，大数据从数据源经过分析挖掘到最终获得价值需要经过5个环节，包括数据准备、数据存储与管理、计算处理、数据分析和知识展现。大数据架构：分层架构从数据在生命周期看，大数据从数据源经过分大数据的系统架构：整体系统架构新一代编程语言大数据的系统架构：整体系统架构新一代编程语言大数据架构：整体逻辑功能架构大数据架构：整体逻辑功能架构大数据架构理解：搜索引擎大数据架构理解：搜索引

4、擎大数据架构理解：网页内容抓取大数据架构理解：网页内容抓取大数据系统架构HadoopHadoop分布式系统组成大数据系统架构HadoopHadoop分布式系统组成大数据系统架构Hadoop在图中，Hadoop主要的功能组件有：Hadoop Common: 包含HDFS、MapReduce和其他项目公共内容；HDFS：Hadoop分布式文件系统；MapReduce：一个用于并行处理大数据集的软件框架。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表

5、；HBase: 类似Google BigTable的分布式NoSQL列数据库；Hive：是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行；Zookeeper：分布式锁，提供类似Google Chubby的功能；Avro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制；Pig：大数据数据流分析平台，为用户提供多种接口；Sqoop：在HADOOP与传统的数据库间进行数据的传递。大数据系统架构Hadoop在图中，Hadoop主要的功能组件大数据系统架构Hadoop：功

6、能定位大数据系统架构Hadoop：功能定位1.大数据系统架构Hadoop：层次对应1.大数据系统架构Hadoop：层次对应大数据：分布式计算架构大数据：分布式计算架构大数据架构: MapReduce工作原理1大数据架构: MapReduce工作原理1大数据架构: MapReduce工作原理2大数据架构: MapReduce工作原理2三、大数据的关键技术三、大数据的关键技术大数据关键技术到底有哪些？核心问题是：(计算、存储、分析)算法大数据：恐怖的大数据(生活示例)智能性：数据分析、自然语言理解 逻辑推理(演示)艺术性：分形算法、视频动画(演示)大数据关键技术到底有哪些？大数据：恐怖的大数据(生

7、活示例)大数据关键技术1：大数据存储技术数据的海量化和快增长特征、以及数据格式的多样化是大数据对存储技术提出的首要挑战。要求底层硬件架构和文件系统在性价比上要大大高于传统技术，并能够弹性扩展存储容量。谷歌文件系统（GFS）和Hadoop 的分布式文件系统HDFS（Hadoop Distributed File System）奠定了大数据存储技术的基础。GFS/HDFS 将计算和存储节点在物理上结合在一起，从而避免在数据密集计算中易形成的I/O 吞吐量的制约，同时这类分布式存储系统的文件系统也采用了分布式架构，能达到较高的并发访问能力。网络附着存储系统（NAS）和存储区域网络（SAN）等体系，存

8、储和计算的物理设备分离，它们之间要通过网络接口连接，这导致在进行数据密集型计算（Data Intensive Computing）时I/O 容易成为瓶颈。单机文件系统不提供数据冗余、可扩展性、容错及并发能力差大数据关键技术1：大数据存储技术数据的海量化和快增长特征、以大数据关键技术2：并行计算能力大数据的分析挖掘是数据密集型计算，需要巨大的计算能力。针对不同计算场景发展出特定分布式计算框架。 Yahoo 提出的S4 系统、Twitter 的Storm,谷歌2010 年公布的Dremel系统， MapReduce内存化以提高实时性的Spark 框架. 大数据关键技术2：并行计算能力大数据的分析挖

9、掘是数据密集型计数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合适的决策! 数据知识决策模式趋势事实关系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府POS.人口统计生命周期大数据关键技术3：数据分析技术数据爆炸，知识贫乏 苦恼: 淹没在数据中 ; 不能制定合适的基于计算流体力学的三维呈现: 如用能场所3D场景及CFD温度及能效云场呈现如下图。大数据关键技术4：数据显示技术基于计算流体力学的三维呈现: 如用能场所3D场景及CFD温度大数据分析世界杯：英格兰vs意大利 1:2。数据热图大数据分析世界杯：英格兰vs意大利 1:2。数据热图大数据关键技术5：数

10、据挖掘算法代特征数据挖掘算法集成分布计算模型数据模型第一代数据挖掘作为一个独立的应用支持一个或者多个算法 独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数据管理系统，包括数据库和数据仓库同质/局部区域的计算机群集有些系统支持对象、文本、和连续的媒体数据第三代和预言模型系统集成 多个算法数据管理和预言模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算数据联合 多个算法数据管理、预言模型、移动系统移动和各种计算设备普遍存在的计算模型大数据关键技术5：数据挖掘算法代特征数据挖掘算法集成分布计算De

11、bt$40KQQQQII123456factor 1factor 2factor n神经网络 Neural Networks聚类分析 ClusteringOpenAccntAdd NewProductDecreaseUsage?Time序列分析 Sequence Analysis决策树 Decision Trees 倾向性分析 客户保留 客户生命周期管理 目标市场 价格弹性分析 客户细分 市场细分 倾向性分析 客户保留 目标市场 欺诈检测关联分析 Association 市场组合分析 套装产品分析 目录设计 交叉销售大数据关键技术5：数据挖掘算法Debt10% of IncomeDebt=0%

12、GoodB数据挖掘的主要方法分类（Classification）聚类(Clustering)相关规则(Association Rule)回归(Regression)其他知识发现系统需要一个前处理过程数据抽取数据清洗数据选择数据转换知识发现系统是一个自动/半自动过程知识发现系统要有很好的性能知识发现KDD系统特征数据挖掘的主要方法分类（Classification）知识发数据挖掘主要方法：ETLETL Process Framework ETL工具有：OWB(Oracle Warehouse Builder)、ODI(Oracle Data Integrator)、Informatic Powe

13、rCenter、AICloudETL、DataStage、DataSpider, 等。Application& OperationsServicesTransportServicesLoadTransformExtractTarget adaptorsSource adaptorsETL Data import/Rule importETL Data ExportRuntimeMata dataServicesDesign managementMeta data Import/exportMeta data management数据挖掘主要方法：ETLETL Process Framew四、物

14、联网与云计算架构四、物联网与云计算架构互联网上的物联网：概念互联网上的物联网：概念互联网上的物联网：发展2009年8月7日，温家宝视察中科院嘉兴无线传感网工程中心无锡研发分中心，提出“在传感网发展中，要早一点谋划未来，早一点攻破核心技术”，明确要求尽快建立中国的传感信息中心，或叫“感知中国”中心。2010年2月25日, 中国首个传感网大学科技园在无锡成立，北京邮电大学无锡感知技术与产业研究院是首家入驻大学科技园的高校科研机构。移动、电信、联通三大运营商纷纷在无锡成立物联网研究中心，以无锡为首的国内大中城市争相建设智能城市，争取成为感知中国示范城市。2010年3月2日，上海物联网中心在上海嘉定揭

15、牌，宣称将以此打造国内最具竞争力、具有国际影响的物联网技术研发基地，总投资达8亿元。把合作伙伴锁定为中国科学院上海微系统与信息技术研究所。2010年3月9日，中国物联网标准联合工作组筹备会议在京召开。3月中旬，浙江省成立了物联网产业规划编制小组，浙江省经济和信息化委员会副主任郑一方担任组长。杭州市已经联合浙江省工业经济研究所启动物联网产业调研和发展规划编制工作，提出“感知杭州”的发展愿景。互联网上的物联网：发展2009年8月7日，温家宝视察中科院嘉物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网的体系架构物联网示范：智能家居大数据管理系统物联网示范：智能家

16、居大数据管理系统物联网示范：动态跟踪管理，牧场大数据物联网示范：动态跟踪管理，牧场大数据物联网示范：医疗健康大数据 管理体系架构大中型医院政企客户领导省领航平台 基层医疗机构短信接口平台功能健康管理服务紧急呼叫一键通运动能量检测终端功能血压/血糖管理离退休干部GPS定位健康档案自管理心电图诊断呈现心电图测量移动OA彩信接口用药提醒互动交流预约就医WAP接口体重管理血糖管理心脏疾病管理血压管理健康管理功能客户关怀功能BSS/OSS日常心电监测血压监测运动情况监测医疗服务功能血糖监测移动全球眼物联网示范：医疗健康大数据 管理体系架构大中型医院政企客户领云计算演进：桌面云理解(NDNCCCN)云计算

17、演进：桌面云理解(NDNCCCN)云计算架构：通用三层架构(IBM为例，加BPaaS)IaaSPaaSSaaSBPaaS云计算架构：通用三层架构(IBM为例，加BPaaS)IaaS云计算的不同服务层次和内容：云计算的不同服务层次和内容：云计算的应用案例：广州品高IaaS云计算的应用案例：广州品高IaaS云计算的统一数据中心Ciscos Cloud Computing ApproachCombining the unified data center and cloud intelligent networkNetwork Service becomes an essential element

18、 云计算的统一数据中心Ciscos Cloud Comput五、知名企业大数据架构五、知名企业大数据架构又拍云存储架构又拍云存储架构大数据：IBM大数据方案大数据：IBM大数据方案大数据分析实例：北京邮电大学“云海”移动互联网数据分析平台大数据分析实例：北京邮电大学“云海”移动互联网数据分析平1.大数据架构：曙光智慧交通系统架构1.大数据架构：曙光智慧交通系统架构1.大数据架构：IBM1.大数据架构：IBM1.大数据架构：HP云监控大数据解决方案1.大数据架构：HP云监控大数据解决方案大数据架构Intel分布式Hadoop架构大数据架构Intel分布式Hadoop架构大数据架构：微软大数据解决

19、方案设计了一套基于 Microsoft SQL Server 2012 和 Microsoft Azure HDInsight 的端到端大数据解决方案。在 HDInsight 上快速部署 Hadoop 群集。大数据架构：微软大数据解决方案设计了一套基于 Microso大数据平台架构引跑科技EngineOne平台大数据平台架构引跑科技EngineOne平台大数据虚拟化架构：VMWare BDEvSphere Big Data Extensions （BDE）是VMware基于 Serengeti开源技术的企业发行版，增强基础架构，更好地部署、运行和管理大数据负载，虚拟化应用。大数据虚拟化（BDE

20、/Serengeti）的部署结构图大数据虚拟化架构：VMWare BDEvSphere Big大数据虚拟化架构：VMWare BDESerengeti管理服务器的系统架构图大数据虚拟化架构：VMWare BDESerengeti管理大数据架构Netflix基于AWS的大数据平台，不用HDFS而用amazon的S3 (美国最大的在线DVD租赁商，奈飞公司，提供在线影片租赁业务)大数据架构Netflix基于AWS的大数据平台，不用HDFSSiri的技术实现架构Siri的技术实现架构大数据购物网站的大数据分析系统大数据购物网站的大数据分析系统大数据某银联机房大数据架构大数据某银联机房大数据: 安全架

21、构大数据: 安全架构六、大数据系统设计案例分析六、大数据系统设计案例分析1. Web数据分析系统的软件验证模型UML及其扩展机制/QVTWeb领域模型转换及代码生成研究Web领域建模工具原型研发(基于eclipse-modeling Ecore tools,GMF的Web领域元建模及建模工具)Web模型转化与代码生成工具原型研发（基于mediniQVT及 eclipse-modeling operational QVT EMF的模型转化与代码生成工具）在具体Web系统开发中的应用、验证与比较Web应用实践基于MDA的Web领域模型研究Web领域的CIM模型（基于Ecore的web领域需求的元模

22、型)Web领域的PIM模型（基于Ecore的web领域独立平台的元模型）Web领域的PSM模型Web领域CIM到PIM转换（基于QVT的CIM到PIM转换）Web领域PIM到PSM转换（基于QVT的CIM到PIM转换）Web领域PSM到源代码转换模型到元模型归纳转换技术1. Web数据分析系统的软件验证模型UML及其扩展机制/Q模型体系与模型转换模型体系与模型转换大数据体系结构及关键技术分析模型元模型分析模型元模型数据访问层元模型数据访问层元模型业务逻辑层元模型业务逻辑层元模型展现层元模型展现层元模型2. 淘宝大数据架构2. 淘宝大数据架构 淘宝大数据架构 淘宝大数据架构大数据架构: 淘宝海量

23、数据产品技术架构按照数据的流向来划分，淘宝的数据产品的技术架构分为五层（自上而下），分别是数据源、计算层、存储层、查询层、产品层。大数据架构: 淘宝海量数据产品技术架构按照数据的流向来划分大数据架构: 淘宝海量数据,搜索引擎架构大数据架构: 淘宝海量数据,搜索引擎架构大数据架构: 淘宝海量数据, 网络服务架构大数据架构: 淘宝海量数据, 网络服务架构3.大数据架构设计：智慧城市架构设计基于结合物联网、云计算、大数据的智慧城市系统架构3.大数据架构设计：智慧城市架构设计基于结合物联网、云计算、案例分析：基于工业物联网与大数据分析平台的能源管理系统总体架构案例分析：基于工业物联网与大数据分析平台的

24、能源管理系统社会大生产无序无控排放是环保死敌一次能源生产二次能源生产一次排放二次能源使用二次排放次生排放原煤油气矿精炼电热油焦矿当前热点雾霾污染问题根源来自于无序无控排放，现在公布的雾霾指数标示只是城市若干个监测点的结果呈现，具体排放源头及排放关键因素是什么？基于国情大量燃煤，燃煤换能效率低排放高，二次排放占较大比例，二次能源消耗再产生大量次生排放。煤煤电热焦电热焦油气所有排放环节均缺失精细在线监测数据，无序无控恶性排放无缘节能增效，发展决定总体能耗继续升高，缓解危局只能走节能减排信息化助力工业节能改造道路社会大生产无序无控排放是环保死敌一次能源生产二次能源生产一次节能减排的难点及瓶颈节能减排

25、管理如何着手节能减排措施如何把控节能减排效果如何确认节能减排空间如何诊断节能减排计量监测管理分析评估？节能减排是覆盖全社会所有生产消费过程的大系统工程，配套的能源排放在线计量监测管理分析评估大数据信息化系统是其关键基础架构。目前存在四大难题1、节能规划部署2、能耗诊断审计3、节能手段实施过程控制4、节能效益量化计算、EPC分成认证上报节能减排的难点及瓶颈节能减排管理节能减排措施节能减排效果节能电信运营商覆盖全国物联网及云计算体现优势 十二五期末年排放超千吨标煤的省级重点能耗单位原则上必须纳入政府节能减排监管机构的监测量化管理，年排放超万吨标煤的国家级重点能耗单位必须自建企业级能源管理系统接入当

26、地市级能源管理监控中心，市级汇聚到省级能源管理监控中心，省级接入中央发改委全国能源管理监控中心平台，市省中央所汇集的排放原始数据向全社会开放。 这样超级大数据系统需要极高的云计算网络存储资源，还要对各用能户建立多维度关联能耗排放模型，对自控可靠的用能户以模型仿真模拟结果对相关用能设备实施反向开关待机操作，实现用能设备动态能效优化，这样的操控实施理应掌控在国有3大运营商手中电信运营商覆盖全国物联网及云计算体现优势 十二五解决瓶颈问题-其他问题迎刃而解国家综合能源管理平台A省数据仓库及平台B省数据仓库及平台某行业数据接口服务器前端数据采集物联网网关前端辅助数据接口服务器前端数据采集物联网网关前端辅

27、助数据接口服务器前端数据采集物联网网关前端辅助数据接口服务器解决瓶颈问题-其他问题迎刃而解国家综合能源管理平台A省数据物联网云计算大数据结合-关键技术途径 网管系统、动环系统负责运营商自身能耗数据采集及融合，政府发文强制重点能耗企业采用标准化物联网采集网关及国标智能电表无线接入此系统、或企业已有系统按统一能耗排放数据采集及接口标准规范专线转发接入此系统（只要挂表接入政府均有适当补贴），运营商收流量费及功能费，如用能户使用能源审计诊断功能可另收咨询费等，政府向运营商付财政补贴、维护费、流量费及服务费购买服务，运营商还可收能耗排放源数据交易费并向政府交管理费等。物联网云计算大数据结合-关键技术途径 网管系统用能端能耗分量计量及影响因素感知采集辅助设备能耗主设备能耗照明能耗办公设备能耗室内外温湿度振动压力等地理装机空间建材环境等物