教案cloud06云计算应用与挑战

1、教育部-IBM产学合作专业综合改革项目云计算技术及应用2课程主要内容Part One: 云计算概述云计算发展背景云计算概念与特征、发展现状、相关技术等云计算适用条件Part Two: 云计算关键技术云存储虚拟化云桌面Part Three: 云服务与部属模型IaaS：基础设施即服务PaaS：平台即服务SaaS：软件即服务Part Three: 云计算解决方案Google云计算解决方案Amazon云计算解决方案开源解决方案：HadoopIBM云计算解决方案Part Four: 云计算实践OpenStack安装与配置IBM BlueMix平台下开发实例第六章： 云计算应用与挑战1. Google云计

2、算应用案例分析应用场景分析1Google网站流量分析Google Analytics免费的企业级网络分析解决方案帮助企业了解网站流量和营销效果能以灵活的方式（各类报表）查看并分析流量数据应用场景分析1Google网站流量分析应用场景分析1Google网站流量分析基本功能统计网站的基本数据，包括会话、综合浏览量、点击量和字节流量等等分析网站页面关注度，帮助企业调整或增删页面分析用户浏览路径，优化页面布局分析用户访问来源链接，提高广告投资回报分析用户访问环境（如OS和Explorer），帮助美化页面应用场景分析1Google网站流量分析应用的特征海量数据需要存储海量的用户行为数据（如点击时间、位置

3、等）海量用户需要为任意多的网站提供流量分析技术路线使用BigTable存储和检索数据，使用MapReduce统计数据应用场景分析1Google网站流量分析BigTable中的表设计原始点击数据表行键：点击时间列键：网站URL、网站名称、用户IP地址、来源URL、目标URL目前尺寸约200TB200910101210112009101012101220091010121013URL标题IP地址来源URL目标URL应用场景分析1Google网站流量分析BigTable中的表设计统计数据表行键：网站URL（倒排）列键：点击次数（如记录最近一个月每日的访问次数等）、页面关注度（如记录网站页面的访问比率

4、）、来源网站（如记录TOP10）、目标网站（如记录TOP10）每个列中记录的内容是字符串，Analytics在查询后需要解析字符串获得统计结果可根据统计内容的增多增加新的列目前尺寸约20TB应用场景分析1Google网站流量分析业务流程分析数据采集原始点击数据表数据处理统计数据表数据查询MapReduce应用场景分析1Google网站流量分析基础设施应用服务器集群BigTable集群1BigTable集群2GFS集群Chubby集群MapReduce集群应用场景分析1Google网站流量分析数据采集数据来源页面内嵌脚本点击行为脚本应用服务器获取到数据后，存入BigTable应用场景分析1Goo

5、gle网站流量分析数据采集数据存储流程向BigTable中写入点击信息寻找子表服务器向内存临时子表写入信息（含排序）如超过阈值则存储为子表文件GFS：存储子表文件子表合并、压缩应用场景分析1Google网站流量分析数据处理例如，统计网站(如 )过去一周网页访问比例数据处理流程数据查询MapReduce操作数据存储点击数据表统计数据表GFS应用场景分析1Google网站流量分析数据处理：MapReduceMap操作假设过去一周查询结果文件在GFS中包含M个Chunk，那么Master寻找M个空闲的Worker，分别处理这M个Chunk，得到每个网站中页面的访问次数com.xxx, com.yyy

6、, com.zzz, 应用场景分析1Google网站流量分析数据处理：MapReduce自动排序对M个中间结果进行排序com.xxx, com.yyy, com.zzz, com.yyy, com.xxx, com.zzz, com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz, 应用场景分析1Google网站流量分析数据处理：MapReduceReduce操作假设得到该网站含N个网站，那么可以分配N台Worker分别处理单个网站的数据com.xxx, com.xxx, com.yyy, com.yyy, com.zzz, com.zzz,

7、com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析数据处理写入数据应用程序将分析结果写入统计数据表com.xxx, com.yyy, com.zzz, 应用场景分析1Google网站流量分析数据查询从数据统计表中查询 行获取对应列的数据，解析，得到并展示最终结果数据处理是定期的，非实时响应查询应用场景分析2Google搜索Google搜索的总体业务流程数据采集: Spider数据整理生成各类子表，如音乐表、生活搜索表、学术搜索表等压缩数据表，清洗失效数据数据检索应用场景分析2Google搜索数据采集通过若干Spider在网络上搜集数据使用BigTabl

8、e存储数据行键：倒排的URL列键：网站名称、语言、HTML描述、图片、链接时间戳：记录不同时刻的网页快照应用场景分析2Google搜索数据采集Spider可能的数据处理流程Spider获取到网页数据从Chubby的元数据中找到该URL所处的子表从子表服务器中寻找对应的行如果该行不存在，则插入新的行读取网页内容列，比较新旧数据增加时间戳，标识新数据若当前时间戳超过指定数目，删除最旧内容处理完毕存在对应行对应行键不存在数据未变化数据发生变化应用场景分析2Google搜索数据整理Google搜索包括多个子类生活搜索：租房、车票、酒店等资讯搜索：热门新闻、分类新闻等学术搜索：学术论文定期计算网站评价数

9、据例如PageRank的计算具有统一的数据来源使用不同的表存储数据可能使用MapReduce定期刷新数据应用场景分析2Google搜索数据整理（Google学术搜索）应用场景分析2Google搜索数据整理（Google学术搜索）数据抽取寻找包含学术（论文）信息的网页数据，并结构化存储学术（论文）信息抽取（分析参考文献、摘要等）可能的技术方案：MapReduce+BigTable数据统计基于抽取的数据进行统计分析（如分析被引用次数等）可能的技术方案MapReduce+BigTable学术信息BigTable行键：论文标题列键：作者、主题词、摘要、参考文献、期刊信息、被引用次数、下载链接应用场景分

10、析2Google搜索数据整理（Google学术搜索）如何使用MapReduce抽取数据？生成抽取目标（URL）文件将目标文件分割为M块寻找M个Worker分别做Map处理查询网站的网页数据是否包含论文描述信息抽取论文描述信息，输出按论文标题将输出排序将论文描述信息存入BigTable寻找若干Worker做Reduce处理MapReduce自动处理自动处理应用场景分析2Google搜索数据整理（Google学术搜索）如何获取论文统计数据（如论文引用次数）分析论文信息表，二次MapReduce论文A, 参考文献: 论文B, 论文C, 论文D论文B, 参考文献: 论文Q, 论文C, 论文A论文C,

11、参考文献: 论文D, 论文H, 论文A论文F, 参考文献: 论文A, 论文C论文E, 参考文献: 论文S, 论文A, 论文D论文S, 参考文献: 论文E, 论文F 应用场景分析2Google搜索数据整理（Google学术搜索）如何获取论文统计数据（如论文引用次数）归纳排序 应用场景分析2Google搜索数据整理（Google学术搜索）如何获取论文统计数据（如论文引用次数）Reduce操作应用场景分析2Google搜索数据检索有可能采用MapReduce实现关键词搜索可能的处理流程子表是否有Content列是否包含关键词关键词语义分析任务划分（子表+新关键词）输出到临时结果表获取行数据中Cont

12、ent项处理完成分配Worker结果输出MapReduce应用场景分析2Google搜索数据检索搜索结果可能通过临时表存储每个关键词对应一个临时子表检索系统根据输入枚举现存检索结果的相似关键词如果临时子表中存在检索结果，直接输出应该存在机制刷新临时子表2. 云计算的发展与挑战云计算与移动互联网云计算与移动互联网对运营商的挑战和机遇移动互联网的端-管-云未来的云生态系统将从“端”、“管”、“云”三个层面展开。“端”指的是接入终端设备，“管”指的是信息传输管道，“云”指的是服务提供网络。具体到移动互联网而言，“端”指的是手机、MID 等移动接入终端设备，“管”指的是（宽带）无线网络，“云”指的是提

13、供各种服务和应用的内容网络。电信运营商和网络设备制造商在“管”的方面优势明显，终端制造商对“端”的掌控力度最强，IT 和互联网企业则对“云”最为熟悉。参与移动互联网的企业要想在未来的竞争中处于有利甚至是主导地位，就必须依托已有基础延伸价值链，争取贯通“端”“管”“云”的产业价值链条。云计算与移动互联网移动互联网云计算产业链移动云计算的产业链结构主要由以下实体组成：云计算基础设施供应商云计算中的应用程序/服务供应商（第一层消费者）云计算中的开发者（第二层消费者）云计算中的最终用户（第三层消费者）移动互联网的产业链构成云计算与移动互联网移动互联网云计算技术现状移动互联网云计算优势：突破终端硬件限制

14、便捷的数据存取智能均衡负载降低管理成本按需服务，降低成本云计算与物联网物联网与云计算的结合应用势在必行。 物联网的大规模发展离不开云计算平台的支撑，而云计算平台的完善与大规模的应用需要物联网的发展为其提供最大的用户。 基于云计算的物联网安全研究将为物联网与云计算的发展提供最可靠的保障，也是物联网与云计算蓬勃发展的必要条件。云计算与物联网物联网技术体系云计算与物联网结合方式第一种：单中心，多终端这种方式的云中心大部分由私有云构成，可提供统一的界面，具备海量存储能力与分级管理功能 单中心、多终端连接云计算与物联网结合方式第二种：多中心，大量终端这种方式的云中心由共有云和私有云构成，并且二者可以实现互联多中心、大量终端连接云计算与物联