Google_云计算核心技术及应用场景分析

网络信息内容安全 讲义 /张华平 /2010心技术介绍及应用场景分析 2016年 4月 11日 1 网络信息内容安全 张华平 网络信息内容安全 讲义 /张华平 /2010仕军 报告人 王长凯 论文搜集 ,论文翻译 王兵 图片和视频搜集 ,美术指导 谭龙 资料整合 ,框架制定 ,2016年 4月 11日 2 网络信息内容安全 讲义 /张华平 /2010 云计算的概念 云计算的服务形式 云计算的发展现状 云计算的概念 分布式文件系统 分布式数据库 并行计算模型 分布式锁服务 2016年 4月 11日 3 云计算的概念 云计算的服务形式 云计算的发展现状 2016年 4月 11日 4 网络信息内容安全 讲义 /张华平 /2010 是由分布式计算 ,并行处理 ,网格计算发展来的新兴商业计算模型 . 将计算任务分布在大量计算机构成的资源池上 ,使各种应用系统能够根据需要获取计算力 ,存储空间和各种软件服务 . 类似电厂集中供电模式 ,最终目标是将计算 ,服务和应用作为公共设施提供给公众 ,使人们能够像使用水 ,电 ,煤气那样使用计算机资源 . 2016年 4月 11日 5 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 6 网络信息内容安全 讲义 /张华平 /2010 as a as a 八百客的 800 as a 016年 4月 11日 7 并行计算模型 布式文件系统 布式数据库 016年 4月 11日 8 网络信息内容安全 讲义 /张华平 /2010 并且需要快速处理 构设计师 016年 4月 11日 9 网络信息内容安全 讲义 /张华平 /2010 处理和生成海量数据的并行编程模型； 用于大规模数据集 (通常大于 1并行运算； 射 ,对列表中的所有元素进行指定的操作 ,返回基于这个处理的中间结果集； 简 ,对中间结果集进行分类和归纳得到最终的计算结果； 两个函数可能会并行运行普通的 2016年 4月 11日 10 网络信息内容安全 讲义 /张华平 /2010 2 3 4 5 6 7 2016年 4月 11日 11 网络信息内容安全 讲义 /张华平 /2010 期性的 查状态 重新执行失效节点上已经执行或尚未执行的 重新执行失效节点上未完成的 定期写入检查点数据备恢复之用 重新发起 ？ ？ 2016年 4月 11日 12 网络信息内容安全 讲义 /张华平 /2010 任务分割的粒度 :时间复杂度 任务备份机制 : 解决长尾效应 本地文件读写 : 节省带宽 跳过异常记录 : 避免崩溃 2016年 4月 11日 13 网络信息内容安全 讲义 /张华平 /2010 实践证明 , 对分布于 1000台计算机上 18s 对 4000台计算机上的 1小时2分钟 (每次测试至少会损坏 1块硬盘 ) 0当于美国国会图书馆当年 5月份存档网络数据的 240倍 2016年 4月 11日 14 网络信息内容安全 讲义 /张华平 /2010 网站访问量统计 反向连接分析 倒排索引 2016年 4月 11日 15 网络信息内容安全 讲义 /张华平 /2010 案例 :单词记数问题 ( 给定巨大的文本文件 (大于 1如何计算文件中所有单词出现的数目？ 2016年 4月 11日 16 网络信息内容安全 讲义 /张华平 /2010 使用 定义 2016年 4月 11日 17 网络信息内容安全 讲义 /张华平 /2010 使用 : 自动对文本进行分割 2016年 4月 11日 18 网络信息内容安全 讲义 /张华平 /2010 使用 :在分割之后的每一对 进行用户定义的 生成新的 对 2016年 4月 11日 19 网络信息内容安全 讲义 /张华平 /2010 使用 : 对 2016年 4月 11日 20 网络信息内容安全 讲义 /张华平 /2010 使用 : 将分组过的中间结果集传给 通过计数生成最后结果 2016年 4月 11日 21 并行计算模型 布式文件系统 布式数据库 016年 4月 11日 22 网络信息内容安全 讲义 /张华平 /2010 产生的背景 数据存储在多个可能出故障的普通 和传统文件系统相比文件很大 ( 多数文件在写操作时为追加内容而不是重写 主要负担为文件持续或随机读取 ,同步写 ,连续写等 功能特性 可扩展的分布式文件系统 用于访问大量数据的大型应用 高效运行在廉价硬件的集群上 容错 : 集群中的机器可热拔插 2016年 4月 11日 23 网络信息内容安全 讲义 /张华平 /2010 块大小为 64 2016年 4月 11日 24 并行计算模型 布式文件系统 布式数据库 016年 4月 11日 25 网络信息内容安全 讲义 /张华平 /2010 大型的分布式数据库 ,存储大规模结构化数据 建立在 把所有数据都作为对象来处理 为 为应用提供简单数据查询功能 (不支持联合查询 ) 为 2016年 4月 11日 26 网络信息内容安全 讲义 /张华平 /2010 分布式的多维映射 ,以 (引 “” ” ” t3 016年 4月 11日 27 学术搜索服务 量统计服务 用架构服务 016年 4月 11日 28 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 29 网络信息内容安全 讲义 /张华平 /2010 数据抽取 寻找包含学术论文信息的网页数据 ,并结构化存储 学术论文信息抽取 (分析参考文献 ,摘要等 ) 可能的技术方案 : 数据统计 基于抽取的数据进行统计分析 (如分析被引用次数等 ) 可能的技术方案 数据存储 行键 :论文标题 列键 :作者 ,主题词 ,摘要 ,参考文献 ,期刊信息 ,被引次数等 ？ 2016年 4月 11日 30 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 31 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 32 学术搜索服务 量统计服务 用架构服务 016年 4月 11日 33 网络信息内容安全 讲义 /张华平 /2010 免费的企业级网络分析解决方案 帮助企业了解网站流量和营销效果 能以灵活的方式 (各类报表 )查看并分析流量数据 2016年 4月 11日 34 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 35 网络信息内容安全 讲义 /张华平 /2010 应用特征 海量数据 : 要存储海量的用户行为数据 (如点击时间 ,位置 ) 海量用户 : 需要为任意多的网站提供流量分析 技术路线 使用 使用 2016年 4月 11日 36 网络信息内容安全 讲义 /张华平 /2010 数据采集 原始点击数据表 据处理 统计数据表 据查询 ？ ？ 2016年 4月 11日 37 学术搜索服务 量统计服务 用架构服务 016年 4月 11日 38 网络信息内容安全 讲义 /张华平 /2010016年 4月 11日 39 网络信息内容安全 讲义 /张华平 /2010 依靠其他软硬件的支持 ; 3项关键技术都比较成熟 ,最近几年也有比较大的更新和修正 ,开源社区也有类似的开源项目可供研究使用 ,比如 T), 望能够在全球范围内配置 ,调度计