中国电信云计算技术应用与实践--PaaS2

中国电信云计算 PaaS技术应用与实践 云计算：从炒作到实践 中国电信集团 2014年 9月 14日 排版 : /webmoney 2 中国电信 PaaS技术应用与实践 企业机密 严禁外传 提纲 PaaS概述 PaaS核心技术 相关实践 排版 : /webmoney 3 中国电信 PaaS技术应用与实践 企业机密 严禁外传 PaaS概述 定义 面向互联网应用开发者 ， 把端到端的分布式软件开发 、 测试 、 部署 、 运行环境以及应用程序托管当作服务 ， 通过互联网提供给用户 特点 网络化的分布式开发平台 ， 以 Web服务方式提供给用户 开发 、 测试 、 运行环境在云端 ， 用户共享云平台海量存储 、 超大规模计算能力 ，开发环境维护工作由服务提供商解决 集成帐户认证 、 数据库 、 消息队列等配套基础服务 ， 提高开发效率 Java、 Python等高级编程语言 ， 易于应用程序开发者使用 服务形态 通过互联网提供服务 ， 按需提供 ， 按量计费 Google App Engine Microsoft Asure Amazon Hadoop Salesforce F The cloud 排版 : /webmoney 4 中国电信 PaaS技术应用与实践 企业机密 严禁外传 PaaS发展 商业推动 SaaS企业为提高用户粘着度 ， 把支撑应用开发的平台发布出来 ，供软件开发上自行开发 、 自由定制 需求推动 高校等科研机构需要临时性的超大规模计算能力 大型系统面临严峻的扩展性问题 Google等公司拥有超大规模服务器集群 ， 需要把海量存储和大规模计算资源提供出来 技术推动 把多台机器虚拟成一台超级机器的分布式技术日趋成熟和稳定 PaaS是一场互联网应用软件开发革命，体现了互联网低成本、高效率和规模化应用的特性，能够帮助应用程序开发人员快速定制、开发满足特定需求的互联网应用，从而大大提高工作效率和执行力。 排版 : /webmoney 5 中国电信 PaaS技术应用与实践 企业机密 严禁外传 提纲 PaaS概述 PaaS核心技术 相关实践 排版 : /webmoney 6 中国电信 PaaS技术应用与实践 企业机密 严禁外传 PaaS核心技术 分布式技术：把多台机器虚拟成一台性能极强的超级计算机 分布式存储 、 分布式计算 、 分布式数据库 、 同步机制 、 负载分担 、任务调度 分布式软件开发 、 测试 、 运行工具 编程环境 SDK、 编程接口 、 代码库 、 测试工具 、 运行工具 运营管理系统 用户管理 、 计费认证 、 资源监控 、 应用管理 分 布 式 技 术分 布 式 存 储 、 分 布 式 计 算 、 分 布 式 数 据 库 、 同步 机 制运 营 管 理 系 统开 发 环 境 、 编 程 接 口 、 编 程 模 型 、 代 码 库服 务 器 集 群用 户 管 理 、 计 费 认 证 、 资 源 监 控 、 程 序 管 理 多合一 （ Google） 分布式 排版 : /webmoney 7 中国电信 PaaS技术应用与实践 企业机密 严禁外传 分布式解决的问题 分布式问题由来已久 ， 把多台机器合并成一台机器是梦寐以求的目标 编写程序 ， 需要考虑任务怎么分解 ， 怎么汇总结果 分发程序 ， 需要把程序拷贝到不同的机器上 ， 逐一启动程序 收集结果 ， 需要把每部分程序的结果收集起来 ， 并进行汇总 显示结果 ， 需要通过统一的界面把结果输出给用户 自动分发程序 自动启动程序 自动收集结果 .java .java .java .java .java .java .java .java 虚拟 超级计算机 排版 : /webmoney 8 中国电信 PaaS技术应用与实践 企业机密 严禁外传 云计算分布式计算模型 分布式计算是由来已久的问题 计算模型：操作 (CPU)+数据 (内存 /硬盘 ) 并行方法：传统分布式系统试图解决任何 CPU访问任何数据 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 中间件承担多机之间的“总线” 结束 输入 开发者必须将程序逻辑转换成分布式平台的逻辑 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 CPU 内存 硬盘 借助网络， Hadoop实现了多机之间的“总线” 结束 输入 Map Map Map Map Reduce 应用 逻辑 转换 逻辑 分布 执行 排版 : /webmoney 9 中国电信 PaaS技术应用与实践 企业机密 严禁外传 分布式文件系统 分布式文件系统为提供海量存储空间提供了极大的便利 NameNode负责文件目录管理 DataNode负责真实的数据存储 排版 : /webmoney 10 中国电信 PaaS技术应用与实践 企业机密 严禁外传 分布式数据库 数据库关系模型不再是 PaaS解决的问题 排版 : /webmoney 11 中国电信 PaaS技术应用与实践 企业机密 严禁外传 提纲 PaaS概述 PaaS核心技术 相关实践 排版 : /webmoney 12 中国电信 PaaS技术应用与实践 企业机密 严禁外传 中国电信与云计算 PaaS 需求分析 内部需求分析 传统电信系统多用小型机集群 ， 面临扩展性问题 ， 扩容成本高 海量数据分析处理困难：用户数据 、 计费数据 、 网管数据 外部需求分析 互联网信息应用：大规模数据存储和处理需求 、 快速开发能力 移动互联网应用：瘦客户端应用开发需求 科研单位大规模并行计算需求 外部对电信能力的开放需求 应对策略 打造大规模分布式处理平台 运用分布式技术构建新型大规模集群 ， 解决大型系统的扩展性 为 OSS/BSS等电信运营系统提供大量的存储空间和并行计算能力 为号百等信息应用 、 移动互联网 、 物联网应用提供超大服务器集群支撑 建设电信能力开放平台 排版 : /webmoney 13 中国电信 PaaS技术应用与实践 企业机密 严禁外传 相关工作 -技术研究及基础平台建设 技术研究 各种技术研究报告 中国电信云计算白皮书 云计算技术手册 规范编写 IaaS服务技术要求及相关设备规范 平台搭建 数百 CPU核的云平台 ， 域名 部署虚拟化平台及分布式计算平台 试点应用 网络流量矩阵分析 ， IPv4/IPv6协议转换 ， 餐饮搜索 ， 热点播报 ，行业资讯 排版 : /webmoney 14 中国电信 PaaS技术应用与实践 企业机密 严禁外传 平台建设：大规模分布式服务引擎 电信 系统 典型架构 小型机集群 规模 数百 台 关系型数据 结构化数据为核心 传统数据处理为主 成本很高 容量可规划 互联网 系统 典型架构 X86集群 规模 数万 台 自有数据库 非结构化数据为核心 数据挖掘、机器学习 成本相对较低 容量可预见性低 随着数据规模的增长以及互联网应用在电信行业的发展，需要引入新的架构解决扩展性和建设成本问题 排版 : /webmoney 15 中国电信 PaaS技术应用与实践 企业机密 严禁外传 分布式服务引擎 -定位 建设一个满足多个应用对底层大规模数据智能处理需求的平台 出发点：节约投资，提高效率，推动创新 电信运营数据：位置数据、用户行为数据、流量数据等 互联网数据：网页数据、图像数据、视频数据 能力定位：面向亿兆级数据规模 提供海量数据存储、数据挖掘、统计分析、数据查询等服务 为业务平台、互联网 /物联网应用提供基本服务组件 系统定位：电信应用的核，互联网应用基本组件 服务接口层次化，满足不同应用需求 设计定位：抽象公共基础服务，简化应用开发 排版 : /webmoney 16 中国电信 PaaS技术应用与实践 企业机密 严禁外传 分布式服务引擎 -架构 关系型 /分布式 数据库查询引擎 特征提取 数据获取 分布式数据库 分布式文件系统 分布式计算 硬件平台 分布式平台 统计分析 分类 聚类 预测 关联分析 基础能力层 （数据挖掘、分析） 内容分类 信息检索 位置服务 可视处理 文本处理 图表服务 服务能力层 （信息收集、处理） ONS系统 EPC查询 流量分析 可视检索 餐饮搜索 行为分析 应用层 热点播报 行业资讯 配置 调度 监控 接入 排版 : /webmoney 17 中国电信 PaaS技术应用与实践 企业机密 严禁外传 应用 1：移动互联网网络加速 网络加速融合了 IPv4/IPv6互通 、 内容加速及重排等功能 ， 是极富有价值的应用 移动用户 云计算软件平台 (内容过滤，页面重排 ) 自动分布 HTTP请求 内部云计算平台 （加速云） IPv6互联网 IPv4互联网 移动用户 宽带用户 云计算硬件平台 排版 : /webmoney 18 中国电信 PaaS技术应用与实践 企业机密 严禁外传 应用 2：网络流量分析 应用云计算集群技术实现现有系统难以实现的任务 系统目标 基本的数据统计、地域分布、应用分布、流量矩阵 实时全网异常流量检测 处理任务 各种统计任务的 MapReduce并行化计算 应用主成份分析检测网络状态异常 核心技术 全网 Netflow流量每天数十 TB 每秒数十万 Flow Record纪录 数据规模 排版 : /webmoney 19 中国电信 PaaS技术应用与实践 企业机密 严禁外传 应用 3：可视化搜索 利用云计算技术解决可视化搜索对计算和存储的高强度需求 运用可视化搜索技术推动 3G创新应用研发 系统目标 快速检索： Locality Sensitive Hashing 底层特征： Color、 Texture、 GIST、 SIFT 检索模型： Bag of visual words with global context 核心技术 目标索引数千万张图片，数十 T的存储需求 海量的数百维的高维特征向量，计算和存储高度密集 快速检索面临极大挑战，普