




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
中国电信大规模数据处理需求
及应用实践中国电信广州研究院2010-6目录电信面临的海量数据处理问题云计算大规模分布式处理平台云计算分布式技术应用实践背景—全面数据时代海量电信运营数据海量互联网数据计费数据网页用户账户数据网络流量数据安全数据音频图片每用户每年产生150kB计费信息,1000万用户每年10TB,实际上往往>50TB以上,在100TB左右视频一个地市运营商,每天产生24亿条话单记录,约1TB,一年约350TB用户数据
ChinaNet骨干网,每天产生10TBnetflow流量
截至2009年互联网有336亿个网页,每个网页28.6KB,约1PB
海量数据时代,我们疲于收集的是蕴含信息的“财富”还是占据存储空间和处理能力的“垃圾”?背景—电信系统vs互联网系统计费系统客户关系管理系统经分系统搜索引擎社交网络门户网站互联网数据电信运营数据互联网公司应对措施推出基于mapreduce的云计算技术架构,30万台服务器,为搜索等互联网应用提供海量存储和处理能力领导Hadoop开源云计算架构,部署生产集群/科研集群,提供个性化、反垃圾邮件等服务每天80-90TB,部署Hadoop集群,2250台机器,贡献HIVE等数据分析工具每天500TB,部署Hadop集群,1100台机器,海量数据存储和分布式计算基于mapreduce开发分布式处理平台,启动阿拉丁计划,搜索“暗网”信息背景—业界主要应对措施中国移动大云(BigCloud)基于X86架构的大规模服务器集群+MapReduce云计算分布式技术逐渐成为业界趋势
基于并行计算的数据挖掘、机器学习方法逐渐成为主流的数据分析方法开源Hadoop云计算架构被广泛用于构建企业大规模服务器机群,提供大规模存储和计算能力
云计算分布式技术与数据仓库技术相结合,主要用于数据分析工作,不适合于实时事务操作构建中国电信大规模分布式处理平台,为电信应用和互联网应用提供海量数据存储和并行计算能力目录电信面临的海量数据处理问题云计算大规模分布式处理平台云计算分布式技术应用实践分布式服务引擎(DSE)DSE定义:中国电信PaaS云计算平台,利用云计算分布式技术解决海量数据分析处理问题,并将一系列基于数据分析和信息处理的基础服务抽象成公共模块提供给用户,简化用户应用的开发周期。能力定位:面向亿兆级数据规模的系统功能定位:电信应用的核,互联网应用的组件设计定位:抽象公共基础服务,简化应用开发SOAPRESTHTTPCLI海量存储及分布式计算服务基础能力(数据分析、信息处理)服务能力(搜索、位置、分类)基础平台服务DSE运营管理系统互联网应用开发者电信应用开发者OSS/BSS互联网应用移动互联网应用物联网应用科学计算DSE-技术架构分布式数据库分布式文件系统任务分解及调度缓存服务硬件平台分布式平台基础能力层(数据分析、信息处理)内容分类及过滤搜索服务位置服务服务能力层(信息服务)ONS系统EPC查询流量分析可视检索餐饮搜索行为分析应用层热点播报行业资讯配置调度监控接入…………邮件服务单点登录账号服务平台服务运营管理关系型/分布式数据库查询引擎统计分析聚类关联分析……图表服务分类预测数据获取特征提取快速索引文本处理可视处理内容分发DSE-能力定义DSE应用—科学计算科学计算任务特点:个案性质,对计算、存储、网络等基础资源具有临时、大量、突发需求使用平台的基础能力:通过DSE开放的存储接口和计算接口,将科研计算任务部署运行到DSE平台上,分享平台的大规模处理能力,按需获取所需的计算资源。DSE存储接口图表服务MapReduce计算接口自服务站点编写MapReduce计算任务上传数据定制资源,启动任务层现结果,释放资源DSE应用-互联网信息应用互联网信息类应用:产生或使用大量信息,如垂直搜索、新闻资讯、社交网络、音/视频应用特点:海量数据处理需求、大规模用户请求基于DSE的功能模块组建互联网应用,调用DSE信息服务简化应用开发基础数据分析模块、基础信息处理模块把应用运行在DSE平台DSE提供Web服务集群,满足大规模用户请求信息检索信息层现数据抓取信息处理数据分析数据整理互联网信息应用互联网数据电信运营数据IP地址库用户数据流量数据网页数据评论数据图像数据音视频数据DSE应用-移动互联网应用移动互联网应用特点:受终端处理性能限制,计算任务在服务器端运行,适合“云+端”形式DSE能力海量存储能力,满足移动终端数据的接续性大规模分布式处理能力,满足计算需求高速的互联网和3G网络带宽,满足应用的网络需求应用模式:Web+Widget模式,开发个性化互联网服务DSE平台移动互联网应用开发者上网本PCMID手机开发/部署应用访问应用Browse/WidgetDSE应用-电信应用系统电信数据分级事务型/操作型数据系统:动态实时数据,关系数据库,一致性、实时性要求分析型数据系统:静态历史数据,数据仓库,离线分析、深度挖掘,决策DSE提供大规模并行计算能力,适合对历史数据作离线分析应用模式:提供分布式数据仓库存储历史数据提供基于MapReduce的数据总结方法、统计分析方法、数据挖掘方法数据抓取/数据推送数据分析(统计分析、数据挖掘)电信运营数据(网管数据、流量数据、用户数据…)分析结果Hbase数据库MySQL数据库HDFS文件系统开发者DSE应用-物联网物联网:通过电子标签(RFID)、传感器、二维码等技术和设备,将物体与互联网等各类网络相连,实现物与物、物与人之间的信息交互互联网支撑系统:ONS、EPC查询超大规模的存储和计算能力,高速的网络带宽海量数据分析能力互联网应用系统:大规模的数据查询请求物联网网络物联网应用系统(数据采集、交互、传送)物联网信息支撑系统(数据分析、查询响应)DSE平台HDFSMapReduceMySQLHBase用户DSE应用-IPv4/IPv6应用迁移IPv6网络内容匮乏,CP/SP缺乏迁移动力构建具有双栈能力的应用迁移和内容分发平台,同时为IPv4和IPv6用户提供服务DSE提供海量存储和分布式计算能力目录电信面临的海量数据处理问题云计算大规模分布式处理平台云计算分布式技术应用实践分布式处理平台工作进展17应用实践之一:NetFlow流量分析应用实践之一:Netflow流量分析19ClustersizeRecordsprocessedin5minutes11355970058322984010164147740Mapreduce天然适合大型网络的Netflow流量分析和挖掘应用实践之二:可视搜索应用实践之三:美食搜索系统目标利用互联网大量点评信息为用户提供快速的消费决策核心技术海量信息抓取,过滤情感分类,点评摘要21应用实践之三:美食搜索2222226.关注趋势图7.关注情感趋势图2.按关注重点自动分类1.评论摘要3.评论摘要:按正面情感4.评论摘要:按负面情感5.评论摘要:按中立情感应用实践之四:行业资讯系统目标从互联网实施抓取最新的行业资讯,为企业内部人员提供IPv6、移动网、云计算等专题的最新技术信息和新闻核心技术定向抓取、自动去重、话题分类智能抽取规则定向抓取智能信息抽取关键词分类去重处理去噪处理定制关键字推送数据互联网Cinlab平台应用实践之四:行业资讯应用实践之五:热点播报系统26评论详情新闻详情应用实践之五:热点播报系统数据通信研究部访问门户PC用户访问门户手机终端新闻详情评论详情
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 七年级生物上册 第二单元 第一章 第一节 绿色植物的主要类群教学实录 (新版)济南版
- 沪粤版八年级物理上册教学计划(含进度表)
- 2025年建筑安装服务项目合作计划书
- mil单元测试方案
- 2025年成膜助剂项目发展计划
- 2025年制证一体机合作协议书
- 电视剧苏明玉的营销案例
- 电脑视觉电生理
- 增强班级合作意识的工作措施计划
- 业务扩展策略计划
- 2025年车驾管知识题库查验业务知识考试题(附答案)
- 污水处理厂工程设备安装施工方案及技术措施
- 2025年海南海口市水务局招聘事业单位人员35人历年高频重点模拟试卷提升(共500题附带答案详解)
- 2025年关联公司资金往来协议
- 交警大队合同范本
- 产业转移课件-2024-2025学年高三一轮复习人教版(2019)地理选择性必修2
- 2025年02月中国科协所属单位公开招聘社会在职人员14人笔试历年典型考题(历年真题考点)解题思路附带答案详解
- 2025-2030年中国电动滑板车市场运行动态及发展规划分析报告
- 中考英语专题总复习-题型9省公开课一等奖百校联赛赛课微课获奖课件
- 河北省石家庄市栾城区冶河镇初级中学-励志主题班会-拒绝间歇性努力不做45青年【课件】
- 高强度体育项目后的能量补充与身体修复法
评论
0/150
提交评论