2014大数据技术大会携程make big data visualizable and real time_第1页
2014大数据技术大会携程make big data visualizable and real time_第2页
2014大数据技术大会携程make big data visualizable and real time_第3页
2014大数据技术大会携程make big data visualizable and real time_第4页
2014大数据技术大会携程make big data visualizable and real time_第5页
已阅读5页，还剩19页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、Make Big Data Visualizable and Real-time携程大数据平台组About us来自携程大数据平台Team负责携程大数据平台的搭建，优化，排障和调度系统开发Agenda背景携程大数据平台架构HBase在携程应用携程未来背景携程所有应用不写本地日志每天日志量40T，总条数上千亿条每天用户行为数据30T业务数据飞速增长所有数据都需要及时反馈给用户，应用或携程大数据架构/分析CentralLogging用户行为分析BI报表DashBoard用户可以在， 端查看各携程大数据平台种趋势和用户可以提交job， sql（hive or spark），sqoop, workfl

2、ow调度系统，DI Portal：Job执行，和调度系统可以HBase，metric，整个hadoop平台HiveSqoopSharkMahout多个HBase集群， 分业务部署，共享HDFSSparkMapReduceStormHBaseYARNHDFSZooKeeper携程集群分布OfflineOnlineHDFS携程数据流应用数据系统数据前端JS数据数据库Map/ReduceStorm应用告警DIPortal 调度系统SparkHive数据流向/ SPARK SQL实时用户行为分析爬虫告警MahoutSqoopHDFSHBaseBI/报表UBTLog CubeDashboard数据层团队

3、游攻略社区酒店机票业务层HBase在携程40个节点支持每天5百亿+条数据量，上20T+的容量7x24小时服务 每秒百万级请求改进balance来消除热点HBase运维工具Tool：快速定位问题，发现并消除热点HBase热点消除HBase端优化+ 自定义各种Filter实现在服务端计算SUM，COUNT，AVG，MAX，MINCentral客户端 Logging Agent数据汇聚层 Collector数据消费者：LoggingnnnØØ实时rpc非实时 HBase- HiveHiveRPCHBaseRCFile/ HDFSCentralLogging日志跟踪DashBoardn度量数据的展示Ø 业务、框架、系统度量数据Ø覆盖全度实时钻取metric的nnnn可水平扩展的度量对外提供REST API HBase每天6T，260亿引擎DashboardUI框架数据源汇聚层PersistAlertingRulesStorm流式处理RuleConfig DB消息通知Message Queue/TopicMobileUBT(UserBehaviorTracking)PVJS errorPage performance Biz trace logBiz2Biz1StormUBT用户行为跟踪UBT用户流量跟踪UBT热力图UBT端的流量跟踪未来业务

人人文库> 全部分类> 应用文书

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论