HBase在车联网中的应用与实践_第1页
HBase在车联网中的应用与实践_第2页
HBase在车联网中的应用与实践_第3页
HBase在车联网中的应用与实践_第4页
HBase在车联网中的应用与实践_第5页
已阅读5页，还剩18页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、HBase在车联网中的应用与实践技术创新，变革未来目录 / Contents01选型与应用02稳定性建设03平台建设04未来规划2业务特性-数据流硬件层采集数据网络层过滤数据解析层解析数据缓冲层暂存数据加工层处理数据存储层存储数据分析层分析数据应用层展示数据自研设备硬件层其它设备网关网络层SLB防火墙808协议String协议MQTT协议RocketMQKafka解析层缓冲层数据计算中心ETL引擎加工层数据库入库机HBase存储层HDFSRDSDRDSHive数据挖掘指标分析决策支持统计报表机器学习分析层里程轨迹油耗事件更多应用层01选型与应用1存储选型业务数据特性HBaseMongoDBCa

2、ssandra数据增长快扩展容易扩展容易逐步可扩展稳定性要求高可用性高可用性高可用性高实时性要求高低延时低延时低延时/范围查询 弱数据量大海量数据中等数据海量数据过期数据低频访 问数据删除简单数据删除较简单数据删除简单数据结构简单单维度查询全文索引辅助索引2HBase接入-SDK基本功能&ORM日志上报双活切换3里程计算设计实时计算小时计算天计算RocketMQHDFSKafkaHBasestorm实时计算ETL实时采集Spark小时 计算/天计算ETL实时采集3Rowkey设计满足查询条件防止热数据性能以及成本Rowkey设计Reverse(imei)+00000+string(date)里

3、程表每天的写入量：50亿+，读取量100亿+4列设计满足需求提高性能节约成本所以我们最终是以业务读取数据的需求分组，将相同 需求的数据放在同一个列或者列蔟里面，以json的形 式存放，减少元数据。5集群设计正确初始化有瓶颈再谈优化用数据验证结果性价比衡量业务关联调整读写缓存内存分配比例调整读写队列关掉wal log协 议 解 析 端FlumeKafka集群ETL消费HBase集群平台系统数据量大配置低写入性能要求高，查询较少报文系统7数据分层温数据（近线查询）冷数据（离线查询）热数据（在线查询）数据实时同步公有云热数据HBase私有云冷数据HDFS温数据HBaseHiveSpark Hive

4、MRSDK02稳定性建设1遇到的问题HBase Request有时候突 然很低，大量请求都超时HBase总是会定时的出现请 求超时，几分钟后，又自动 恢复有自动恢复长时间的RIT，无法提供服 务2基础监控Metrics监控组监控3表监控集群吞吐监控表吞吐监控连接监控4填过的坑限流协处 理器导数 据FixedIntervalRate LimiterAverageIntervalR ateLimitercountSumAvg.SqoopMapreduce.5攻防演练故障库环境隔离文档总结定期演练6双活数据实时同步Sdk自动切换双活的实现配置中心管理KafkaHBaseKafkaHBasemasterslave03平台建设1概览数据查询数据修改表管理监控报表报警限

人人文库> 全部分类> 专业文献 > IT计算机

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论