LSQL大规模集群技术架构

1、技术创新，变革未来LSQL大规模集群技术架构LSQL介绍LSQL大规模集群优化 LSQL集群运维实例一LSQL集群运维实例二目录01LSQL介绍应用层 Application LayerSQL计算层SQL computing LayerLSQL存储引擎层Storage Engine Layer全文检索引擎 Full-Text EngineKV 引擎Key-Value EngineOLAP 引擎 OLAP Engine预计算 引擎Pre-Computing Engine行业定制引擎 Industry EngineHadoop 基础服务HDFSYARN基础设施层 Infrastructure La

2、yer私有云 Private / 公有云 Public / 混合云 Hybrid / 物理集群 ClusterJDBC / REST外部数据源 External Data SourceOracle /MySQLKafkaHiveJSON / TXT / CSVParquet / ORCCustomerETL ToolsLSQL介绍LSQL集群架构DN NM LSQLDN NM LSQLDN NM LSQLNNLSQLDriverRMDN NM LSQLZKZKZKKafkaKafkaKafkaJNJNJN02LSQL优化LSQL优化映射表/视图表不同表不同分片DN请求缓存过载保护LSQL优化1

3、映射表列1列2列3列4列5128甲215乙340丙丁Tom男戊Lucy女己Mary女分组姓名性别丁Tom男戊Lucy女己Mary女ID年龄分组128甲215乙340丙物理表Physical Table映射表1Mapping Table映射表2Mapping TableLSQL优化映射表/视图表不同表不同分片DN请求缓存过载保护LSQL优化2不同表不同分片大表小表1200分片LSQL优化映射表/视图表不同表不同分片DN请求缓存过载保护LSQL优化3DN请求缓存NameNodeDN无Cache层LSQLDNCache层LSQL未使用DN缓存使用DN缓存LSQL优化映射表/视图表不同表不同分片DN请

4、求缓存过载保护倒排表扫描长度限制。Shuffle 达到过载保护的阈值，则中断此操作。单次查询文件读写量的过载控制。SQL任务执行时间的控制，超时kill。LSQL优化4过载保护03LSQL运维实例一LSQL案例背景3000张表数据规模超万亿条（PB级）日增300500亿条（几十TB）数据存储三个月以上全文检索、多维查询、地理位置检索数据碰撞、多表关联、统计、数据导出等每日请求近百万次90%查询响应时间 3天) 全量心跳ervalMsec ： (0 = 300)增量数据心跳erv

5、al ：erval ：(3秒 = 60秒）心跳间隔(3秒 = 60秒）减少心跳频率node.invalidate.work.pct.per.iteration ：（0.32 = 0.15）减少扫 描节点数量卡顿依旧！IBR同步机制的问题删除块接收块DataNodeIBR上报NameNode同步处理IBR：增量块汇报(Incremental Block Report)，发生时机：刚刚被删除的块正在被接收(写)的块接收完毕(已被写完)的块问题1：DN实时上报IBR问题2：NN同步处理IBRIBR延时异步处理删除块接收块DataNodeBP线程Nam

6、eNode异步处理线程1，DN延时发送IBR2，NN异步处理IBRPending IBR暂存 队列04LSQL运维实例二千台联邦模式LSQL服务异常中止日志分析：NN处于Standby模式？原因分析及对策原因调查：1，NN负载过高，出现主备切换 2，主备切换后，Failover失效参数不起作用：dfs.federation.router.client.retry.max.attemptsSubCluster0主备切换异常原因State StoreRRNNNNDNDNDNActiveStandby修改Router源码NN高负载原因之一ChooseRandom()随机选节点引发的问题随机算法修改遍

7、历所有节点判断是否属于排除节点加入候选列表判断节点存储类型从候选列表随机选择从所有节点随机选择判断是否属于排除节点判断节点存储类型返回所选节点去掉全局锁循环数次NN高负载原因之二异构存储引发的问题Excluded列表包含几百台DN，全部为SSD节点!NN高负载原因之二节点排除策略引发的问题maxLoad = 系数 * 集群平均Xceiver负载数节点的负载数 maxLoad，将其加入exclude列表修改节点排除策略# 禁用# 增加倍数默认值：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 2.0修改方法：node.redundancy.considerLoad = node.redundancy.considerLoad.factor = 5.0NN高负载原因之三机架策略引发的问题遍历大量SATA节点！SATA节点NN高负载原因之三每机架最大副本数 = （总副本数 1）/ 机架数 + 2Rack01Rack02Rack03Rack04Rack05Rac