大数据 欧阳辰-实时大数据分析之利器Druid

实时大数据分析之利器Druid阳辰2017/12•关于品友•大数据分析的繁花似锦•历史和发展•架构•技术优势•应用•其他分析工具59.8%59.8%8.98.9亿Cookies人群每日处理1P的数据量每日处理260亿条日志每日覆盖4每日覆盖4亿个网页每日20T新增日志5.3亿日独立用户设备(Performance(Performance)(Affordable)(Capacity)•2011Metamarket开发，2012年开源•初始用于广告分析，程序化分析•+150贡献者•典型应用•300亿事件/天(品友互动)•10亿事件/分钟(Jolata)•用户行为分析(今日头条)•广告实时分析(小米)•性能监控分析(OneAPM)•等等2017,8,Druid中国第五次Meetup2017,3,Druid中国第四次Meetup•高可用性，SegmentShard机制•高性能，亚秒级查询响应•高吞吐，支持实时数据接入，批量数据接入•正确性，lambda架构能够在T+1时间校正实时数据•查询有segment级别缓存•堆外内存复用，避免GC问题Druid一些高级特性•近似直方图和分位数•地理索引和查询•路由器(Router)•Kafka索引服务Druid-Metrics-(quantiply)Druid-C(quantiply)SQL4DCalcitDruid-Metrics-(quantiply)Druid-C(quantiply)SQL4DCalcite(Apache)PlyQL(imply.io)访问扩展数据可视化Pulsar(eBay)Grafana-plugins(quantiply)MetaBaseCaravel(AirBnb)spark-druid-Pivot(imply.io)Calcite(Apache)Olap(SparklineData)数据管理数据源Druid管理idKafkaHDFSStormS3分析平台Imply(imply.io)Druid-Spark-Batch(MetaMarkets)Druid-Console(druid.io)Docker-Druid(druid.io)Tranqulity(druid.io)PyDruid(druid.io)RDruid(Druid.io)《Druid实时大数据分析》From:第四次中国Druid用户组Meetup《Druid实时大数据分析》From:第四次中国Druid用户组Meetup•行为分析•留存分析•查询报表From:第四次中国Druid用户组Meetup•虽然快，但是聚合是一个双刃剑(类百度统计orGoogleAnalytics)数据量：200+亿事件/天，100K+分析查询/天，数百万网站Event-orientedRDBMSClickHouse的不完美：1.不支持Transaction,OLTP2.聚合结果必须小于一台机器的内存大小3.缺少完整的Update/Delete操作4.不适合典型的Key-Value存储5.不支持Blob/Document类型数据6.仅仅支持UbuntuOS，其他用DockerMYISAMLSMTree(2008-2011)•阶段二:Metrage(从2010-现在/End)•阶段三:OLAPServer(2009-2013)•第四阶段:ClickHouse(2011-现在)•VectorizedQueryExecution技术•利用CPU的SIMD(SingleInstructionMultipleData)•来自VectorWise公司(Actiannow!)•参考“Vectorizationvs.CompilationinQueryExecution”•RuntimeCodeGeneration技术•JavaJI