混合异构数据的清洗、存储、挖掘架构选型与设计策略

1、混合异构数据的清洗、存储、挖掘架构选型和设计策略提纲? 混合异构数据特点 ? 混合异构数据分类 ? 混合异构处理流程 ? AdMaster混合异构数据平台架构 ? AdMaster数据处理流程 ? AdMaster混合异构数据分析 ? Q/A 混合异构数据特点? 不同的数据类型 ? 不同的数据量级 ? 不同的访问速度 ? 不同的用户类型 ? 不同的访问平台 ? 不同的存储设备 ? 。 混合异构数据分类数据内容数据特性数据结构使用频率数据访问量响应时间在线数据短周期数据字段固定高度结构化、复杂、适合操作计算非常高（热数据）B、MB级纳秒、微秒、毫秒级离线数据长周期（存档、归纳、 计算结果）字段不

2、固定结构简单一般（冷数据）GB、TB、PB级秒、分钟、小时、天级数据采集Internet 非结构化数据结构化数据 数据预处理清洗 集成 转换 归约 原始数据数据存储提炼数据分析BatchPigHiveZookeeper(Tez)Online(HBase)Streaming(MapReduce) (Storm,S4)In-Memory Interactive(Spark)HPC MPI(OpenMPI)YARN Cluster Resource ManagementHDFSOS(操作系统)MahoutFlumeSqoopOozie应用服务数据展示互联网广告监测全流程AdMaster混合异构数据平

3、台架构Text Clustering Storm Data API Text Categorization MapReduce Open API API Service Data Mining System Distributed System Data Collect Text Analysis API Sentiment Analysis Spark Crawler Data Visualization App Layer JS/AS R Front-end Application Service ECharts AdMaster混合异构数据平台架构OnlineMongoDB Ext4 S

4、SD Online/OfflineHBase HDFS SATA Disk OnlineMysql Ext4 SATA Disk RealtimeRedis Memory SSD OfflineHDFS Ext4 SATA Disk RabbitMQAdMaster数据采集华南 华东 Internet LVS 华北 LVS LVS LVS DNS Buzz ResourceOthers广告数据采集AdMaster数据采集?cat /proc/sys/net/ipv4/tcp_mem ?cat /proc/net/sockstat ?cat /proc/sys/net/ipv4/tcp_max_

5、orphans ?filter.nf_conntrack_max ?filter.nf_conntrack_tcp_timeout_established AdMaster离线数据分析输入拆分Python任务引擎PigPig算法1Pig算法NHDFS?输出合并MySQL每天新增 TB 级数据 每天对千亿条记录进行几百种维度的计算 Cascading内部算法1内部算法NHadoopMapReduce计算模型Streaming非固定算法1非固定算法NAdMaster离线数据分析?/sys/kernel/mm/redhat_transparent_hugepage/enabled ?/sys/ker

6、nel/mm/redhat_transparent_hugepage/defrag ?dfs.socket.timeout ?dfs.datanode.max.xcievers ?dfs.datanode.socket.write.timeout ?node.handler.count TrackAPISocialAPIAPIRawDataAdMaster在线数据分析MysqlMongoDBHBaseKey PartnersBuzz ResourceOthersProduct Core ModuleAnalytics ReportData CenterSocial CRMTra

7、ck SystemClick DataSite System Project Algorithm Service分词 情感分析 标签分类 NLP Lab NLP ServiceOnline LearningServiceData Collection ServiceSocial PlatformAPI ServiceBuzz ArticleCrawler ServiceProcessedDataAdMaster在线数据分析?Kafka & Tail ?HBase & MongoDB ?Storm & Rsync ?Spark & Hana pp? 主题 (配色、品牌名、品牌logo) pp? 轮播信息 (Screens、Slides、标题) pp? 权限 (用户、用户组) 配置信息 pp? Social数据源 pp? Site数据源 pp? Track数据源