music数据仓库新人培养相关架构

数据仓库相关架构——杰娇020301日志介绍数据仓库结构介绍数据应用目录日志介绍（产品）日志介绍（日志明细）日志模块名称说明收集方式频率ns_qianqian_ttmsg_udw老千千静听广告+启动用户下载（转储）天ns_qianqian_ttpack_udw千千静听捆绑和渠道信息下载（转储）天music_hao123_nginxmusichao123浏览日志下载（转储）小时Music_log_nginxmusic媒体站浏览日志下载（转储）小时play_log_nginx音乐盒浏览日志下载（转储）小时fm_lighttpd电台浏览日志bigpipe5分钟yinyueyun_nginx音乐云浏览日志下载（转储）小时music_yyr_lighttpd_access_udw1音乐人浏览日志下载（转储）小时music_yyr_wwwdata_y_alys音乐人后端用户行为日志下载（转储）小时music_ui_log百度音乐网站后端用户行为日志

vip订单等数据下载（转储）小时ting_wwwmu_ui_log各个产品用户中心日志下载（转储）小时ting_wwwmu_alys_logvip兑换、厂商付费数据

目前没有入udw，日志内容暂时放到了“ting_wwwmu_ui_log”中下载（转储）小时tinglog_feedbackopenapi日志bigpipe5分钟nsclick个产品前端行为日志bigpipe5分钟music_api_nginx_logapi日志下载（转储）小时music_piao_ui_log票务后端日志下载（转储）天music_piao_lighttpd_access票务浏览日志下载（转储）小时ns_qianqian_ttmsg同ns_qianqian_ttmsg_udw内容，只是该日志在ston集群上，后续可替代ns_qianqian_ttmsg_udw下载（转储）天ns_qianqian_ttpack同ns_qianqian_ttpack_udw内容，只是该日志在ston集群上，后续可替代ns_qianqian_ttmsg_udw下载（转储）天music_yyr_lighttpd_access同music_yyr_lighttpd_access_udw1内容，只是该日志在ston集群上，后续可替代ns_qianqian_ttmsg_udw下载（转储）小时ting_nonlogin_ui_log登陆用户行为(目前仅用到播放）

另起日志原因：后端会加过滤策略，即一个人播放n（不同用户不同值）首之后，就不再记录了。

但在前端还会照常发日志下载（转储）小时ting_login_ui_log非登录播放(目前仅用到播放）

另起日志原因上ting_nonlogin_ui_log下载（转储）小时musicpay_lighttpd单点售卖，目前用来计算pv/uv下载（转储）小时日志介绍（日志采集流程）ns_qianqian_ttpack

（演示）数据仓库结构介绍（基础简介1）数据仓库(DataWarehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合用于支持管理决策。面向主题：按照一定的主题域进行组织。主题是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关。分析对象行为用户流量…集成：数据仓库的数据有来自于分散的操作型数据，将所需数据从原来的数据中抽取出预处理抽取筛选清理同名异义、异名同意一致统一的视图数据仓库结构介绍（基础简介2）稳定性：数据仓库主要是为决策分析提供数据，是不更新或者少更新的。√查询分析X更新删除时变性：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时到目前的各个阶段的信息

不断捕捉主题变化的数据，形成新的快照数据仓库结构介绍数据仓库——基础层基础信息解析日志规范数据整合打通日志规范化管理（统一入口、元数据管理）入库数据建模、规范化、格式化获取更多的信息与公司其他产品线数据打通更多基础信息的解析（地域、浏览器等等）抽取筛选清理同名异义、异名同意一致统一的、汇总的主题视图数据仓库——中间层数据仓库——报表层数据应用数据仓库系统报表线上/分析/挖掘CrmMelodyoem线上榜单Rd拉取分析数据分析挖掘动动脑子！这些问题是怎么回事？如何解决？1大报表报警了！！！发现