其他数据统计

数据统计Q4季度总结杰娇2014011613-Q4工作总结14-Q1工作计划问题13-Q4工作总结(大纲）数据质量中心团队建设数据仓库常规需求常规需求——概览Native-app

Web-app媒体站音乐盒音乐人音乐云千千静听百度音乐pc版Vip付费票务……10+602143常规需求——详细及趋势

常规需求——产品线分布常规需求——Log资源清理音乐26.04NS其他产品线Month：7音乐27.55NS其他产品线Month：10音乐18.07NS其他产品线Month：11音乐13.85NS其他产品线Month：121Log平台向新平台迁移2Log平台下线维护3Log平台强制下线Q3数据仓库——变化量变质变百度音乐用户行为数据仓库数据仓库——关键词数据仓库专业效率技术准确百度音乐用户行为数据仓库架构数据仓库——主要工作总结资源优化数据覆盖度基础/主题结构及效率优化Event大表上线、音乐人、音乐云、vip等后端日志入库完成，同时为这些产品的迁移奠定了基础建立监控值班机制（11月）对于音乐核心报表，建立了监控值班机制，以保障第一时间处理到问题整体结构上的优化（时间待定）对目前数据仓库中间/报表层数据粒度以及任务结构进行优化，是的存储及计算效率更高启动线上数据迁移（榜单、音乐人、melody、曲库）等迁移，榜单、音乐人、曲库已完成产品线RD提供数据推送服务、UDF\UDAF等逐渐丰富细化音乐数据级别，分为核心和非核心数据（10月）将核心数据任务单独拆分出来执行，以保证核心任务不收其他任务影响规范优化建立了数据仓库开发规范，并形成规范文档执行资源管理对kpi、核心任务进行了深入的优化，时间提前了3-4小时biglog独立队列申请到biglog独立队列，目前kpi、核心任务已迁移并运行稳定及时资源管理结合数据质量中心、crm对数据仓库进行资源使用上的管理数据仓库——资源评估效果数据质量中心业务技术数据质量中心在元数据基础上对整个数据体系进行数据处理、流向等的分析，使得每个点都能清晰的观察到上下游血脉和依赖关系在元数据及数据指标规范化、定义丰富精准化的基础上，建立主题数据体系树，从而提供数据自主检索（选购）等服务。在元数据及数据业务模型化的基础上，对业务进行归类建模，使得用户通过傻瓜型的操作能够获取所需，而不完全依赖例行作业。数据质量中心数据工厂数据超市血统分析以元数据管理为基础元数据

管理元数据管理——日志管理模块12月初元数据管理——数据仓库管理12月中-1月将原本地word文档维护的日志格式结构化，更好的达到维护及时和信息共享的目的。为后续“基础日志自动扫描”、“血统分析”、“数据超市”的实现奠定了基础。使得非数据统计同学也能够方便的、实时的了解到各个产品线基础日志规范的全面信息。将日志规范制定的过程系统化自动化，例如通过系统维护自动邮件通知等，降低了人工同时要发送邮件和维护word文档的成本。数据质量中心——图示数据质量中心——规范建立代码规范项目开发规范随着数据质量中心工作的不断深入，逐步形成了可执行和可落实的代码规范由于经验不足，项目过程暴露了很多问题，经过总结和讨论形成了规范团队建设清晰的团队目标、统一规则每周同步重要事情以及团队重要方向和变化等。建立维护工作规则以及奖惩机制成员结构重组根据团队工作的变化，重组成员，达到效率最大化。backup系统的学习提升安排系统的hive等技术培训周例会进行codereview抽查，共同发现问题，提出解决方案导师指导团队精神规范执行、成员的成长、及时发问题、及时沟通、鼓励等等，需要改进和提高计划数据仓库曲库迁移Toaddacommenthere123质量中心元数据管理——数据仓库管理常规需求统计需求、日志格式规范数据仓库Melody迁移、启动event大表切换、启动普通任务向高优队列迁移质量中心元数据管理——crm元数据管理常规需求统计需求、日志格式规范数据仓库Melody迁移、event大表切换普通任务向高优队列迁移质量中心日志扫描子系统常规需求统计需求、日志格式规范2014年：数据仓库架构优化数据源切换数据主题等覆盖度数据质量中心元数据管理日志扫描血统分析数据工厂数据超市常规需求重要项目支持需求、日志格式规范团队建设技术能力业务能力独立承担解决问题能力问题分析团队业务、技术能力业务/技术积累不够，不能独立处理问题人员更替频繁，无法沉淀流程机制随着业务不断向数据仓库迁移，部分流程和机制需要不断的尝试和调整工程能力随着数据质量中