小源数据平台规划课件

小源大数据组数据部第1页目录一、现状分析1.1业务现状1.2数据现状1.3支撑现状二、数据中心的设计与规划三、数据中心实施计划第2页业务现状企业信息化多趣短信JIRA情景弹窗丰富气泡智能卡夹Wiki&jira户部管理系统短信公众号管理脚本管理销售平台短信公众号菜单第3页数据用户部门总经办商务销售组市场品牌组合作组运营脚本组资料组营收组产品产品第4页数据现状数据总量30TB+日增量超过300GB+30亿行入库OSS时效：2小时格式化分拆数据7小时数据第5页现数据平台技术架构hbaseOSS存储层计算层SparkstreammingRDSmysqlspark-SQL应用层自研报表系统j2ee+extHadoophdfs接口小时log文件RDDphoenix第6页面临的问题数据量大（30亿行）数据访问难度大数据结构复杂第7页目录一、现状分析二、数据中心的设计实施2.1方法论2.2数据中心的逻辑架构2.3数据流程2.4数据逻辑分层2.5模型规划2.6管理运维体系三、数据平台实施计划第8页数据平台实施方法论前期准备业务调研信息探索逻辑模型设计总体方案项目计划系统体系架构设计数据库与模型设计接口与ETL设计应用于界面设计数据管控设计系统开发与单元测试上线部署用户培训试运行分析规划设计实施上线部署运行维护ETL过程数据管理分析处理运行监控仓库管理应用切换持续改进提升价值第9页阿里云系架构逻辑Hadoop集群

总共300台数据获取数据平台应用层数据源RDSOSSascii文件点击流INFO

DataHubFluentd插件(实时流)ODS(原始数据)DM（集市主题）统一门户DW(清洗转换)开发套件（DataIDE）统一接口元数据管理数据质量管理数据安全管理用户BI报表机器学习OLAPADSDataV采云间后端ODPS第10页实时日志文件/http请求ODPS客户端实时数据ECSSLBOSS离线数据SLBECS采云间数据收集数据存储数据处理运营平台数据报表OLAP引擎标签库指标管理非本期实现采云间ODPS插件数据流程11数据逻辑分层2.DW层3.DM层1.ODS层来自各个业务子系统源数据ETL数据仓库数据集市应用层4.ST层概要数据5.DIM层维表第12页模型规划-业务概念企业号码情景服务消费/访问渠道用户选择产生导向参与产生使用使用第13页企业dwdm企业号统计ods与接口源系统结构数据信息一致收入成本户部信息企业菜单模型规划服务用户营收分利流量分利用户识别用户终端企业号识别归属地查询渠道情景配置情景识别车次查询H5埋点菜单展示点击统计菜单更新统计用户标签用户周、月累计去重汇总情景更新客户端行为埋点Sdk统计用户服务使用第14页指标体系第15页数据处理-一般数据拆分接口采用高扩展的JSON格式入ODPS，使用json函数分拆后丢弃json数据普通数据映射为二维表入ODPS16数据可视化-数加BI报表数据源+绑定控件的报表设计模式17数据可视化-数据分析基础数据构建完善后，Enable人人皆分析师18数据处理-复杂数据处理自定义函数：https:///document_detail/odps/SQL/udf/java_udf.htmlMapreduce：https:///document_detail/odps/MapReduce/summary/mr.html?spm=5176.docodps/MapReduce/function/cmd.6.164.nW9LIc招拆招UDF自定义函数MapReduceJavaSdk/python19数加管理运维体系任务概述任务监控数据流程任务运维第20页一阶段数据接口类别路径数据说明优先级pretty-logservice/YYYYMMDD/QueryLocationRequest/归属地查询中pretty-logservice/YYYYMMDD/QueryPubInfoRequest/企业号资料获取接口高pretty-logservice/YYYYMMDD/QuerySceneRuleRequest/情景规则低pretty-logservice/YYYYMMDD/QueryToken/Token查询低pretty-logservice/YYYYMMDD/UpdatePublicInfoRequest公众号请求高pretty-logservice/YYYYMMDD/UpdateRecognitionJarRequest/更新识别jar请求低pretty-logservice/YYYYMMDD/checkResourseRequest/resourse请求低pretty-logservice/YYYYMMDD/queryIccidInfoRequest//查询ICCID请求低pretty-loguserinfo/YYYYMMDD/用户信息中pretty-logiccidInfoLog/iccidnew新增iccid高pretty-logiccidInfoLog/iccidupdate/更新iccid高户部资料企业号码，企业信息(脱敏抽取)高第21页关键名词解释摘要+下游厂商：(另外名称渠道)魅族，联想，TOS，一加等+上游企业：对应短信的主体中国银行，支付宝+短信情景：对应某条短信的内容进行解析，预定的规则则匹配对应的功能或者服务+户部：如户部中有中国移动、广东移动等，情景ID后3位的只有中国移动+服务：某个情景对应的服务内容(充值、购买等)

：当前服务类型有“01发短信、02打电话、03打开网址、04打开地图、05充值、06还款、07其它服务类型、08复制验证码、09打开应用、10日程提醒、11水电煤、12流量订购、13物流查询、14航班查询、15分期付款、16列车时刻、17附近网点、18生活服务+ICCID：ICCID：Integratecircuitcardidentity集成电路卡识别码（固化在SIM卡中）

ICCID为IC卡的唯一识别号码，共有20位数字组成，分别介绍如下：前六位运营商代码：中国移动的为：898600；898602，中国联通的为：898601、898606、898609，中国电信898603+IMEI:InternationalMobileEquipmentIdentity，移动设备国际识别码是手机的唯一识别号码第22页目录一、现状分析二、数据中心的设计实施三、数据中心实施计划第23页2016年4月2016年5月2016年6月2016年7月2016年8月源系统调研Ods入库DW设计&ETL开发DM层模型设计DM层ETL设计开发应用开发……根据模型调整，驱动ETL开发工作处理后的