在线商城精细化业务运营-项目方案建议书

1、在线商城精细化业务运营项目方案建议书摘要针对此次项目的理解和解决方案针对本项目具体实施方案和计划北京容平蕴诚信息技术有限公司介绍解决方案实施计划公司介绍冲突背景问题乱象规划路线图 应用分散管理 没有凝聚成合力 既能解决现有乱象 又能助力业务增值 3年规划 为在线商城创造更大价值背景简述节奏快！变化快！高铁时代道术器商业模式大数据战略流程再造产品创新服务创新ETL工具数据仓库BI平台变革 vs 创新容平大数据解决方案应用层大数据采集业务数据汇集系统用户行为数据采集系统互联网公开数据抓取系统大数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统大数据标准化用户多重ID归一化系统商品归

2、一化系统大数据结构化用户标签管理系统业务数据大表管理层技术层可视化数据操作平台容平大数据操作系统（RPOS）数据全生命周期管理业务流程全生命周期管理业务价值挖掘建模数据访问资源管控（YARN/MESOS）分布式存储（磁盘及内存）数据获取安全( 认证 权限 ACL )监控 配置及报警安装及云服务QlikView BI舆情分析个性化推荐互联网营销业务数据大表化CBSRRS天猫NTalkLES数据抽取、加载、转换和刷新数据仓库个性推荐数据可视化智能供应链营销管理会员管理数据集市方案特色可靠性和容错机制模块化，松耦合Hadoop架构顶级商业智能产品搜索 引擎展示 广告社交 媒体品牌 官网电子 商务品牌

3、 调研视频 广告大数据管理平台广告曝光数据网站数据调研数据电商数据社会化数据物流数据门店数据渠道数据广告点击数据数据采集SqoopKettleFlumeRealtimeMemorySSDExt4SATA DiskOnlineOnlineExt4SSDOnline/ OfflineHDFSSATA DiskOfflineMongoDBHBaseHDFSMySQL/InfobrightRedisExt4SATA DiskRabbitMQ数据存储InforBright Enterprise EditionMySQL列数据库支持DML和DDL命令支持MPP技术和集群查询性能提高50-500%2TB/h

4、加载速度最大50:1数据压缩Hadoop连接器分析数据库容平大数据解决方案应用层大数据采集业务数据汇集系统用户行为数据采集系统互联网公开数据抓取系统大数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统大数据标准化用户多重ID归一化系统商品归一化系统大数据结构化用户标签管理系统业务数据大表管理层技术层可视化数据操作平台容平大数据操作系统（RPOS）数据全生命周期管理业务流程全生命周期管理业务价值挖掘建模数据访问资源管控（YARN/MESOS）分布式存储（磁盘及内存）数据获取安全( 认证 权限 ACL )监控 配置及报警安装及云服务QlikView BI舆情分析个性化推荐互联网营销

5、业务数据大表化数据管控是为解决企业所面临的数据标准问题、数据质量问题、元数据管理问题。数据管控目标数据标准规范落地推动数据标准在全企业的执行落地，规范化管理构成数据平台的业务和技术基础设施，包括数据管控制度与流程规范文档、信息项定义等。数据质量问题定位分析全方位管理数据平台的数据质量，提升数据可访问性、可用性、正确性、一致性等，实现可定义的数据质量检核和维度分析，以及问题跟踪。数据关系脉络化提升统一有序的业务系统和MIS系统的管理数据能力，实现对数据间流转、依赖关系的影响和血缘分析，增加有效工作时间用于分析数据，减少用于在复杂企业数据环境中搜索数据的时间数据管控实施步骤管理办法和流程数据标准管

6、理前期成果借鉴业务访谈系统调研结合最佳实践分析、诊断1.现状分析确定映射的系统范围制定源系统与标准的映射规则根据数据验证映射规则形成标准化定义初稿并讲解对定义初稿征求意见和讨论根据意见反馈和讨论结果和修正并形成数据标准提出标准在未来各影响面执行的遵循原则就标准与现状的实际差异给出具体的执行建议2.标准定义3.标准映射4.执行建议数据质量管理体系二次开发权限集成数据访问应用接口存储规则库检核结果库知识库数据质量分析问题处理率数据质量报告系统管理权限管理系统参数系统日志密码维护系统配置系统管理单指标趋势分析功能唯一性检核代码检核非空检核业务指标检核检核指标管理检核问题管理手工问题管理问题通知问题管

7、理值域检核指标自动调度指标手工调度检核调度执行检核执行数据质量问题定位单表数据分析运行状态库容平大数据解决方案应用层大数据采集业务数据汇集系统用户行为数据采集系统互联网公开数据抓取系统大数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统大数据标准化用户多重ID归一化系统商品归一化系统大数据结构化用户标签管理系统业务数据大表管理层技术层可视化数据操作平台容平大数据操作系统（RPOS）数据全生命周期管理业务流程全生命周期管理业务价值挖掘建模数据访问资源管控（YARN/MESOS）分布式存储（磁盘及内存）数据获取安全( 认证 权限 ACL )监控 配置及报警安装及云服务QlikVie

8、w BI舆情分析个性化推荐互联网营销业务数据大表化CBSRRS天猫NTalkLES数据抽取、加载、转换和刷新数据仓库个性推荐数据可视化智能供应链营销管理会员管理数据集市数据展现方案传统BIQlikView每次读取有限而局部的数据强制性的自上而下的线性钻取路径需要大量IT人员帮忙进行修改假设性的和即时性的分析受限自由 地在一个动态化的、互动式的界面上，从任何角度开始探索性地分析数据随时回答即时碰到的任何有关业务的问题很容易看出数据之间的关联性和非关联性QlikviewBI技术创新独一无二的QlikView 专利 数据关联 技术 QlikView在内存中采用了阵列集合，每个字段里剔除重复值，记录之

9、间用指针去寻址。这样使得数据能够在内存中被压缩，平均压缩比为5:110：1。同时将ETL速度又提高了几十倍。经过优化后，每分钟可以加载几百万行数据。其次，因为省去了创建Cube阶段，大幅减少了BI系统的准备时间，也就是说ETL后，可以直接供最终用户进行分析访问。再次分析执行效率大幅提高，10亿条记录的Dashboard可在几秒钟反馈计算结果。内存BI技术传统BIQlikView分析设计参数调整移动BI技术实时交互销售数据可视化订单预测可视化实时销售仪表板产品数据可视化客户关系可视化市场数据可视化真正面向业务全球用户的首选Gartner 2015有三大类成本对库存决策起到决定性的重要作用，即采购

10、成本、库存持有成本和缺货成本。这些成本之间互相冲突或存在悖反关系。要确定订购量补足某种产品的库存，就需要对其相关成本进行权衡。总成本库存成本缺货成本订单数量智慧供应链品种项数占总项数的比例类 别物品耗用金额占总耗用金额的百分比10%20%70%B70%20%10% A C订单品类细分长期趋势插值曲线平滑季节变动拟合正态分布周期变动Kalman滤波时间维度分析周期预测预测检验误差校正二次分析周期性变动容平大数据解决方案应用层大数据采集业务数据汇集系统用户行为数据采集系统互联网公开数据抓取系统大数据清洗业务数据清洗系统用户行为数据清洗系统互联网公开数据清洗系统大数据标准化用户多重ID归一化系统商品

11、归一化系统大数据结构化用户标签管理系统业务数据大表管理层技术层可视化数据操作平台容平大数据操作系统（RPOS）数据全生命周期管理业务流程全生命周期管理业务价值挖掘建模数据访问资源管控（YARN/MESOS）分布式存储（磁盘及内存）数据获取安全( 认证 权限 ACL )监控 配置及报警安装及云服务QlikView BI舆情分析个性化推荐互联网营销业务数据大表化每天新增 TB 级数据 每天对千亿条记录进行几百种维度的计算输入拆分任务调度输出合并PigPig算法1Pig算法NHadoopMapReduceStormMySQLCascading内部算法1内部算法N计算模型Streaming非固定算法1

12、非固定算法NRabbitMQRedisFieServerHBaseClient大数据离线分析（规划）Mysql MongoDB HBaseBuzz ResourceOthers Product Core ModuleSocial CRMData CenterAnalytics ReportClick DataTrack SystemProjectKey PartnersSite SystemAlgorithm ServiceOnline Learning Service分词情感分析标签分类NLP LabNLP ServiceData Collection ServiceSocial Platf

13、orm API ServiceBuzz Article Crawler ServiceSocialAPIAPIRawDataProcess edDataTrackAPI大数据在线分析（规划）支持向量机（SVM）判断用户男女性别判断用户年龄分段判断品牌投放是否 安全？判断页面内容的主 题分类判断用户分享内容 的兴趣特征判断用户评论的感 情倾向 根据已有人群查找 类似的潜在人群受 众 根据人群历史数据 特征推断人群的学历及收入等属性 依据广告历史数据 预测新广告投放的 CTR 根据历史数据评估 广告的综合投放效果预测用户在特定时 期的兴趣强度预测用户在特定时 期的购买意愿强度自然语言处理聚类分析回

14、归分析时间序列分析大数据分析算法营销管理运营仪表板（实时）营销管理销售数据分析（KPI）营销管理客户流失分析（预警）营销管理线上活跃度分析营销管理线下推广分析营销管理线下客流分析会员机制仪表板会员机制属性分析会员机制目标用户群会员机制评价分析个性化推荐相似性分析解决方案实施计划公司介绍高端的专家团队专业的工具平台科学的实施过程全面的能力构成持续优化确定商业目标准备数据建立模型评估模型应用部署数据项目实施方法论项目计划阶段内容七月八月九月十月双十一项目启动项目启动会工作说明书开发计划系统部署资源需求系统部署系统开发数据抽取数据清洗数据集市数据可视化业务功能开发系统测试功能测试稳定性测试可用性测试安全性测试技术培训第一轮，实战基础培训第二轮，实战要点培训实战支持双十一现场支持扩展开发O2O数据分析项目管理是PDCA循