实体零售项目解决方案说明书

实体零售项目解决方案说明书XX科技股份有限公司编制

目录TOC\o"1-2"\h\u一、项目存在问题及需解决问题 31. 存在问题 32. 需解决问题 4二、解决方案 51. 解决方案总体架构 52. 核心技术 6三、开发范围 91.数据生产 92.数据采集/消费 93.数据分析 104.数据展示 10

项目存在问题及需解决问题存在问题被动运营，消费行为认知能力不足。传统商场运营重视商家管理、货品管理、业态组合、降价促销作为吸引消费者的“四大法宝”。曾经，被行业奉为经典的“沃尔玛一啤酒尿布”及“永旺一预报式产品组合”，其利用消费者在场内的短时数据表现来调整经营策略的案例，如今已不能完全奏效。因为不能锁定用户，商场不能建立起完整的消费行为认知，无法串联顾客的商场数据，也就不能有效识别每天上万的客流中谁来了、谁走了，最终无法运行适合自身消费者的经营策略。数据不对称，营销缺乏数据支撑。商场消费早已从卖方市场转人买方市场，然而国内大多数商业综合体的运营还是依赖于单一的购买渠道、单向的促销活动、传统的运营经验。在大数据分析领域的薄弱，导致营销活动无总结、信息数据不对称，商场的营销成本不断上涨，“亏本赚吆喝”的失败营销经常上演。各自为王，多套系统割裂运行。商场与商家的运营各自为王，各自独立的会员系统、纷杂的会员卡、停车系统与会员消费的割裂导致商家乃至商场对消费者的了解是局部认知，并没有形成全面而有效的了解。应用起步，大数据运营前路漫漫。大数据在10年前初露锋芒，今天已上升到战略高度，它以一场火爆的方式颠覆了传统数据的观念和范式，并在商业综合体的运营管理中爆发出洪荒之力。然而，各商场和各品牌商家总是不得要领，应用较为分散、数据壁垒多且缺乏有效整合。随着万达广场、五洲国际集团、步步高商业集团等线下实体，纷纷开启“互联网+”式的特色商圈模式，如何利用大数据进行精准营销，成为实体商场突围、带来消费经济增长的下一站。有关“大数据”有这样一一个故事:在美国，有一位父亲怒气冲冲地跑到沃尔玛卖场，质问为何将带有婴儿用品优惠券的广告邮件，寄送给他正在念高中的女儿?然而后来证实，他的女儿果真怀孕了。这名女孩搜寻商品的关键词，以及在社交网站所显露的行为轨迹，使沃尔玛捕捉到了她怀孕的信息。在大数据时代，商家可以比父亲更了解自己的女儿，商业综合体将会比顾客更了解自已的购物行为。作为国内商业综合体大数据解决方案服务商，智慧图在过去的一年当中帮助线下实体商业完成了1.8万次场景营销活动、录入了6亿张营销卡券，实现了1000万张电子券分发，有效规避了传统商业综合体在运营中出现的“商场消费者失焦、营销活动效果有限等问题”，帮助西单大悦城等300多家大型商场实现了定制化运营管理，是商场革命进化的原动力。需解决问题互联网时代，一切皆数据!我们每个人的一切行为和事件，都以数据的形式被记录、存储和处理。这个由数据构成的世界，每个人都是行走的数据生成器。目前，“大数据+商业综合体”虽处于初级阶段，但已经开始发挥化学反应。基于消费者对商场运营的重要作用，“互联网+时代”的商场应充分利用大数据的采集、分析，来全面了解用户并进行精准营销。智慧图通过大数据分析技术将原始用户数据转化为价值数据，为商场运营、营销活动等提供数据支持，真正打通线上和线下，串联商场内外，以更精准的数据服务为消费者提供定制服务。如果说商业综合体是一棵树，那么智慧图就是有力的根茎，通过室内定位技术，在商场收集用户信息。大数据解析将商场用户变成数据点和商品，精准掌握消费者商场活动与购物习惯，并进行个性化推销，从而建立起一个良性的商业综合体生态圈。解决方案解决方案总体架构HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。系统采用面向对象的软件设计方法，把整个系统看作是多个离散对象的组合。系统设计时，首先把业务流程分解成功能模块及其业务实体对象，然后根据业务流程分析对于这些业务实体对象的操作方法，形成业务处理对象，最后把各个功能模块关联起来，形成系统。软件设计是一个将需求转变为软件的过程，系统通过逐步求精使得设计陈述逐渐接近于源代码。系统程序采用MVC的设计思想，将展现逻辑、控制逻辑、业务处理逻辑分离。系统采用参数化的设计思想，定义和管理系统的实体及配置，调整实体以适应外部变化。系统采用J2EE技术保证程序逻辑实现的平台无关性，并便于安装部署。系统采用AJAX技术，提高客户操作的交互性，保证实际使用的易用性。系统采用echarts可视化框架实现数据展示。核心技术（1）HadoopHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。（2）SpringMVCSpringMVC：属于SpringFrameWork的后续产品，已经融合在SpringWebFlow里面。Spring框架提供了构建Web应用程序的全功能MVC模块。（3）MyBatisMYBatis：是支持普通SQL查询，存储过程和高级映射的优秀持久层框架。MyBatis消除了几乎所有的JDBC代码和参数的手工设置以及结果集的检索。MyBatis使用简单的XML或注解用于配置和原始映射，将接口和Java的POJOs（PlainOldJavaObjects，普通的Java对象）映射成数据库中的记录。（4）EchartsECharts是一款基于Javascript的数据可视化图表库，提供直观，生动，可交互，可个性化定制的数据可视化图表。（5）MySQLMySQL是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件之一。MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。（6）HiveHive是基于Hadoop构建的一套数据仓库分析系统，它提供了丰富的SQL查询方式来分析存储在Hadoop分布式文件系统中的数据：可以将结构化的数据文件映射为一张数据库表，并提供完整的SQL查询功能；可以将SQL语句转换为MapReduce任务运行，通过自己的SQL查询分析需要的内容，这套SQL简称HiveSQL，使不熟悉mapreduce的用户可以很方便地利用SQL语言查询、汇总和分析数据。而mapreduce开发人员可以把自己写的mapper和reducer作为插件来支持hive做更复杂的数据分析。它与关系型数据库的SQL略有不同，但支持了绝大多数的语句如DDL、DML以及常见的聚合函数、连接查询、条件查询。它还提供了一系列的：具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF（User-DefinedFunction）、UDAF(User-DefnesAggregateFunction)和UDTF（User-DefinedTable-GeneratingFunction），也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。（7）HBASEHBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群。（8）ZookeeperZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。（9）FlumeFlume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。开发范围数据生产对于该模块的业务，即数据生产过程，一般并不会让你来进行操作，数据生产是一套完整且严密的体系，这样可以保证数据的安全性。但是如果涉及到项目的一体化方案的设计（数据的产生、存储、分析、展示），则必须清楚每一个环节是如何处理的，包括其中每个环境可能隐藏的问题；数据结构，数据内容可能出现的问题。数据采集/消费数据采集模块（消费），在企业中你要清楚流式数据采集框架flume和kafka的定位是什么。我们在此需要将实时数据通过flume采集到kafka然后供给给hbase消费。flume：cloudera公司研发适合下游数据消费者不多的情况；适合数据安全性要求不高的操作；适合与Hadoop生态圈对接的操作。kafka：linkedin公司研发适合数据下游消费众多的情况；适合数据安全性要求较高的操作（支持replication）；因此我们常用的一种模型是：线上数据-->flume-->kafka-->flume(根据情景增删该流程)--