大数据系列产品解决方案

产品一、全网数据采集产品二、客户统一视图产品三、客户360度全景画像产品四、推荐引擎产品五、可视化分析与APP

“水晶球”获客挖潜客全网精准营销神器系统产品第一页，共117页。全网触点潜在客户和会员客户价值转化潜在客户购买客户高价值客户原CRM售后销售核心业务系统数据企业网站电商APP自媒体第三方社会网站电商APP社会化人口产品行为数据其他渠道关注接触过产品门店客服活动互动提高客户再销售转化率提高高价值客户购买金额实时推荐营销活动营销促销营销广告其他服务会员关怀客户分析产品分析订单分析行为分析提高复购和转销售社会化全网触点客户库把潜在客户转化为购买客户把触点客户转化为潜在客户第二页，共117页。系统产品功能模块第二大模块数据抽取聚合清洗整合建模第三大模块用户主数据画像第四大模块数据服务电商WEBAPP接触数据第三方电商WEBAPP、电信数据门店客服互动数据业务系统数据APP营销宝会员关怀标签查询营销活动线上线下精准推荐聚合全网用户接触数据清洗整合形成唯一标示提供给其他系统和部门调用对每一标签用户画像分类群组并挖掘发现其数据价值不同场景为客户提高服务提高购买转化率提高接触客户转化率标签标示画像服务360°全景画像9个属性180个维度6300个触点分类分群分组9个门类27个群1800个组

数据价值挖掘解析第一大模块全网数据采集第三页，共117页。

行为数据驱动的个性化推荐服务基于客群的推荐客户画像（客群）客户标签产品（订单、行为）标签历史购买推荐当某人发生行为时在线实时评分匹配产品（订单、行为）画像客户身份属性数据交易售后业务系统全网接触行为数据产品特征属性数据交易数据被行为数据基于产品群的推荐群广告推荐购买到期推荐相关搭配推荐客群相关推荐客户行为推荐客户属性推荐产品交易推荐产品特征推荐产品优惠推荐产品相关推荐产品搭配推荐客群相关推荐产品群相关推荐数据源画像第四页，共117页。WEB、APP、电商、门店秒级实时推荐精准营销任何行为发生时RDBMSEDWwrite&readfine-grainDataOff-lineNear-line(reads)RDBMSDataMart/ModelRealTimeProcessGross-grainData社交媒体WEB数据移动位置APP数据视频机具数据客户CRM身份数据历史交易数据账单明细订单数据NOSQLKafkaOLTP在线评分模型Zementis实时预测模型PMML数据集市DataMart挖掘模型MiningModel行为模式模型最佳产品模型营销指标模型秒级实时个性化推送交互执行实时分析评分规则预测模型历史数据挖掘分析探索分析知识库Batchprocess匹配身份+行为+产品第五页，共117页。

全网触点客户和全渠道营销CRM订单已有客户门店咨询客户参加活动客户ADSL点击客户区域人口基础客户其他渠道来源客户网站APP注册客户网站APP点击客户软文评价微博客户自有电商网站APP注册客户网站APP点击客户软文评价客户第三方电商自己网站推荐D包包和D鞋自己APP微信推荐D包包和D鞋第三方网站推荐D包包和D鞋第三方APP推荐D包包和D鞋门店活动渠道推荐D包包和D鞋线上线下关联推荐D包包和D鞋直销员电话推荐D包包和D鞋D品牌37码红色中跟旅游鞋D品牌红色中号带拉链包包在线匹配兴趣偏好女性25岁每月8000元工资喜欢红色活泼开朗买A品牌鞋包包一年购买时机前周2次到专卖店咨询D鞋包上周3次在麦包包网站注册点击D包在APP关注评价过D服装姓名年龄性别手机家庭人口小区等级同学同事朋友收入历史购买产品注册询价放购物篮历史购买订单评论搜索点击跳转停留上那些网站关注点击商品上网习惯购买时机购买渠道咨询问题关注要点客户兴趣习惯偏好客户唯一编码统一视图全渠道营销推荐引擎视图标签画像推全网触点数据第六页，共117页。产品一、全网数据采集业务数据企业行业产品数据自有电商数据自有APP数据第三方电商APP数据互动数据门店数据第七页，共117页。

采集全网触点数据聚合2011年购买一台A空调留下姓名手机2013年淘宝买了一台吹风机留下地址2012年维修留下了地址电话邮箱2013年８月进入到集团官网注册留下手机邮箱2014年进入到某集团APP留下点击产品行为数据2014年9月在京东把某产品放入购物篮没有付款2015年6月在国美网站点评过某品牌冰箱范冰冰接触过某集团全网轨迹产品推荐导购需求预测全套产品组合最豪气的电冰箱世界上最静音的空调豆浆机送给自己最好的生日礼物范冰冰在集团标签画像集团给范冰冰的关怀与推荐服务关怀空调冰箱吹风豆浆机优美生活组合数采宝营销宝画像宝营销活动空调冰箱吹风豆浆机优美生活组合把匿名用户转化为实名用户把实名用户转化成购买客户提高客户场景购买转化率挖掘忠诚潜在流失客户价值提高产品再销售转销售金额数聚宝第八页，共117页。核心业务系统2022/12/13第一类业务系统数据的抽取销售数据CRM数据产品数据SqoopODS@HIVE贴源层HQL/MR特征识别器精准特征识别(EMAIL..)模糊特征识别DW@HIVE模型层DM@HBASE客户身份集市层DM@HBASE客户行为集市层DM@HBASE产品集市层DM@HBASE其他集市层ML交易数据….数据清洗引擎排错去重合并数据属性不同，特征不同，清洗规则不同逐步建立地址基准库DM@HBASE地址标准库其他系统….第九页，共117页。

第二类：自动抽取WEB数据，建立产品库样本分析人为干预形成规则及代码配置好:交给机器就OK啦!机器学习自动编码类似传统ETL过程可视化社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取第十页，共117页。

企业产品和行业产品内容数据采集包含消费者和产品数据的来源种类数据种类采集方式自有网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取行业网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取友商网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取京东天猫等第三方网站网站页面商品名称、特征描述、价格促销方式、促销价格销售数量、评价自动抓取第十一页，共117页。数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）进入网站流量来源渠道转化率来访时段试用设备广告有效性访问量分析浏览网站浏览路径页面跳出率停留时间页面关联访问页面页面点击习惯页面停留时间页面收藏注册会员个人信息联系方式家庭地址会员转化率顾客留存率顾客忠诚度下单购物购物历程购买转化率最有价值渠道重复购买率关联销售促销效果评估

关闭网站访问深度访问时间潜在销售机会线上第三类自有电商WEB行为数据抓取自营电商平台第十二页，共117页。包含消费者和产品数据的来源种类数据种类采集方式自有电商网站自有门户网站自有APP自媒体微信公众号博客微博论坛网页显示数据商品名称、价格、营销方式、评价等直接抓取身份数据注册姓名、邮箱、电话、手机、账号IP、行为数据Cookie数据进入网站打开页面数据点击选择商品鼠标点击停留时间放入购物篮支付离开网页交易数据购买商品名称、数量、价格、交易时间自有电商、WEB数据采集第十三页，共117页。

自营电商WEB端数据采集整合消费者在自营电商平台浏览结构化的业务数据业务数据库数据处理消费者统一视图库非结构化的业务数据页面埋点程序日志服务器在线流式处理行为特性库分布式消息队列第十四页，共117页。第三类自有APP行为数据采集分析层APP请求

(action/request)APP上报(event)渠道(渠道API)服务器（运营日志）消息（Message）数据总线（DataBus）数据采集总线网站(Session)总线层业务系统（用户/消费）存储层分布式存储（HDFS）离线计算（Hadoop）（日常报表，规律趋势分析）即席查询（Mongodb）实时计算（Spark/MPP内存数据库）（用户、实时行为、访问量、及时广告）推荐引擎（广告精准营销）仓库层离线数据仓库实时数据仓库内存数据仓库应用层APP数据平台摇奖引擎广告系统同城会用户画像数据开放平台搜索引擎Redis采集层第十五页，共117页。

自营APP端数据采集整合消费者在自营电商平台视图结构化的业务数据业务数据库数据处理消费者统一视图库APP端操作行为数据处理服务器端行为特性库HTTP请求第十六页，共117页。数据采集：全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）进入网站流量来源渠道转化率来访时段试用设备广告有效性访问量分析浏览网站浏览路径页面跳出率停留时间页面关联访问页面页面点击习惯页面停留时间页面收藏注册会员个人信息联系方式家庭地址会员转化率顾客留存率顾客忠诚度下单购物购物历程购买转化率最有价值渠道重复购买率关联销售促销效果评估

关闭网站访问深度访问时间潜在销售机会线上第四类第三方电商WEB行为数据抓取自营电商平台第三方电商平台所产生的数据业务、行为数据第十七页，共117页。

第三方电商、WEB、APP、电信数据采集包含消费者和产品数据的来源种类数据种类采集方式第三方电商网站第三方门户网站APP广电机顶盒电信ADSL网页显示数据商品名称、价格、营销方式、评价等抓取取得身份数据注册姓名、邮箱、电话、手机、账号IP、１、直接购买结果数据２、购买过程数据３、合作埋点取得行为数据Cookie数据进入网站打开页面数据点击选择商品鼠标点击停留时间放入购物篮支付离开网页交易数据购买商品名称、数量、价格、交易时间第十八页，共117页。

协议在第三方电商机房远程埋点消费者在第三方电商平台所产生的点击、浏览等行为数据，由于第三方公司对数据的保护，现在无法单纯的从技术上实现，只能通过合作的方式，购买与集团消费者相关的行为信息第十九页，共117页。数据商数据预计可贡献指标合作方式/金额Takingdata数据堂九次方iclick访问记录，其他品牌竞品的销售统计行为数据用户兴趣，产品定价合作或购买集奥GEO部分区域上网，查询记录用户兴趣合作或购买淘宝商家数据魔方行业分析用户兴趣合作或购买京东数据罗盘流量分析，行业（商品，购买，买家，搜索热词）用户兴趣900/季度国家统计局房地产开发和销售情况月度/季度区域潜在购买指数爬取搜房网房屋价格区域购买指数爬取京东用户特征，支付方式用户评级，支付手段合作或购买支付宝用户特征，支付方式用户评级，支付手段合作或购买移动电信傲天上网行为数据行为数据合作或购买

协议购买第三方结果数据或过程数据第二十页，共117页。

第五类、400或客服互动、营销活动数据的采集包含消费者和产品数据的来源种类数据种类采集方式400客服中心CallCenter投诉语音通话数据登记记录访问询问记录语音通话文本文件ExcelWordPDF科大讯飞语意分析分词分析营销活动语音通话数据登记记录活动填表访问询问记录语音通话文本文件ExcelWordPDF门店互动交谈咨询语音通话数据登记记录访问询问记录语音通话文本文件ExcelWordPDF第二十一页，共117页。

第六类渠道门店推荐导购全渠道、立体式、全路径数据采集（线上&线下，站内&站外，PC&移动）线下各个业务系管理系统中所积累的结构化业务数据客户在门店、商场所产生的数据进入门店进店入口交通方式日期时间顾客活跃度逛来逛去逛店路线停留时间来店伙伴停留场所消费取向消费能力关联销售WiFi上网个人信息兴趣评估社交网络消费购物会员卡金额品类信用卡信息忠诚度顾客价值离开门店离店入口潜在销售机会线下说明：线下数据源包括业务系统的数据、基于室内定位采集到用户状态变化数据、基于人脸识别提供的相片数据第二十二页，共117页。

门店行为数据采集 RFID读写器路由RFID天线监控控制Ibeaconibeacon高清被动面部数据摇一摇手机数据客户位置数据WIFI:注册身份数据、手机、行为数据商品拿起放下次数数据高清监控器可选试点第二十三页，共117页。

门店数据采集方式线下瞳孔数据采集瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。。。视频位置数据采集位置关系：位置与商品关系、可能意向、移动轨迹。。。WIFI数据采集点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。。。Ibeacon摇一摇身份数据采集身份：姓名、手机、邮箱、其他、。。。Ibeacon位置数据采集位置：购买品牌型号、特征、数量、价格、层级、。。。面部数据采集面部识别：身份、来店周期、面部表情、面对商品情绪。。。DFID试用选择数据选择犹豫：拿起放下商品次数、试用操作、反复比较。。。第二十四页，共117页。

门店数据整合消费者在线下专属的各门店、商场专柜数据专属门店商场专柜消费者统一视图库行为特征库第二十五页，共117页。产品二客户统一视图数据抽取客户数据聚合清洗合并建模建统一唯一标识编码统一调用接口webservers第二十六页，共117页。

统一视图==客户数据聚合+清洗合并建模＋唯一标识+调用接口

一、抽取业务系统、电商、WEB、APP、门店等客户（产品、订单、行为）数据加载到Hadoop二、数据聚合：

1、跨系统打通各系统的数据，合并各系统的客户（产品、订单、行为）数据

2、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向

3、编制跨系统数据蓝图三、合并清洗建模：清洗合并规则建模、对每一个客户(产品、订单）形成唯一的一个识别编码

1、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。。。）

2、产品基本属性清洗合并建模（品名、指标、性能、功能、价格、评价。。。）

3、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。。。）

4、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。。。）

5、建唯一客户识别码和触点数据清单四、提供服务调用接口Webservers,提供客户识别编码和触点数据标签客户统一视图第二十七页，共117页。

会员系统数据Sqoop售后系统数据Kettle渠道系统数据财务CRM文字会话录音语音台聊天会话科大讯飞数据存储HDFS批处理MapReduceFlume其他核心业务系统数据Kafka电商WEBAPP电信行为数据门店行为数据进入网店页面注册登录点击选购搜索商品鼠标停留时间位置放入购物篮支付交易离开网店网页iBeacon定位摇一摇身份数据WIFI市内定位面部识别表情数据RFID商品移动识别数据POS等数据SparkStreaming

StormSparkMLlib其他核心业务系统数据API、ETL销售物流物料

数据抽取采集聚合Kafka系统结构化数据行为数据数据计算

Hive、HBase、Impala、SparkSQL第二十八页，共117页。核心业务系统2022/12/13业务系统数据的抽取销售数据CRM数据产品数据SqoopODS@HIVE贴源层HQL/MR特征识别器精准特征识别(EMAIL..)模糊特征识别DW@HIVE模型层DM@HBASE客户身份集市层DM@HBASE客户行为集市层DM@HBASE产品集市层DM@HBASE其他集市层ML交易数据….数据清洗引擎排错去重合并数据属性不同，特征不同，清洗规则不同逐步建立地址基准库DM@HBASE客户订单集市层其他系统….第二十九页，共117页。数据源统一数据采集平台KettleflumesocktFTP文件数据库流统一数据存储池支持包括文件、流以及DBMS各种类型数据源支持结构化和非结构化数据采集提供多种接口对接各种数据源打通所有系统、进行数据融合SqoopKafkaETL科大讯飞用户维度、产品维度、订单维度、行为维度第三十页，共117页。整合跨系统、建立数据蓝图DBFileWebService

Stream

DBAdaptorFile

AdaptorWebServiceAdaptorStreamAdaptorHadoopEngineImpala/SparkEngineSparkStreamingSparkStreamingETLMigrationEngineDBStoredProcedureDBSQLHadoopM/RScriptPhonixSQLSparkSQLSparkScalaScriptSparkMLlibSparkGrapicXSqoop实时流计算，库外计算批处理计算，库外计算批处理计算，库内计算库内or库外内存，在线分析快速检索离线分析SQLor类SQL数据访问数据库与Hadoop数据迁移传统数据库MPPRDBMSHBASEHDFS第三十一页，共117页。电商订单（天猫/京东…）1、姓名2、手机3、电话4、省市5、地址未获取信息1、下单时间2.支付方式微信未获取信息1。账号2、Q龄3、交易次数4、实名认证5、快捷绑定6.注册时间7、交易额8、活跃度9、会员信息10、权益信息11.浏览器信息12.IP地址支付宝未获取信息1、是否学生2、支付宝评价3、实名类型4、交易类型5、资产水平6、消费档次7、交易评分京东未获取信息1、身份证2、手机3、用户商龄4、累积消费金额5、购买力6、有房/车7、子女8、消费活跃9.价格敏感度购买安装售后系统1、姓名2、手机3、省市4、地址未获取信息客服系统1、姓名2、手机3、省市4、地址未获取信息客服体验智能家居1、..2、..3、..4、..5、..未获取信息1.xxxx内部数据外部数据标签人口属性产品特征订单特征行为特征门店1、姓名2、手机3、省市4、地址未获取信息1、支付方式网页访问数据未获取信息1、竞争对手产品2、价格3.浏览量4、评分5、购买量APP1、..2、..3、..4、..5、..未获取信息1.xxxx搜房网未获取信息1、楼盘2、价格体验环节：和数据厂商，合作或购买统计数据购买环节：引入合作商用户数据

合并客户触点数据第三十二页，共117页。2022/12/13数据清洗整合规则建模

应用系统

现状:数据分布各地信息分离、共享程度低消费者信息不统一无法实现一对一个性化精准营销

目标:高度共享的集中统一数据平台，统一消费者视图，实现精准营销、精准决策客户统一元数据产品集中统一平台数据共享统一消费者标识实现个性化精准营销会员身份信息库消费行为信息库

产品基本属性产品生命周期主题数据数据挖掘客户忠诚度客户消费能力客户消费习惯产品主动售后客户消费需求地域消费需求统一会员视图

客群粗粒度分析个性化精准营销和关怀个性化细粒度分析个性化精准营销和关怀第三十三页，共117页。2022/12/13Department34购买交易数据从渠道和零售系统采集用户的交易记录退换货数据从渠道系统采集退换货记录咨询投诉数据

投拆\客服\互动数据从呼叫中心采集投拆数据偶发出现行为数据从WEB\APP\电商＼门店数据客户统一视图CRM或合作购买数据从ＣＲＭ或第三方购买数据清洗规则手机号匹配姓名匹配地址匹配产品号匹配固话匹配邮箱匹配会员基本信息会员购买的产品会员存在的问题会员间的亲友关系会员的售后记录客户数据清洗＼形成统一标签提供其他系统调用第三十四页，共117页。基于各类业务系统数据分析平台数据流架构在线平台

读取型HBASE细粒度数据DataMart/ModelHADOOPODS层/HIVEDW层/HIVE清洗合并规则报表应用Pentaho数据服务HTML5JDBCWEB、手机Cassandra离线平台读写型粗粒度数据PhoenixHBASE

APIMongoDB

售后系统实时处理+规则引擎SparkStreaming

业务系统Kafka

OLTP….

偶发行为批处理Sqoop基于Hadoop的大数据仓库ETL服务器Kettle第三十五页，共117页。BIGDATAUNIONTel:400-00-31368Website:手机清洗逻辑手机正则((\b[0]\d{2,3})?[-－_/]*)?([1][34578]([0-9]{9}))去除非数字校验区号NY匹配字符长度>11且匹配手机号后一位非数字N格式正确格式错误原始字符长度=11NY第三十六页，共117页。手机清洗规则模型第三十七页，共117页。BIGDATAUNIONTel:400-00-31368Website:固话清洗逻辑固话正则((\b[0]\\d{2,3})?[-－_/]*)(\d{7,8})(([-－_、呼转])+\d{1,6})?去除非数字校验区号NY匹配字符长度>9且匹配固话号后一位非数字Y格式正确格式错误原始字符长度7,8位NY重复数字NN第三十八页，共117页。地址清洗方案根据数据特点，分为两类数据清洗方案：规则1.存在标准地区代码，可以到标准地区库标准地址规则2.不存在地区代码或者是脏地区代码，根据百度地图api接口标准地址ods@hive贴源层数据源用户基本信息表（ods.t_cs_customer）地区代码不为空地区代码为空地区标准库百度api接口递归找出标准地址返回标准地址DW@hive模型层第三十九页，共117页。地址唯一标示清洗

第四十页，共117页。ODS业务数据消费者主对象问题数据Left

Outer

Join消费者主对象(干净)规范性规则消费者主对象(编码)对应关系（得出关联客户）附属表插数应用数据模型（Hbase）增量数据清洗、加载（废弃）消费者主对象(唯一)数据合并第四十一页，共117页。ODS业务增量数据消费者主对象问题数据消费者主对象(干净)规范性规则对应关系（得出关联客户）附属表插数应用数据模型（Hbase）增量数据清洗、加载（保留）合并规则消费者唯一比较唯一性比对数据合并存在获取UID不存在消费者主对象(编码)合并不能合并第四十二页，共117页。多系统客户数据整合流程图业务系统数据(biz1)客户表(stage)1.stg_cust_biz1客户表(normal)2.normal_cust_biz电话,地址,….统一客户表(ods)4.ods_cust_incremental客户表(tmp)3.tmp_cust_biz统一客户表(ods)5.ods_cust_unique(唯一)WB.数据匹配NWC.数据合并(M/R)统一客户表(ods)5.ods_cust_unique(唯一)Y客户表-脏数据(ods)5.dirty_cust_incremental规则过滤新增客户业务系统数据(biz2)业务系统数据(bizx)和业务表关联WA.数据规范WA.数据规范客户表(stage)1.stg_cust_biz1客户表(stage)1.stg_cust_biz1第四十三页，共117页。整合规则实现顺序清洗后的用户数据完全去重覆盖手机规则覆盖地址规则覆盖固话规则覆盖姓名规则手机、地址、固话、姓名完全相等手机相等的前提下，任意两条记录两两相比，根据规则判定这两条记录是否相等用户基本信息表用户联系方式表用户地址信息表用户关联关系表带唯一标识的合并前全量用户信息第四十四页，共117页。

提供客户标签调用和查询2022/12/13Department45客户数据客户分群客户标签目标客户客户接触呼叫中心售后服务营销活动导购互联网客户关怀计划产品推荐优惠活动转介绍会员活动亲情服务营销活动公关活动忠诚会员提升销量加强竞争地位营销成本底无需价格战有利新品推广通过会员关怀提高忠诚客户的比例第四十五页，共117页。产品三、360度全景画像打标签画像分类群组数据挖掘需求特征第四十六页，共117页。画像身份产品订单行为画像群组价值挖掘客户＋产品＋订单＋行为画像建立客户＋产品＋行为＋订单9个属性180个维度6300个触点标签画像建立客户＋产品＋行为＋订单9类画像27群画像180组画像建立客户＋产品＋行为＋订单每一类群组的数据价值挖掘第四十七页，共117页。客户画像第四十八页，共117页。客户唯一基本属性标识标签9个属性、180个维度6300个触点360°全景画像姓名匹配手机匹配邮箱匹配关系人链匹配电话匹配等级匹配。。。。。统一标示代码35个基本人口属性25个区域小区楼栋房号15个关系群体人员属性15个爱好兴趣属性20个使用习惯偏好属性20个品牌偏好倾向属性15个购买比较条件属性9个门类27个群1800个组喜欢3.00汽车喜欢静音喜欢负离子清新通风喜欢自动睡眠功能喜欢粉红色喜欢智能定时。。。。。9个门类27个群1800个组数据价值挖掘高价值客户低价值客户负价值客户活跃客户流失客户粉丝。。。。。客户画像20个购买倾向情绪15个购买时间时机属性第四十九页，共117页。客户唯一标识标签姓名匹配电话匹配邮箱匹配关系人链匹配订单匹配等级匹配。。。。。统一标示代码第一步建立客户产品唯一识别标签标签记录客户、产品特征数据和全网触点行为数据唯一识别一、标签的唯一性二、标签的精准性三、标签的简单明了四、标签的可调用性五、标签的可修改回写产品唯一识别标签姓名标示产品名称产品型号产品参数产品指标产品价格产品交易量。。。。。统一产品标示代码标签权重=衰减因子×行为权重×网址子权重×时间衰减因子第五十页，共117页。OCRM客户操作型数据与客户互动电话记录、业务操作、货款交付售前售中售后服务等数据CRM客户基本信息姓名、电话、性别、地址特征习好、客户关联关系ACRM客户行为数据WEB、WIFI、APP点击浏览POS刷卡消费行为CCRM客户协同型数据呼叫中心、客户渠道、交互服务售后回访、拜访数据采集聚合客户数据唯一标签标示9个属性、180个维度6300个触点360°全景画像姓名标示姓名匹配电话匹配邮箱匹配关系人链匹配订单匹配等级匹配。。。。。统一标示代码统一客户视图

第二步客户画像把来自于全网各种渠道混杂的客户身份（产品、订单、行为）数据清洗统一标示后的客户特征画像35个基本人口属性25个区域社区楼栋房号15个关系群体人员属性15个爱好兴趣属性20个使用习惯偏好属性20个品牌偏好倾向属性15个行为属性20个购买能力属性15个购买时间时机属性第五十一页，共117页。姓名性别年龄婚育状况行业收入教育程度所在区域人口构成人口文化教育水准购买品牌等级价格区域门店网购购买批量评价…….Cookie、注册IDEmail微信微博QQ习惯常浏览网站类型购买产品类别特征…….35个基本人口属性15个行为属性上网时长时段频次20个消费偏好购买习惯消费季节周期消费习惯地域接受营销活动类别…….消费周期时段频次活动圈子特征…….社交关系网络15个关系群体人口属性使用年限…….使用频次时间15个使用习惯偏好属性使用过程客户9个属性180个维度6300个触点标签画像购买品牌等级价格区域门店网购购买批量评价…….购买产品类别特征25个区域社区楼栋房号活动圈子特征…….业余爱好兴趣15个兴趣爱好属性消费批次次金额…….购买品牌等级20个购买能力属性购买品牌等级价格15个购买时间时机属性第五十二页，共117页。学员维度可提供的数据维度1、基本属性2、社会属性（班级、老师）3、进度成绩（评价）4、课程内容级别5、订单数据6、课程评价（课程打分）7、app行为数据8、兴趣爱好9、潜在客户购买能力（）？？10、缺少的知识点分析主题：1、获客营销2、老学员的关怀招揽3、学员知识点4、老师和课程的评价评分5、预测（）第五十三页，共117页。学员维度数据来源一、内部数据1、CRM2、进度系统3、TMK电话系统4、HR5、财务6、线上培训系统7、APP8、微信公众号二、外部数据：1、百度2、邀约、活动3、电信adsl需求要点1、投入产出2、转化率第五十四页，共117页。标签画像模型算法分类与回归决策树、扑素贝叶斯向量支持向量机SVMsMLR（softmaxRegreesion）二元分类SvmWithSGDLogisticRegressionWithSGD、RF&GBDT、逻辑回归、线性回归聚类k-means、canopyEM(Expectation-Maximization）吉布斯（GibbsSampling）模糊聚类、狄利克雷线性模型SlopeOne图计算Pagerank时序模型BP、GA梯度下降GradientDescent特征提取转换TF-IDF第五十五页，共117页。竞争对手产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较企业内部产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较第三方电商产品特征产品名称、型号、参数、特征交易量、价格、客群定位、评价竞争对手维度比较行业产品特征库产品名称、型号、参数、特征交易量、价格、客群定位、评价采集聚合产品数据清洗统一产品唯一标示匹配数据清洗规则姓名标示产品名称产品型号产品参数产品指标产品价格产品交易量。。。。。统一产品标示代码姓名标示细分产品分类细分订单分类细分产品客户分类客户营销手段分类细分产品特征分类细分评价分类。。。。。其他维度分类统一产品视图

产品画像+订单画像把来自于各种渠道混杂的产品特征数据、交易数据、评价数据清洗统一标示，按特征分群建立行业产品特征库9个属性、180个维度6300个触点产品360°全景画像第五十六页，共117页。订单分析标签画像HDFS数据存储（结构化、非结构化、半结构化数据）客户画像（品牌型号、量、结构、排名、利润、财务）Hbase（Hive)筛选查询（地区、销量、利润、同比、环比、排序）Impala(Spark)报表分析（固定、维度、指标、相关、交叉、报告）Impala(Spark)预测挖掘&领导定制（各类业务和挖掘分析模型的复杂分析和领导特殊分析）Impala+SparkMLlib实时交互分析（当某事件发生时，指标的关联与对策）高频数据和流处理分析SparkStreaming第五十七页，共117页。喜欢3.00的客户群组喜欢3.00喜欢静音喜欢负离子清新通风喜欢自动睡眠功能喜欢粉红色喜欢智能定时。。。。。

第三步客户和产品划分类分群分组划分为9个门类27个群2700个组喜欢3.00喜欢卡通喜欢自然风喜欢自动提醒喜欢粉黄色喜欢有音乐。。。。。喜欢3.00喜欢其他喜欢其他喜欢其他喜欢其他喜欢其他。。。。。第五十八页，共117页。9个门类27个群2700个组数据价值挖掘采用评分法、相似算法等算法模型高价值客户低价值客户负价值客户活跃客户流失客户粉丝。。。。。

第四步、数据价值挖掘分析80分以上的客户其他群组触点出现频次评分法79-30分的客户30分以下的客户转卖友商或触点频次变化评分法点评忠诚度等维度评分法８０％（粉丝＋会员＋活跃客户）＋扩大销售＋再销售＋搭配销售＋转销售＋新产品２０％（潜在客户＋接触客户）＋以高价值客户＋以产品群找客户群１０％（流失客户）－激活＋挽救第五十九页，共117页。举例：一、客户全网数据价值打分排序（基于人口属性）怎样使接触关注某品牌消费者转化为购买者（匿名－实名）行为数据高价值用户（80分以上）中价值用户（79-60分）低价值用户（59-20分）负价值用户（20分以下）放入购物篮次数多次放入购物篮偶尔放入购物篮无放入购物篮无放入购物篮差评点击商品次数10次上５次上1次上无记录注册关注品牌次数10次上５次上1次上无记录进入电商网站/WEB、APP、第三方电商页面20次上10次上5次上无记录评价答复五星好评三星一般二星差评门店接触数据10次上５次上1次上无记录门店咨询10次上５次上1次上无记录从下到上，取得更多的实名数据、强相关第六十页，共117页。举例二、客户（会员）全网数据价值打分排序（基于内容属性）行为数据高价值客户（80分以上）中价值客户（79-60分）低价值客户（59-20分）负价值客户（20分以下）购买品种次数购买多型号多频次购买单型号有购买差评无购买差评购买价值额度10万元上３万元１万元０购买同品牌其他产品只买本品牌产品购买多种产品购买其他产品量更大买其他产品忠诚度评分五星好评三星一般二星差评线上接触咨询次数10次上５次上1次上无浏览门店接触数据10次上５次上1次上无记录线上注册关注每月10次以上点击关注每月５次以上点击关注每月1次以上点击关注无记录怎样把需求客户转化为某品牌的购买者（匿名＋实名）第六十一页，共117页。行为标签评分权重推荐置信度收藏0.2搜索0.15点击0.15注册0.1评论0.15关注0.15上网次数0.1门店次数0.1客户标签产品标签1.00AAAAA多多AA0.8ABABAA多多A--0.8A--ABAA多多A--0.4ABBBAA多C--0.6ABABC多多A--0.2BBACA多多B--0.4ABBCC多多----0.4ABCAA多多----0.2BBABA----B--第六十二页，共117页。统计分析聚类分析关联分析预测…….行为建模刚性需求兴趣图谱真实想法实时行为数据比较…….标签画像分群价值行为数据忠诚度高价值客户挖掘潜在客户转化率分析流失客户客户分析客户活跃度分析客户刚性需求分析接触客户分析客户粘性分析客户满意度分析再销售分析转销售分析新产品接受度分析客户价值挖掘分析根据客户行为和身份数据进行价值挖掘分析第六十三页，共117页。客户产品画像系统输出交付的结果和目的一、对全网接触客户和产品建唯一识别标签二、对每一个客户和产品９个属性、180个维度、6300个触点360度全景画像二、对客户和产品进行特征属性进行９个门类27个群2700个组粒度细分三、对每一个群组门类及客户和产品数据进行数据价值挖掘四、融合客户产品订单行为表现的需求特征第六十四页，共117页。

产品四、推荐引擎基于人口学推荐基于内容推荐相关推荐同类推荐搭配推荐其他推荐

第六十五页，共117页。客户+产品+订单匹配的行为数据触发推荐客户标签车型标签特征需求触点行为关注客户清单电话短信邀请线上推荐前1000可能购买者推荐置信度触点数据0.6客户标签0.2产品标签0.20.2A0.4AA1.00AAA0.8AA0.8AA--0.6A0.4AB0.4AB--0.2ABB第六十六页，共117页。七、推荐引擎总体层次结构第六十七页，共117页。推荐系统架构第六十八页，共117页。系统数据流消费者消费者第六十九页，共117页。

平台逻辑架构第七十页，共117页。核心推荐引擎设计说明：整个推荐引擎在设计上依赖于整个数据平台的支撑；场景引擎：场景引擎是整个推荐引擎的核心，它的作用是将用户行为抽象为与具体业务相关联的场景。也就是用场景来表征一个用户在具体业务下的需求；规则引擎：规则引擎接受场景引擎中计算出来用户意图，向算法引擎请求需要推送的数据；算法引擎：主要是实现各种推荐算法，把结果推向展示引擎进行前端展示；展示引擎：数据前端展示；第七十一页，共117页。基于商品的协同过滤算法在全网用户数据库中遍历，寻找与用户N行为最相似的用户，并进行排序，如图所示：（彩色连线代表该用户购买、浏览、评论过这个商品）如何为用户N推荐商品……ABC0.45+=0.65按照蓝色路径计算，用户C和用户N的相似度为0.45，用户A与用户N的相似度为0.3按照红色路径计算，用户B与用户N的相似度为0.4、用户A与用户N的相似度为0.35所有路径的相似度叠加之后，

用户A、用户B、用户C与用户N的相似度分别为0.65、0.4和0.45，因此A是最像N的用户N核心算法第七十二页，共117页。在线流计算框架框架流程：数据暂存：Kafka作为日志传递中间件来接收日志，抓取客户端发送的流量日志，同时接受SparkStreaming的请求，将流量日志按序发送给SparkStreaming集群。数据处理：SparkStreaming从Kafka集群中获取流量日志并进行处理。SparkStreaming会实时地从Kafka集群中获取数据并将其存储在内部的可用内存空间中。当每一个batch窗口到来时，便对这些数据进行处理。结果存储：处理得到的结果将写入到数据库中通用需求：低延迟：实时计算系统高性能：性能不高就是浪费机器分布式：单机搞不定可扩展：数据量、计算量大了怎么办？容错：一个节点挂了不能影响我的应用Storm：实时统计、实时风控、实时推荐\个性化搜索实时sparkstreaming原理：SparkStreaming把输入数据按照batchsize（如1秒）分成一段一段的数据，每一段数据都转换成Spark中的RDD实时性：最小的0.5S>BatchSize<2S，而Storm<=100ms系统资源整合:更方便（对于我们来说）实时计算与离线计算相结；第七十三页，共117页。SPARK对算法模型支撑第七十四页，共117页。推荐引擎模型算法模型常用算法基于物品推荐item—base

CF（冷启动、热启动）基于用户推荐user-base

CF（冷启动、热启动）基于协同过滤推荐Simarnk基于模型推荐RandomWalk、pLSA、SVD、SVD++基于关联规则推荐Apriori、AprioriTid、DHP、FP-tree基于知识推荐基于效用推荐混合的推荐机制加权的混合、切换的混合、分区的混合、分层的混合相似度算法K-neighborhoods、User-CF、Item-CF显性反馈ALS隐性反馈ALS情景感知推荐Context-Aware相似度推荐历史矩阵、共生矩阵、标识符矩阵第七十五页，共117页。对历史购买客户－－推荐和关怀客户画像产品画像客户B购买第二年６月１日体系加雪种C第三年６月１日推荐新品空调关联推荐搭配推荐１当浏览空调时２匹配客群３匹配产品群４推荐相关产品红线：基于历史购买周期推荐－人口属性推荐蓝色：基于相关推荐－产品属性推荐绿线：基于行为的推荐－行为属性推荐黄线：客户主动行为A2010年买空调重排序算法协调过滤算法个性化实时推荐把低价值客户转化为高价值客户第七十六页，共117页。根据点击行为数据－－进行个性化精准推荐购买空调１P的群体购买时尚卡通类群体购买噪音少小的群体购买负离子清风群体购买自动智能功能群体购买语音音乐功能群体…….少女房用空调群体营销群组营销个性个体营销浏览点击行为数据把消费者转化成购买客户其他接触数据第七十七页，共117页。

增加产品的销售量－－相关推荐和搭配推荐关联推荐第七十八页，共117页。{cookie_id:“advertiser:{

apple:{

actions:[{impression:‘ad1’,time:123

},{impression:‘ad2’,

time:232

},{click:‘ad2’,time:235

},{add_to_cart:‘laptop’,

sku:‘asdf23f’,

time:254},{purchase:‘laptop’,time:354}]…点击关注停留行为情感选择倾向数据

把点击浏览消费者转化为购买客户1SeeAd2SeeAd锁定点击的不同商家、不同产品型号4Convert3Click关键时刻及时推送点击行为情感倾向选择比较情绪决定购买决策亲，现在下单将获得额外500元优惠，还有免费保养１年呦！！第七十九页，共117页。对全网接触客户通过个性化推荐、智能导购、营销活动和会员关怀等精准营销方式提高客户购买转化率和客户场景购买转化率１、场景推荐集团自有电商网店、门户WEB、APP

第三方电商网店、门户WEB、APP渠道门店、专卖店、旗舰店２、场景导购线上导购渠道门店导购３、需求预测购买全套产品需求预测购买搭配产品需求预测购买时间点预测４、营销活动５、会员关怀６、其他服务

产品五营销宝－全网精准营销第八十页，共117页。售后维修其他系统ERP、CRM销售、DW地区人口属性数据ADSL数据投诉客服聊天会话

客户统一视图太平洋汽车交易网数据库电商WEBAPP行为数据其他核心业务系统数据电商APPWEB数据

获客+潜客转化+会员客户关怀+流失客户挽留+贵客推荐+精准营销行为标签画像客户标签画像产品标签画像订单标签画像第三方车网行为数据门店渠道数据

金字塔用户雷达获客

会员积分

粉丝推荐促销客户精选

需求预测

定向广告同类车辆客户

搭配推荐

相关推荐

新产品推荐同人群购买推荐wifi、Ibeacon位置轨迹推荐

Banner广告

线上推荐门店导购推荐

用户洞察

偏好推荐

成套推荐到期车辆周期高资产客户高价值客户关怀推荐到期维修到期升级产品推荐高价值客户推荐客户编码查询报表排序标签查询分析查询报表智能报告

邀请活动门点线上探针第八十一页，共117页。会员客户关怀精准营销售后服务会员关怀创新产品活动策划定向广告线上推荐线下推荐APP数据宝WEB/移动端分析报表标签查询哪里用我的产品最多那些人用我的产品谁是我的潜在客户客户关怀与推荐门店渠道导购APP数据宝哪里用我的产品最多那些人用我的产品谁是我的潜在客户客户关怀与推荐门店渠道导购SparkRDD会员客户关怀与精准营销一、任意查询客户＋产品＋订单＋行为的标签一、任意查询各种维度的数据和数据分析报表二、提供基于LBS的客户＋产品＋订单的查询提供各类精准营销、市场活动策划、会员关怀产品创新、售后服务、线上线下精准推荐等数据分析决策执行第八十二页，共117页。到使用周期产品推荐和关怀到维修周期的零配件更换提醒同类客群购买相关推荐、同类产品客群推荐相关产品推荐、相关客群推荐搭配产品推荐、子母产品推荐生日、节假日、特别事件关怀对老客户推荐和关怀接触用户的挖掘活跃客户（粉丝）推荐和关怀基本属性社交关系购买特征行为特征习惯特征喜爱偏好流失会员激活挽回推荐潜在用户推荐活跃会员扩大推荐活跃会员扩大推荐…….对老客户群推荐和营销活动筛选目标产品与匹配目标客户特别优惠推荐对潜在客户的推荐提高转化率关键点发掘发现高价值接触用户提高转化率的产品服务推荐分析流失群体行为数据特征预警流失行为群体阀值针对性补救流失心理的相关推荐对流失客户推荐和关怀制定重复购买群体营销策略提升复购率制定流失率低群体营销策略提升忠诚度开发关联购买较多的搭配提高ARPU值发掘高附加值客户的高价值产品推荐门店接触用户转化电商、WEB、APP接触用户转化第三方电商、WEB、APP接触用户转化群推荐广告和活动接触用户转化销售服务行为接触中的用户转化……………………基于客户/产品的推荐和客户关怀第八十三页，共117页。那个客户需要更多服务？TA需要什么服务和产品？目前客户支出是否合理？如何使客户更多产品？提高客户更多购买的RIO?…….提高复购和转销售率那类客户最容易流失？客户会在什么时候流失？现在应该关注那个客户？那位客户关怀应该马上行动？需要采取什么行动?…….提高购买转化率接触行为阀值高的用户是那些？行为的阀值等级是多少？对某产品关注度和兴趣指数？什么推荐可以使他马上决定购买？最佳推荐方式是什么?…….提高接触用户购买转化率二、数据价值挖掘分析－－增加销售额购买客户实名用户匿名用户高价值客户低价值客户流失客户第八十四页，共117页。自己电商WEB、APP推荐第三方电商WEBAPP推荐渠道门店推荐其他推荐支付款时的相关产品推荐POS刷卡支付时推荐放入购物篮时的搭配推荐购买访问点击数据和身份数据可电话联系营销进入门店采集到面部数据时推荐被点击次数最多的产品时的推荐拿起放下产品的推荐鼠标停留时间最长的产品推荐如有合作和购买第三方数据，可以提供像自有电商推荐摇一摇的优惠推荐反复来回点击某产品时的推荐到达某产品位置时的推荐比较产品某一个或一组特征功能时的最佳产品推荐采集到对某产品面部表情时的推荐点击优惠团购等产品时的推荐在其他渠道或线上采集到意向产品的推荐注册时的推荐进入网页的推荐点击其他网站自己的产品数据，可提供电话营销线上点击后门店的推荐门店意向咨询产品的推荐一、不同场景的个性化推荐举例第八十五页，共117页。

客户关怀精准营销APP

第八十六页，共117页。“水晶球”精准营销宝手机APP水晶球营销宝Crystal

精准营销画像宝数聚宝视图宝推荐宝人找货门店渠道导购货找人谁是我的潜在客户哪里用我的网店门店第八十七页，共117页。

LBS随时查询附近社区使用产品数量门店网店销售金额品牌日销售金额占比覆盖率东门店21万元11%深南路店18万元10%华强路店19万元10%八卦路店9万元7%凤凰路店16万元8%清水河店11万元6%国贸店19万元10%爱国路店17万元9%银湖店14万元8%万象城店27万元13%其他21万元11%省市：深圳市占比第八十八页，共117页。查询省市正在使用产品数量哪里用我的产品最多地市销售金额深圳广东北京上海广州南京宁波福建天津杭州苏州成都重庆沈阳西安广西海南湖南湖北四川云南贵州浙江江苏安徽山东河南河北山西吉林宁夏青海甘肃新疆辽宁西藏黑龙江

目标地选择宁波品牌日销售金额占比覆盖率广州11811%深圳11010%中山16910%东莞887%惠州668%江门786%佛山18910%湛江679%潮汕878%珠海9813%其他21111%省市：（广东）第八十九页，共117页。谁在用我的产品购买频次型号占比11%9%8%5%21%21%5%36%32%12%9%复购率单客值分类货品额谁在用我的产品前十畅销十大滞销连带率坪效青春版旗舰版尊享版大神手机大神Pad姓名购买过的产品购买成套产品值李*林青春手机购买Pad值80%王*娟电源张*龙皮套刘*勤旗舰版手机唐*娟龙*化龚*刊刘*户胡*偶巴*淋李*林查询使用产品的邻居和成套购买信息第九十页，共117页。ＬＢＳ查看门店周边社区谁是我的会员水晶球营销宝Crystal

精准营销画像宝数采宝数聚宝订单宝查看网店门店门店渠道导购门店会员关怀谁是我的潜在客户周边谁是我的会员第九十一页，共117页。谁在用我的产品附近社区那些人是我的会员姓名手机李*林13828848**99王*娟13828848**99张*龙13828848**99刘*勤13828848**99唐*娟13828848**99龙*化13828848**99龚*刊13828848**99刘*户13828848**99胡*偶13828848**99巴*淋13828848**99姓名（手机、邮箱、地址）：******3公里内高价值客户名单按购买值ＬＢＳ查看门店周边社区谁是我的会员谁在用我的产品用户信息姓名李*林手机13828848**99邮箱lyl@163.com会员编号A011888地址深圳万科天域花园座机0755-8822**99家庭成员6人画像分类百万年薪高知标签是否接受信息推送接受小区等级Ａ小区户数848户交易数据邻居信息成套购买第九十二页，共117页。

LBS随时查询附近社区使用产品数量门店网店销售金额品牌日销售金额占比覆盖率东门店21万元11%深南路店18万元10%华强路店19万元10%八卦路店9万元7%凤凰路店16万元8%清水河店11万元6%国贸店19万元10%爱国路店17万元9%银湖店14万元8%万象城店27万元13%其他21万元11%省市：深圳市占比第九十三页，共117页。查询省市正在使用产品数量哪里用我的产品最多地市销售金额深圳广东北京上海广州南京宁波福建天津杭州苏州成都重庆沈阳西安广西海南湖南湖北四川云南贵州浙江江苏安徽山东河南河北山西吉林宁夏青海甘肃新疆辽宁西藏黑龙江

目标地选择宁波品牌日销售金额占比覆盖率广州11811%深圳11010%中山16910%东莞887%惠州668%江门786%佛山18910%湛江679%潮汕878%珠海9813%其他21111%省市：（广东）第九十四页，共117页。谁在用我的产品购买频次型号占比11%9%8%5%21%21%5%36%32%12%9%复购率单客值分类货品额谁在用我的产品前十畅销十大滞销连带率坪效青春版旗舰版尊享版大神手机大神Pad姓名购买过的产品购买成套产品值李*林青春手机购买Pad值80%王*娟电源张*龙皮套刘*勤旗舰版手机唐*娟龙*化龚*刊刘*户胡*偶巴*淋李*林查询使用产品的邻居和成套购买信息第九十五页，共117页。谁在用我的产品附近社区那些人是我的会员姓名手机李*林13828848**99王*娟13828848**99张*龙13828848**99刘*勤13828848**99唐*娟13828848**99龙*化13828848**99龚*刊13828848**99刘*户13828848**99胡*偶13828848**99巴*淋13828848**99姓名（手机、邮箱、地址）：******3公里内高价值客户名单按购买值ＬＢＳ查看门店周边社区谁是我的会员谁在用我的产品用户信息姓名李*林手机13828848**99邮箱lyl@163.com会员编号A011888地址深圳万科天域花园座机0755-8822**99家庭成员6人画像分类百万年薪高知标签是否接受信息推送接受小区等级Ａ小区户数848户交易数据邻居信息成套购买第九十六页，共117页。查询使用产品的客户和交易信息谁在用我的产品用户信息姓名李*林手机13828848**99邮箱lyl@163.com会员编号A011888地址深圳万科天域花园座机0755-8822**99家庭成员6人画像分类百万年薪高知标签是否接受信息推送接受小区等级Ａ小区户数848户交易数据邻居信息成套购买谁在用我的产品用户