大数据系列产品解决方案

聚集全网触点客户数据获客提高潜在客户购买转化率提高会员客户忠诚度和粘性提高客户的复购率转销售CrystalCrystal精准营销采集全网触点数据+客户统一视图+画像+推荐引擎+APP及分析获客+客户关怀+挖掘潜在客户+贵客推荐+精准营销“水晶球”获客挖潜客全网精准营销神器系统产品全网触点潜在客户和会员客户价值转化把触点客户转化为潜在社会化全网触点客户库社会化全网触点客户库把潜在客户把潜在客户转化为购买提高客户客户分析产品分析订单分析行为分析提高复购和转销售实时推荐营销活动营销广告会员关怀客户分析产品分析订单分析行为分析提高复购和转销售实时推荐营销活动营销广告会员关怀其他服务高价值客户购买金额营销促销高价值客户潜在客户购买客户系统产品功能模块第一大模块全网数据采集第一大模块全网数据采集第三大模块第三大模块第四大模块数据服务第四大模块数据服务第二大模块数据抽取第二大模块数据抽取聚合清洗整合建模数据价值挖掘解析数据价值挖掘解析当某人发生行为时购买到期推荐相关搭配推荐客群相关推荐客户行为推荐客户属性推荐产品交易推荐产品特征推荐产品优惠推荐产品相关推荐客群相关推荐产品搭配推荐产品群相关推荐基于产品群的推荐群广告推荐产品（订单、行为）画像产品（订单、行为）标签行为数据驱动的个性化推荐服务当某人发生行为时购买到期推荐相关搭配推荐客群相关推荐客户行为推荐客户属性推荐产品交易推荐产品特征推荐产品优惠推荐产品相关推荐客群相关推荐产品搭配推荐产品群相关推荐基于产品群的推荐群广告推荐产品（订单、行为）画像产品（订单、行为）标签历史购买推荐历史购买推荐基于客群的推荐客户画像（客群）客户标签客户标签WEB、APP、电商、门店秒级实时推荐精准营销秒级实时个性化推送秒级实时个性化推送行为模式模型RealTimeRealTimeProcess匹配身份匹配身份行为产品RDBMSRDBMSNear-line(reads)客户CRM身份数据历史交易数据客户CRM身份数据历史交易数据 账单明细订单数据社交媒体WEB数据移动位置APP数据视频机具数据全网触点客户和全渠道营销D品牌D品牌D品牌D品牌自有电商第三方电商在线匹配自有电商第三方电商在线匹配客户唯编码统视图产品一、全网数据采集采集全网触点数据聚合产品推荐产品推荐全套产品组合全套产品组合服务关怀服务关怀机组箱浆活冰豆生调风美机组箱浆活冰豆生调风美空吹优动活销营第一类业务系统数据的抽取HQL/MRSqoopHIVEHQL/MRSqoopHIVEE数据属性不同，特征不同，清洗规则不同逐步建立地址基准库第二类：自动抽取WEB数据，建立产品库社会媒体、自媒体、博客、微博、电商、论坛等数据数据采集抽取样本分析人为干预形成规则及代码配置好:交给机器就OK啦!机器学习类似传统ETL过程企业产品和行业产品内容数据采集站第三类自有电商WEB行为数据抓取进入网站•流量来源•进入网站•流量来源•渠道转化率•来访时段•试用设备•广告有效性•访问量分析访问页面•页面点击•页面停留•页面收藏注册会员•个人信息•联系方式•家庭地址•会员转化率•顾客留存率•顾客忠诚度下单购物•购物历程•购买转化率•最有价值渠道•重复购买率•关联销售•促销效果评估关闭网站•访问深度•访问时间•潜在销售机会线上•浏览路径•线上•浏览路径•页面跳出率•停留时间•页面关联浏览网站自有电商、WEB数据采集 自营电商WEB端数据采集整合第三类自有APP行为数据采集应用层仓库层应用层仓库层台分析层分析层存储层存储层总线层总线层采集层采集层 自营APP端数据采集整合APP端操作APP端操作第四类第三方电商WEB行为数据抓取浏览网站•浏览路径•浏览网站•浏览路径•页面跳出率•停留时间•页面关联访问页面•页面点击•页面停留•页面收藏注册会员•个人信息•联系方式•家庭地址•会员转化率•顾客留存率•顾客忠诚度下单购物•购物历程•购买转化率•最有价值渠道•重复购买率•关联销售•促销效果评估关闭网站•访问深度•访问时间•潜在销售机会进入网站•流量来源•渠道转化率•来访时段•试用设备•广告有效性•访问量分析线上线上第三方电商、WEB、APP、电信数据采集协议在第三方电商机房远程埋点消费者在第三方电商平台所产生的点击、浏览等行为数据，由于第三方公司对数据的保护，现在无法单纯的从技术上实现，只能通过合作的方式，购买与集团消费者相关的行为信息协议购买第三方结果数据或过程数据第五类、400或客服互动、营销活动数据的采集第六类渠道门店推荐导购线下线下向力售取能销费费联消消关向力售取能销费费联消消关度线间伴路时伙店留店逛停来息估络信评网人趣交个兴社信值卡卡度价员额类用诚客会金品信息忠顾入销店在会离潜机说明：线下数据源包括业务系统的数据、基于室内定位采集到用户状态变化数据、门店行为数据采集可选试点门店行为数据采集可选试点 门店数据采集方式线下门店数据采集方式线下面部数据采集视频位置面部数据采集视频位置数据采集面部识别：身份、来店周期、面部表情、面对商品情绪。。。位置关系：位置与商品关系、可能意向、移动轨迹。。。IbeaconIbeacon摇一摇身份数据采集Ibeacon位置数据采集身份：姓名、手机、邮箱、其他、。。。位置：购买品牌型号、特征、数量、价格、层级、。。。DFID试用DFID试用选择数据WIFI数据采集选择犹豫：拿起放下商品次数、试用操作、反复比较。。。点击行为：手机、点击网站、页面、鼠标停留、偏好倾向。。。瞳孔数据采集瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹瞳孔数据采集瞳孔识别：注意力、兴奋度、情绪、决定、犹豫、轨迹。。。门店数据整合库产品二客户统一视图 客户统一视图一、抽取业务系统、电商、WEB、APP、门店等客户（产品、订单、行为）数据加载到Hadoop二、数据聚合：1、跨系统打通各系统的数据，合并各系统的客户（产品、订单、行为）数据2、建立用户与用户、产品和产品、产品与用户之间的数据关系和流向3、编制跨系统数据蓝图三、合并清洗建模：清洗合并规则建模、对每一个客户(产品、订单）形成唯一的一个识别编码1、用户基本属性清洗合并建模（姓名、地址、手机、固话、邮箱。。。）2、产品基本属性清洗合并建模（品名、指标、性能、功能、价格、评价。。。）3、订单基本属性清洗合并建模（订单产品、单价、总价、分类、结构。。。）4、行为基本属性清洗合并建模（点击、鼠标停留、注册、门店行为。。。）5、建唯一客户识别码和触点数据清单四、提供服务调用接口Webservers,提供客户识别编码和触点数据标签数据抽取采集聚合进入网店页面注册登录点击选购搜索商品时间位置放入购物篮支付交易离开网店网页进入网店页面注册登录点击选购搜索商品时间位置放入购物篮支付交易离开网店网页KafkaAPI、ETLKafkaWEBAPP电信行为iBeacon定位摇一摇身份数据iBeacon定位摇一摇身份数据WIFI市内定位面部识别表情数据RFID商品移动识别数据POS等数据Flume文字会话录音语音台聊天会话科大讯飞KettleFlume文字会话录音语音台聊天会话科大讯飞KettleSqoop 其他核心业务系统数据销售物流物料会员系统数据售后系统数据行为数据系统结构化数据业务系统数据的抽取SqoopHQL/MRHIVE数据属性不同，特征不同，清洗规则不同逐步建立地址基准库 打通所有系统、进行数据融合用户维度、产品维度、订单维度、行为维度统一数据存储池SqoopSqoopflumesockt统一数据采集平台数据源数据库数据源数据库文件流支持包括文件、流以及DBMS各种类型数据源支持结构化和非结构化数据采集提供多种接口对接各种数据源整合跨系统、建立数据蓝图igrationSQL数据访问igration内部数据内部数据2、..3、..4、..5、..2、..3、..4、..5、..电商订单（天猫/京东…）标签 体验购买标签4、评分4、实名认证4、累积消费金额5、购买量5、快捷绑定5、购买力 .. ..信息体验环节：和数据厂商，合作或购买统计数据购买环节：引入合作商用户数据数据清洗整合规则建模应用现状:个性化精准营销和关怀个性化细粒度分析客群粗粒度分析主题数据度统一会员视图统一会员视图数据挖掘客户产品会员基本信息从渠道和零售系统采集用户的交易记录从渠道系统采集退换货记录会员购买会员存在会员基本信息从渠道和零售系统采集用户的交易记录从渠道系统采集退换货记录会员购买会员存在从呼叫中心采集投拆数据会员间的亲友关系从WEB\APP\电商＼门店数据会员的售后记录清洗规则手机号匹配手机号匹配姓名匹配地址匹配产品号匹配邮箱匹配从CRM或第三方购买数据2025-1-14Department业务系统偶发行为售后系统业务系统偶发行为售后系统在线平台在线平台基于Hadoop的大数据仓库离线平台据((\b[0]\d{2,3})?[-－_/]*)?([1]↓YNNNYY((\b[0]\\d{2,3})?[-－_/]*)(\d{7,8})(([-－YYYNYY递归找出标准地址递归找出标准地址地区代码不为空DW@hive模型层地区标准库用户基本信息表(用户基本信息表(ods.t_cs_customer）地区代码为空返回标准地址百度api返回标准地址百度api接口 YY↓↓带唯一标识的合并前全量用户信息带唯一标识的合并前全量用户信息提供客户标签调用和查询通过会员关怀提高忠诚客户的比例通过会员关怀提高忠诚客户的比例目标客户客户接触呼叫中心售后服务营销活动互联网忠诚会员u提升销量u目标客户客户接触呼叫中心售后服务营销活动互联网忠诚会员u提升销量u加强竞争地位u营销成本底u无需价格战u有利新品推广客户标签客户数据客户分群客户关怀计划产品推荐优惠活动转介绍会员活动亲情服务营销活动公关活动产品三、360度全景画像客户＋产品＋订单＋行为画像建立客户+产品+行为+订单9个属性建立客户+产品+行为+订单9个属性6300个触点标签画像建立客户+产品+行为+订单9类画像27群画像建立客户+产品+行为+订单每一类群组价值挖掘客户画像客户画像第一步建立客户产品唯一识别标签 客户唯一标识标签客户唯一标识标签产品唯一识别标签标签记录客户、产品特征数据标签记录客户、产品特征数据和全网触点行为数据唯一识别一、标签的唯一性二、标签的精准性三、标签的简单明了二、标签的精准性三、标签的简单明了四、标签的可调用性五、标签的可修改回写第二步客户画像 把来自于全网各种渠道混杂的客户身份（产品、订单、行为）数据清洗统一标示后的客户统客户视图9个属性、180个维度6300个触点统客户视图9个属性、180个维度6300个触点客户9个属性180个维度6300个触点标签画像..学员维度可提供的数据维度1、基本属性2、社会属性（班级、老师）3、进度成绩（评价）4、课程内容级别5、订单数据6、课程评价（课程打分）7、app行为数据8、兴趣爱好9、潜在客户购买能力()??10、缺少的知识点分析主题：1、获客营销2、老学员的关怀招揽3、学员知识点4、老师和课程的评价评分5、预测()学员维度数据来源一、内部数据2、进度系统3、TMK电话系统5、财务6、线上培训系统7、APP8、微信公众号二、外部数据：1、百度2、邀约、活动3、电信adsl需求要点1、投入产出2、转化率 标签画像模型算法分类与回归决策树、扑素贝叶斯向量支持向量机SVMsMLR（softmaxRegreesion）二元分类SvmWithSGDLogisticRegressionWithSGD、RF&GBDT、逻辑回归、线性回归k-means、canopyEM(Expectation-Maximization）吉布斯（GibbsSampling）模糊聚类、狄利克雷线性模型SlopeOnePagerankBP、GA梯度下降GradientDescent特征提取转换TF-IDF产品画像+订单画像 统产品视图9个属性、180个维度6300个触点产品360°全景画像统产品视图9个属性、180个维度6300个触点产品360°全景画像细分产品分类细分订单分类细分产品客户分类客户营销手段分类细分产品特征分类细分评价分类其他维度分类订单分析标签画像高频数据和流处理分析Spark高频数据和流处理分析SparkStreaming预测挖掘&领导定制Impala+Impala+SparkMLlibImpala(SparkImpala(Spark)Impala(SparkImpala(Spark)Hbase（Hbase（Hive)HDFS数据存储HDFS第三步客户和产品划分类分群分组划分为9个门类27个群2700个组喜欢3.00的客户群组第四步、数据价值挖掘分析9个门类27个群2700个组数据价值挖掘采用评分法、相似算法等算法模型80分以上的客户79-30分的客户30分以下的客户触点出现频次评分法80%（粉丝＋会员＋活跃客户）+扩大销售＋再销售＋搭配销售80分以上的客户79-30分的客户30分以下的客户触点出现频次评分法80%（粉丝＋会员＋活跃客户）+扩大销售＋再销售＋搭配销售+转销售＋新产品20%（潜在客户＋接触客户）+10%（流失客户激活＋挽救转卖友商或触点频次变化评分法点评忠诚度等维度评分法举例：一、客户全网数据价值打分排序（基于人口属性） 从下到上，取得更多的实名数据、强相关5次上5次上二星5次上5次上举例二、客户（会员）全网数据价值打分排序（基于内容属性） 行为数据高价值客户（80分以上）（79-60分）低价值客户（59-20分）负价值客户（20分以下）购买品种次数购买多型号购买单型号有购买无购买购买价值额度10万元上0购买同品牌其他产品只买本品牌产品购买多种产品购买其他产品量买其他产品忠诚度评分五星好评三星一般二星线上接触咨询次数10次上5次上无浏览门店接触数据10次上5次上无记录线上注册关注每月10次以上点击关注每月5次以上点击关注每月1次以上无记录点击关注行为标签评分权重AAAAA多多AAABABAA多多A--A--ABAA多多A--ABBBAA多C--ABABC多多A--BBACA多多B--ABBCC多多ABCAA多多BBABB--A根据客户行为和身份数据进行价值挖掘分析客户价值挖掘分析 客户产品画像系统输出交付的结果和目的二、对每一个客户和产品9个属性、180个维度、6300个触点360度全景画像二、对客户和产品进行特征属性进行9个门类27个群2700个组粒度细分产品四、推荐引擎基于人口学推荐基于内容推荐相关推荐同类推荐搭配推荐其他推荐客户+产品+订单匹配的行为数据触发推荐AAAAAAAAAA--ABA--AB车型标签客户清单车型标签客户清单客户标签触点行为触点行为七、推荐引擎总体层次结构推荐系统架构系统数据流平台逻辑架构核心推荐引擎设计核心算法如何为用户N推荐商品图所示彩色连线代表该用户购买、+0.35=0.650.45ABCN在线流计算框架通用需求：低延迟：实时计算系统高性能：性能不高就是浪费机器分布式：单机搞不定可扩展：数据量、计算量大了怎么办？容错：一个节点挂了不能影响我的应用原理：SparkStreaming把输入数据按照batchsize给SparkStreaming集群。数据处理：SparkStreaming从Kafka集群中获取流量日志并进行处理。SparkStreaming会实时地从Kafka集群中获取数据并将其存储在内可用内存空间中。当每一个batch窗口到系统资源整合:更方便（对于我们来说）实时计算与离便对这些数据进行处理。线计算相结；结果存储：处理得到的结果将写入到数据库中SPARK对算法模型支撑 推荐引擎模型算法常用算法基于物品推荐item—baseCF（冷启动、热启动）基于用户推荐user-baseCF（冷启动、热启动）基于协同过滤推荐Simarnk基于模型推荐RandomWalk、pLSA、SVD、SVD++基于关联规则推荐Apriori、AprioriTid、DHP、FP-tree基于知识推荐基于效用推荐混合的推荐机制加权的混合、切换的混合、分区的混合、分层的混合相似度算法K-neighborhoods、User-CF、Item-CF显性反馈ALS隐性反馈ALS情景感知推荐Context-Aware相似度推荐历史矩阵、共生矩阵、标识符矩阵对历史购买客户推荐和关怀 把低价值客户转化为高价值客户C第三年根据点击行为数据进行个性化精准推荐 把消费者转化成购买客户增加产品的销售量相关推荐和搭配推荐把点击浏览消费者转化为购买客户2SeeAd关键时刻及时推送4Convert2SeeAd关键时刻及时推送4Convert{add_to_cart:‘laptop’,… 产品五营销宝－全网精准营销对全网接触客户通过个性化推荐、智能导购、营销活动和会员关怀等精准营销方式提高客户购买转化率和客户场景购买转化率集团自有电商网店、门户WEB、APP第三方电商网店、门户WEB、APP渠道门店、专卖店、旗舰店渠道门店导购购买全套产品需求预测购买搭配产品需求预测购买时间点预测获客+潜客转化+会员客户关怀+流失客户挽留+贵客推荐+精准营销高高高价值客户成套推荐高资产客户WEBAPP会员积分到期车辆周期金字塔产品标签画像订单标签画像行为标签画像相关推荐搭配推荐用户雷达获客邀请活动定向广告促销客户精选线上推荐偏好推荐新产品推荐粉丝推荐用户洞察客户标签画像客户标签画像客户统一视图属性数据ADSL数据会员客户关怀与精准营销会员客户关怀与精准营销哪里用我的产品最多那些人用我的产品谁是我的潜在客户