大数据分析及应用案例-精准营销

1、大数据分析及应用案例-基于用户行为分析的产品推荐及销量预测信息分析研究部1大数据分析上苏宁目前现在遇到的技术问题大数据分析应用上需求 访谈对象： 张侦 苏宁商业智能中心技术团队基于用户行为分析的产品推荐如何更好地控制用户行为数据中的由于促销等活动所引起的数据短时突变。面向用户的个性化推荐如何控制计算代价如何平衡推荐效果和推荐的丰富度产品销量预测库存优化促销管理基础架构构建商品及用户的词库管理系统2IBM WebSphere Commerce EnterpriseIBM中国研究院IBM业务伙伴SAPIBM业务伙伴西安筋斗云科技有限责任公司(Xian Smartcloud Technology C

2、o., Ltd.)案例一： 一家中国零售商通过洞悉客户情绪及潮流趋势得以创建效果更好的产品组合并且更加有效地销售它们节省90% 将面向交叉销售的全套服饰搭配时间缩短90%，消除了数小时的手动工作解决方案的组件智慧的零售业务挑战：这家零售商希望提高对流行趋势、消费者需求及其对服装销量影响的感知力以便提高营销活动的个性化水平、产品推广活动的智慧性以及库存规划水平。智慧的解决方案：公司扩展了产品视图以便指导他们开展推销与营销活动。全新的分析引擎能够从种类繁多的数据中发现模式 销售事务、网站分析、客户资料、产品评论和社交媒体内容 从而了解公司服装的购买方式、地点和人群；客户喜欢或者不喜欢某个产品的哪些

3、地方；市场中的最新流行趋势是什么。这个全面的产品视图还能帮助零售商通过调整产品线和库存来响应需求变化并且开发出个性化营销方案，从而增加销量。现在，客户的市场影响力比以往任何时候都更加强大 不仅包括他们所说的内容，而且还包括他们的行为方式与所购商品。为了取得成功，零售商必须要聆听客户心声，并且使用客户心声来指导业务决策。发现趋势通过洞悉消费者情绪以及提高经销和库存管理水平来发现趋势锁定客户通过个性化购物体验来增加销售量及客户购物金额3个性化推荐案例场景一：服装搭配4推荐搭配列表点击获取商品信息服务器端功能个性化搭配系统个性化模板库个性化模板建立及标签模块组合规则库及自学习模块个性化推荐商品搭配添

4、加/删除商品社交媒体分享支撑技术：基于用户行为分析的个性化推荐利用各种异构数据（交易、行为、社交、内容等），为不同的商业场景提供相应的个性化推荐5技术方案应用场景基于用户行为的推荐根据用户的历史交易及行为，对用户偏好进行建模，进行个性化推荐基于社会关系的推荐用户消费行为受到所处的各种社会关系网络的影响，基于朋友关系，组织成员关系、信任关系等进行个性化推荐基于隐含要素分析的推荐商品和用户偏好有很多隐含要素组成，通过隐含要素分析，预测用户对商品的偏好程度基于边际效应的推荐利用经济学原理，挖掘出不同商品的边际效应程度，区分频繁购买商品和非频繁购买商品，使系统更好的符合真实世界用户的购物行为，提供精准

5、的商品推荐及营销技术优势利用各种异构数据（交易、行为、社交、内容等），提高推荐精度基于边际效应的推荐基于用户上下文信息的推荐案例二： 个性化私信营销互动6个性化推荐案例场景二：产品经理查看推荐用户的画像7支撑技术：基于心理学模型的个性化建模根据人的性格定位推销相应产品并互动海外银行及国内银行案例 买家画像乐活族技术宅都市小白领小清新系统流畅 分辨率高功能丰富67.1%51.2%34.4%外观漂亮 78.2%屏幕大 手感舒适 60.3%41.5% Ta们的评价 Ta们还购买了 Ta们的评价 Ta们还购买了看看都是谁买了这款产品？8对竞争对手间关于产品及服务方面用户的多维度反馈比较利用深度情感挖掘

6、技术给出每个维度用户的满意度及关键点给出不同时间段不同地域的对比图TDBankBMOService RefundsService Fees/ChargesDebit Cards案例三： 产品服务细粒度对比9个性化推荐案例场景三：细粒度的产品分析来改善个性化推荐的精确度Original Review Sentences101. Tokenization & POS taggingProduct-AspectCategorization model Sentiment AssociationmodelNamed Entity Recognition model DSM ModelDSM Engin

7、e2. Named Entity Recognition3. Product AspectCategorization4. Aspect-oriented Sentiment Association5.Personalized Sentiment Scoring6.Aspect-orientedSummarization支撑技术：基于机器学习的深度情感挖掘将社交媒体数据及情感分析结果用以销售预测情感分析对于预测精度有很大的提升实际上线部署分析46周的销售数据加上15周的社交媒体数据用以训练， 来预测未来的销售额某款相机: 预测精度，MAPE（平均绝对百分比误差）从31%降到了16% 案例四：零

8、售行业销售预测12在预测模型中加入社交媒体中相关品牌产品的数据量信息及情感挖掘信息很大提升了预测精度“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”支撑技术： 将社交媒体分析加入销售预测模型“Bought a Nikon Coolpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to

9、 good use, but there are other models you should explore before purchasing.”“#TodayDealshttp:/goo.gl/sJz5LThe Things IWantToDoBuya SelectSonyNEX Compact SystemCamera, Save $50 on a Qualifying Lens”“EntertowinaNewNikonD800fromKEHCamera, TheWorlds Largest UsedCamera Dealer bit.ly/KDVvXi ”商品及商品属性识别识别结果

10、消歧将识别结果同商品列表匹配去除噪声数据文本分析社交媒体数据商品标准名称品类品牌产品名格式系列子系列Nikon D90 12.3MP DX-Format CMOS Digital SLR Camera cameraNikonD90DSLR_Canon EOS Rebel T31cameraCanonT3iDSLREOSRebelHarry Potter Half Blood Prince PS2Video games-Half Blood PrincePS2Harry Potter-购买意愿情感挖掘结果用以加入预测模型的分析结果用户反馈分析“Bought the wife a Nikon Co

11、olpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to good use, but there are other models you should explore before purchasing”讨论量“Bought the wife a Nikon Coolpix S6300 + waterproof case. Cant wait to play with it.”“We love our Canon camera and put it to

12、good use, but there are other models you should explore before purchasing”产品认同感13Demo: 大数据信息分析管理平台应用案例 EagleEye26.2% of the world is online1.8 billion people are online today and this number is estimated to reach 2.2 billion by 201363% research via social networking47% of the time they are influence

13、d by what is readUser generated content91% of consumers ranked peer input as the #1 aid to a buying decisionEagleEye ServicesComponent Web ServicesApplication Web ServicesDeep SentimentMiningNamed Entity RecognitionEntity RelationExtractionTaxonomy ManagementTopicDetectionEntitySearchEntity & Cat.Br

14、owsingEventTrackingTrendAnalysisOpinionDiscoveryCompetitorAnalysisApplicationsData Storing / Data Access / Search InterfaceAnalytics CloudBig Insights and StreamsDB2Smarter CommerceMobile 1stEMMSMAConsumer Electronics Brand Analysis Product Utility Mining Technology Trend AnalysisTelecommunications

15、Service Quality Analysis Competitor Analysis Customer Analysis Location Based Analysis Finance & Insurance Market Analysis Competitor Analysis Customer Service AnalysisRetail & CPG Service Quality Analysis Consumer Requirement Analysis Emergent Event Detection14短期目标 大数据分析构建后台关联知识库: 从产品自身属性、说明书、销售记录、

16、用户评论提炼知识点，并且建立语义关联网络；标准化用户查询：把口语化的、不规范的查询补充完善，并映射到标准产品术语；理解用户的查询需求：对用户需求进行语义归类及消歧；基于语义关联做精准搭配推荐产品描述和说明销售记录用户评论数据源标准化用户查询理解用户的查询需求精准搭配推荐应用层客户偏好及客户分群产品竞争力分析分析模型产品竞争力分析产品的社会化属性产品相似度分析标准化用户查询理解用户的查询需求精准搭配推荐15大数据信息分析管理平台的设想应用展现层数据存储及索引存储(Pig, Hive, HBase)索引(Solr)Map-reduce (Hadoop + Adaptive Map-Reduce)文

17、件系统(GPFS, HDFS)交易数据订单信息商品信息用户信息Session数据LOG信息结构化数据产品评论在线咨询电话中心商品描述图片社会媒体非结构化数据流媒体视频非结构化信息挖掘结构化数据分析中文语义搜索技术中文分词及书写检查技术文本分类技术命名实体识别深度舆情分析文本主题识别UIMA个性化推荐交互式文本信息可视化数据关联(网络)可视化16 2013 IBM Corporation 17Traffic Engineering real use cases in eBay600 different running types of emails, always create/evolve n

18、ew types of emails Format design: customization Decide whom to sendDesign marketing message contentsEg1, if a person did some search, and looked at the search results, but did not buy. eBay will analyze the customer, and send him a follow-onemailEg2, if a person bought some product, in a week, eBay will send him an email to recommend relevant products