大数据在B2C电商中的应用 课件

大数据在B2C电商中的应用——张昊旅游事业部频道组大数据在B2C电商中的应用——张昊举例“推荐系统之王”

“InstantPersonalization”

应用中心的智能算法好友推荐、亲密度模型、好友智能分组……定向广告算法、个性化推荐2…举例“推荐系统之王”“InstantPersonaliz大数据相关应用3用户行为分析价格预测推荐系统评分预测问题流量分析供应链管理实时定制报表广告精准投放行业信息监控评论挖掘分析传播热点分析销量预测CRM社会化图谱挖掘LBS大数据相关应用3用户行为分析价格预测推荐系统评分预测问题流量推荐系统4推荐系统4流程架构推荐系统5…用户行为数据库用户属性数据库行为提取行为特征转换特征向量特征物品相关推荐候选物品集合相关表1相关表2相关表N初始推荐结果过滤排序推荐解释选择最终推荐结果用户行为反馈物品属性ABC流程架构推荐系统5…用户行为数据库用户属性数据库行为提取行为推荐系统6协同过滤算法（CF）-UserCF/ItemCF奇异值分解(SVD）/隐语义模型（LFM）对分网络/二分图模型利用UGC标签利用上下文社会化推荐（socialrecommendation)算法融合机器学习从准确性到多样性推荐算法简介推荐系统6协同过滤算法（CF）-UserCF/ItemCF奇推荐系统7协同过滤算法——基于商品/用户间的相似度UserbasedCFItembasedCF余弦距离Jaccard距离欧氏距离海明距离推荐系统7协同过滤算法——基于商品/用户间的相似度UserUserbasedCFItembasedCF推荐系统8典型应用新闻推荐电子商务、图书/电影推荐推荐原理有共同爱好的用户喜欢与用户之前喜欢的物品类似推荐结果小群体的热点用户的兴趣传承个性化要求不太明显强烈内容数量多较少更新速度快较慢适用领域时效性强、个性化不明显长尾丰富、个性化需求强烈举例GroupLens、DiggAmazon、Netflix用户的新行为推荐结果不一定立即变化推荐结果实时变化推荐解释难容易以历史行为解释协同过滤算法UserbasedCFItembasedCF推荐系统推荐系统9奇异值分解——探索相似度背后隐含根源分类1分类2分类3兴趣1XXXXXXXXX兴趣2XXXXXXXXX兴趣3XXXXXXXXX推荐系统9奇异值分解——探索相似度背后隐含根源分类1分类2分推荐系统10二分图模型——一个游走在用户和商品之间的爬虫高相似性的判断标准：两个顶点间有很多路径相连；连接两个顶点间的路径长度都比较短；连接两个顶点间的路径不会出现大的顶点；推荐系统10二分图模型——一个游走在用户和商品之间的爬虫高相推荐系统11算法总结用户用户商品特征商品喜欢、购买有相似兴趣的好友喜欢、具有相似喜欢包含相似性判断特征聚类推荐系统11算法总结用户用户商品特征商品喜欢、购买有相似兴趣推荐系统12预测准确度用户满意度覆盖率多样性新颖性惊喜度信任度实时性健壮性商业目标系统评测离线实验（offlineexperiment)用户调查（userstudy）在线实验（onlineexperiment）推荐系统12预测准确度系统评测离线实验用户调查在线实验推荐系统新的挑战和方案——用户意图模糊情景下的多维度补充；平台电商的店铺定向、季节定向；反作弊问题；考虑用户本身的权重和行为频度；冷启动问题；用户疲劳；

……13推荐系统新的挑战和方案——13评论挖掘14评论挖掘14评论挖掘15维克托·迈尔-舍恩伯格大数据互联网数据挖掘计算机应用信息管理畅销书“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。喜欢作者说的知道“是什么”就够了，没必要知道“为什么”这个理论。奥伦*埃奇奥尼因为自己买到了比同一架飞机乘客贵的机票而非常气愤，因此他创造了最早的互联网搜索引擎。且不说这个引擎的后续，至少埃奇奥尼创立的预测系统帮助乘客节省了很多钱。我们不需要知道机票为什么涨或者跌，我们只想着用最少的钱去买到同样的机票，如此，这样有预见性的数据库就是起到了重要的作用。而在其他领域上，同样的可以用这样的大数据的思维方式去思考。数据不是静止不动的，需要有变革的思维去看它。而现在的数据已经成了一种商业资本，可以创造新的经济利益。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。基本上，人们比以往任何时候都与数据或信息交互。谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，……相关度分析自然语言处理这个商品不错~评论挖掘15维克托·迈尔-舍恩伯格大数据互联网数据挖掘计算机评论挖掘16TF1*IDF1+TF2*IDF2+…+TFN*IDFNTF——词频：关键词在文本中出现的频率IDF——逆文本频率指数log（D/DW）：关键词在所有文本集中出现的频率越高，IDF越低e.g.“原子能”“的”“应用”TF：0.002、0.035、0.005IDF：8.96、0、1TF*IDF——文本与关键词相关度的科学度量评论挖掘16TF1*IDF1+TF2*IDF2+评论挖掘大数据+自然语言处理技术（NLP）17文本相关度评论信息量评论情感分词消歧互信息特征筛选主题LDA情感分析特征词聚类词性标注向量空间模型TF*IDF评论挖掘大数据+自然语言处理技术（NLP）17文本相关度评论评论挖掘18（当当网）评论挖掘A/B测试结果：顾客体验提升；购买决策时间变短；点击评论次数减少；页面停留时间降低；转化率提升；全年贡献过亿；评论挖掘18（当当网）评论挖掘A/B测试结果：评论挖掘19评论挖掘19评分预测问题20——4分——3分——5分——？分预测帮助用户决策评分预测问题20——4分——3分——5分——？分预测帮助用户评分预测问题21常用算法：基于平均值；基于相似物品；隐语义与矩阵分解模型；算法融合；……评分预测问题21常用算法：历史销量价格产品季节性产品浏览量竞争对手情况产品曝光率营销推广产品评论供应商质量市场热点目标用户特征……销量预测模型22满位率↓买断风险↓毛利↑运营效率↑历史销量价格产品季节性产品浏览量竞争对手情况产品曝光率营销推一个旅游业的案例23F——近十万亿条价格记录；票价预测准确率达75%；平均每张机票为旅客节省50美元；2008年以1.15亿美元被微软收购，并入必应；一个旅游业的案例23F——On

going——大数据+实时处理24Ongoing——大数据+实时处理24延伸阅读25延伸阅读25谢谢！谢谢！附——大数据有多大1分钟产生的数据量：48小时新视频@Youtube2000000次搜索请求@Google684478条分享消息@Facebook100000条新微博@Twitter3600张照片@Instagram90%的数据产生于最近两年；2020年，非结构化数据量10倍于结构化数据；27附——大数据有多大1分钟产生的数据量：27大容量Volume每天新增100TB统计数据客户分析的可用维度1000多个每天处理上百亿次用户行为反馈高速度Velocity实时数据收集云数据分析调度Veracity精准错误数据校准上下文环境过滤Variety多样性客户多样性商品多样性通过算法和机器学习附——大数据之4V28大容量Volume每天新增100TB统计数据客户分析的可用维附——大数据之客户画像29附——大数据之客户画像29附——人人“好友智能分组”30返回附——人人“好友智能分组”30返回附——大数据之用户行为31电商网站中的典型用户行为行为用户类型数据规模实时展现浏览网页注册/匿名大×将商品加入购物车注册中√购买商品注册中√收藏商品注册中√评论商品注册小√给商品评分注册小√搜索商品注册/匿名大×点击搜索结果注册/匿名大×分享商品注册小√返回附——大数据之用户行为31电商网站中的典型用户行为行为用户类附——推荐系统32帮助用户快速发现有用的信息；将新产品推荐给用户；将商业上需要宣传的商品推荐给用户；不同种类商品的交叉推荐和打包推荐；不同页面场景下的不同推荐需求；（e.g.首页热门和列表长尾）推荐需求附——推荐系统32帮助用户快速发现有用的信息；推荐需求大数据在B2C电商中的应用——张昊旅游事业部频道组大数据在B2C电商中的应用——张昊举例“推荐系统之王”

“InstantPersonalization”

应用中心的智能算法好友推荐、亲密度模型、好友智能分组……定向广告算法、个性化推荐34…举例“推荐系统之王”“InstantPersonaliz大数据相关应用35用户行为分析价格预测推荐系统评分预测问题流量分析供应链管理实时定制报表广告精准投放行业信息监控评论挖掘分析传播热点分析销量预测CRM社会化图谱挖掘LBS大数据相关应用3用户行为分析价格预测推荐系统评分预测问题流量推荐系统36推荐系统4流程架构推荐系统37…用户行为数据库用户属性数据库行为提取行为特征转换特征向量特征物品相关推荐候选物品集合相关表1相关表2相关表N初始推荐结果过滤排序推荐解释选择最终推荐结果用户行为反馈物品属性ABC流程架构推荐系统5…用户行为数据库用户属性数据库行为提取行为推荐系统38协同过滤算法（CF）-UserCF/ItemCF奇异值分解(SVD）/隐语义模型（LFM）对分网络/二分图模型利用UGC标签利用上下文社会化推荐（socialrecommendation)算法融合机器学习从准确性到多样性推荐算法简介推荐系统6协同过滤算法（CF）-UserCF/ItemCF奇推荐系统39协同过滤算法——基于商品/用户间的相似度UserbasedCFItembasedCF余弦距离Jaccard距离欧氏距离海明距离推荐系统7协同过滤算法——基于商品/用户间的相似度UserUserbasedCFItembasedCF推荐系统40典型应用新闻推荐电子商务、图书/电影推荐推荐原理有共同爱好的用户喜欢与用户之前喜欢的物品类似推荐结果小群体的热点用户的兴趣传承个性化要求不太明显强烈内容数量多较少更新速度快较慢适用领域时效性强、个性化不明显长尾丰富、个性化需求强烈举例GroupLens、DiggAmazon、Netflix用户的新行为推荐结果不一定立即变化推荐结果实时变化推荐解释难容易以历史行为解释协同过滤算法UserbasedCFItembasedCF推荐系统推荐系统41奇异值分解——探索相似度背后隐含根源分类1分类2分类3兴趣1XXXXXXXXX兴趣2XXXXXXXXX兴趣3XXXXXXXXX推荐系统9奇异值分解——探索相似度背后隐含根源分类1分类2分推荐系统42二分图模型——一个游走在用户和商品之间的爬虫高相似性的判断标准：两个顶点间有很多路径相连；连接两个顶点间的路径长度都比较短；连接两个顶点间的路径不会出现大的顶点；推荐系统10二分图模型——一个游走在用户和商品之间的爬虫高相推荐系统43算法总结用户用户商品特征商品喜欢、购买有相似兴趣的好友喜欢、具有相似喜欢包含相似性判断特征聚类推荐系统11算法总结用户用户商品特征商品喜欢、购买有相似兴趣推荐系统44预测准确度用户满意度覆盖率多样性新颖性惊喜度信任度实时性健壮性商业目标系统评测离线实验（offlineexperiment)用户调查（userstudy）在线实验（onlineexperiment）推荐系统12预测准确度系统评测离线实验用户调查在线实验推荐系统新的挑战和方案——用户意图模糊情景下的多维度补充；平台电商的店铺定向、季节定向；反作弊问题；考虑用户本身的权重和行为频度；冷启动问题；用户疲劳；

……45推荐系统新的挑战和方案——13评论挖掘46评论挖掘14评论挖掘47维克托·迈尔-舍恩伯格大数据互联网数据挖掘计算机应用信息管理畅销书“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。喜欢作者说的知道“是什么”就够了，没必要知道“为什么”这个理论。奥伦*埃奇奥尼因为自己买到了比同一架飞机乘客贵的机票而非常气愤，因此他创造了最早的互联网搜索引擎。且不说这个引擎的后续，至少埃奇奥尼创立的预测系统帮助乘客节省了很多钱。我们不需要知道机票为什么涨或者跌，我们只想着用最少的钱去买到同样的机票，如此，这样有预见性的数据库就是起到了重要的作用。而在其他领域上，同样的可以用这样的大数据的思维方式去思考。数据不是静止不动的，需要有变革的思维去看它。而现在的数据已经成了一种商业资本，可以创造新的经济利益。从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。基本上，人们比以往任何时候都与数据或信息交互。谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，……相关度分析自然语言处理这个商品不错~评论挖掘15维克托·迈尔-舍恩伯格大数据互联网数据挖掘计算机评论挖掘48TF1*IDF1+TF2*IDF2+…+TFN*IDFNTF——词频：关键词在文本中出现的频率IDF——逆文本频率指数log（D/DW）：关键词在所有文本集中出现的频率越高，IDF越低e.g.“原子能”“的”“应用”TF：0.002、0.035、0.005IDF：8.96、0、1TF*IDF——文本与关键词相关度的科学度量评论挖掘16TF1*IDF1+TF2*IDF2+评论挖掘大数据+自然语言处理技术（NLP）49文本相关度评论信息量评论情感分词消歧互信息特征筛选主题LDA情感分析特征词聚类词性标注向量空间模型TF*IDF评论挖掘大数据+自然语言处理技术（NLP）17文本相关度评论评论挖掘50（当当网）评论挖掘A/B测试结果：顾客体验提升；购买决策时间变短；点击评论次数减少；页面停留时间降低；转化率提升；全年贡献过亿；评论挖掘18（当当网）评论挖掘A/B测试结果：评论挖掘51评论挖掘19评分预测问题52——4分——3分——5分——？分预测帮助用户决策评分预测问题20——4分——3分——5分——？分预测帮助用户评分预测问题53常用算法：基于平均值；基于相似物品；隐语义与矩阵分解模型；算法融合；……评分预测问题21常用算法：历史销量价格产品季节性产品浏览量竞争对手情况产品曝光率营销推广产品评论供应商质量市场热点目标用户特征……销量预测模型54满位率↓买断风险↓毛利↑运营效率↑历史销量价格产品季节性产品浏览量竞争对手情况产品曝光率营销推一个旅游业的案例55F——近十万亿条价格记录；票价预测准确率达75%；平均每张机票为旅客节省50美元；2008年以1.15亿美元被微软收购，并入必应；一个旅游业的案例23F——On

going——大数据+实时处理56Ongoing——大数据+实时处理24延伸阅读57