大规模商品挖掘计算架构介绍

1、大规模商品挖掘计算架构介绍技术创新，变革未来计算平台架构介绍计算平台融合商品数据存储图数据存储及计算实时计算（Spark， Flink，Storm）.商品数据挖掘评论挖掘及商品印象商品图文不一致校验垃圾及价格合规检测品类预测JES商品数据检索日志监控计算平台垂直领域商品知识快消品服饰内 部 数 据清洗外 部 数 据JEDJFSJMQJESJIMDB归一挖掘品牌库产品库类目库属性库对话系统合规检测搜索推荐商品上新工业属性商品图片商品信息商品评论订单数据用户数据商家数据客服数据国家标 准行业标准专业论坛商 品 数 据 层计 算 平 台知 识应 用开 放 算 法词法分析句法分析语义分析文章分析图像识

2、别文本分类服 务标签服务标题理解类目识别情感检查垃圾检查语义检索决策分析商品印象词林产品品牌 类目关系标注平台Flink图计算数据抓取SparkStorm计算服务风控监控JDOS电商商品数据现状现状：商品数据录入难以有效监管，数据质量参差不齐用户反馈数据没有得到有效使用目标：对于商家录入的商品数据进行清洗，提升数据准确率对于原先没有得到有效利用的数据，整合抽取为商家生态提供算法支持，从源头把控商品数据质量iPhone7/7plus手机壳/保护套 苹果7plus超薄全包硅胶透明电镀软壳 5.5英寸 炫亮黑炫亮电镀运动鞋男鞋夏季男士网面跑步鞋女休闲板鞋透气韩版潮鞋情侣旅游大码网布鞋子 男 黑色 4

3、0商品标题堆砌、展示不全商品标题的合规商品标题的合规产品词产品词产品词颜色工艺产品词风格 风格 材质 风格 工艺 款式尺寸短文本理解：依存分析Head：手机壳pure modifier：超薄、透明、硅胶、炫亮黑constraint：iphone7应用： 标题重组Iphone7 超薄电镀硅胶手机壳 炫亮黑iPhone7/7plus手机壳/保护套 苹果7plus 超薄全包硅胶透明电镀软壳 5.5英寸 炫亮黑炫亮电镀分词iPhone7/7plus 手机壳 / 保护套 苹果7plus 超薄 全包 硅胶 透明 电镀 软壳 5.5英寸 炫亮黑炫亮 电镀命名实体识别商品标题的合规实 体 识 别 处 理 链分

4、词分词服务分类服务词向量服务词林图谱产品识别品牌识别人群识别品类识别模 型 数 据(JFS)annotatedecide动 态 更 新NER服务不同场景有不同处理链商品类目清洗类目错绑严重商品录入量大，难以管控：大型店铺sku数十万条商品类目数多，精准录入难：三级分类近4000条主观理解商品类目划分错误：部分商品类目有重叠，难 界定商品类目清洗在多个试点一级类目实现分类准确率99%修正上千万SKU类目错绑属性商品自动分类商品属性间不一致校验人工标注文本分类+聚类属性字典图片标注CNN+RNN标题销售属性扩展属性图片特征商品主图分词过滤清洗规则机器学习深度学习商品正确属性不一致结果商品属性间不一

5、致校验目前覆盖四个一级类目：运动户外、服饰内衣、鞋靴、礼品箱包颜色识别覆盖61个三级品类，准确率95.65%商品属性间不一致校验清洗服务NER服务图片识别服务商品变更MQ商品接入商品服务商品缓存清洗程序清洗后MQ商品原始MQ推送程序缓存主数据ES缓存搜索问答与评论SPAM检测Spam违禁 删除屏 蔽用户体 验提升违禁 识别价格辱骂广告黄赌毒短文本长文本不相关重复无意义句式 Spam高频 长文本问答与评论SPAM检测Spam高频长文本自动发现机制文本相似度及频次计算文本数据无意义文本数 据高频无相关文 本新高频文本商品特征匹配模型人工确认SPAM检测模 型线上实时折叠用户评论知识挖掘外观性价比使用体验使用效果品牌商品售后客服物流