大数据驱动的智能计算课件

大数据驱动的人工智能技术

2022/10/191崇志宏数据与智能实验室东南大学大数据驱动的人工智能技术

2022/10/151崇志宏提纲基本框架和智能计算基本框架技术痛点应用难点分析提纲基本框架和智能计算文本结构化抽取智能框架市场研究报告外部公开数据源大数据知识图谱价值传递内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利智能爬虫文本结构化抽取其他非结构化、半结构化数据知识库数据终端什么产品？什么客户？什么市场模式？数据直通API智能搜索智能问答智能平台模型与价值发现用户研究报告行为大数据运营数据推广数据调查、反馈数据产品设计用户手册客服录音文本结构化智能框架市场研究报告外部公开数据源大数据知识图谱价文本结构化抽取智能框架市场研究报告外部公开数据源大数据知识图谱价值传递内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利智能爬虫文本结构化抽取其他非结构化、半结构化数据知识库数据终端什么产品？什么客户？什么市场模式？数据直通API智能搜索智能问答智能平台模型与价值发现用户研究报告行为大数据运营数据推广数据调查、反馈数据产品设计用户手册客服录音文本结构化智能框架市场研究报告外部公开数据源大数据知识图谱价技术痛点：多维数据的融合-知识图谱知识库概念、属性外部公开数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利其他非结构化、半结构化数据市场研究报告内部数据源用户研究报告行为大数据运营数据推广数据调查、反馈数据市场研究报告内部数据源用户研究报告行为大数据运营数据推广数据调查、反馈数据产品规格设计文档用户手册客服录音技术痛点：多维数据的融合-知识图谱知识库概外部公开数据源淘宝技术痛点：多维度异构数据上的分析建模知识图谱概念、属性市场研究报告外部公开数据源内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利其他非结构化、半结构化数据用户研究报告行为大数据运营数据推广数据调查、反馈数据市场研究报告内部数据源用户研究报告行为大数据运营数据推广数据调查、反馈数据模型与价值发现特征丰富约束条件语义向量化产品规格设计文档用户手册客服录音产品规格设计文档用户手册客服录音技术痛点：多维度异构数据上的分析建模知识图谱概市场研究报告外技术痛点：多维度异构数据上的分析建模知识库概念、属性市场研究报告外部公开数据源内部数据源淘宝、京东、苏宁新闻公司网站社交媒体公司招聘专利其他非结构化、半结构化数据用户研究报告行为大数据运营数据推广数据调查、反馈数据市场研究报告内部数据源用户研究报告行为大数据运营数据推广数据调查、反馈数据模型与价值发现特征丰富约束条件语义向量化产品规格设计文档用户手册技术痛点：多维度异构数据上的分析建模知识库概市场研究报告外部技术痛点：用户画像、产品画像中的数据的稀疏性价格差别品牌差别地区收入差别地区高低档偏好差别评价（用词偏好）关注偏好微博讨论偏好零星个人信息购买记录投诉记录和关注点访谈调查记录市场研究报告用户研究报告促销反馈职业差别人群差别特殊人群商品偏好…………………………………………特殊人群敏感度属性社会属性行为属性技术痛点：用户画像、产品画像中的数据的稀疏性价格差别品牌差别技术痛点：用户画像、产品画像中的数据的稀疏性价格差别品牌差别地区收入差别地区高低档偏好差别评价（用词偏好）关注偏好微博讨论偏好零星个人信息购买记录投诉记录和关注点访谈调查记录市场研究报告用户研究报告促销反馈职业差别人群差别特殊人群商品偏好…………………………………………特殊人群敏感度属性社会属性行为属性数据稀疏性：1）知识图谱数据融合；2）深度神经网络的泛化能力；3）语义特征向量技术痛点：用户画像、产品画像中的数据的稀疏性价格差别品牌差别技术痛点：用户画像、产品画像中的数据的稀疏性数据稀疏性：1）知识图谱数据融合；2）深度神经网络的泛化能力；3）语义特征向量模型与价值发现特征丰富约束条件知识图谱的深度网络表示技术痛点：用户画像、产品画像中的数据的稀疏性数据稀疏性：1）技术痛点：高维属性依赖关系模型训练和推理特殊人群敏感度属性社会属性行为属性技术痛点：高维属性依赖关系模型训练和推理特敏社行痛点：高维属性依赖关系模型训练和推理特殊人群敏感度属性社会属性行为属性痛点：高维属性依赖关系模型训练和推理特敏社行提纲基本框架和智能计算基本框架技术痛点应用难点分析提纲基本框架和智能计算难点1：数据爬取和融合难点1：数据爬取和融合难点2：数据爬取和融合-图片和文本融合文字描述多媒体信息融合与搜索图片搜索图片文字搜索图片图片搜索文字语音搜商品难点2：数据爬取和融合-图片和文本融合文字描述多媒体信息融合难点3：语音客服综合平台1.什么商品、品牌、规格2.什么原因、关切什么？3.解决方案偏好？4.……1.这个客户是什么类型？2.一般的服务策略？3.询问什么问题？4.可以提供什么继续服务？抽取客户信息客服支持语音客服综合信息平台客户意图识别客户背景及相关资料服务模式和策略支持难点3：语音客服综合平台1.什么商品、品牌、规格1.这个难点4：大规模信息结构评价行为语义网站结构语义一致性和网站结构评价根据日志行为的网页矢量空间根据平台结构的网页矢量空间语义对齐语义距离度量行为语义和平台结构语义的差别不同人群行为分析信息结构评价及改进点页面布局问题网页链接结构问题不同人群访问模式特点难点4：大规模信息结构评价行为语义根据日志行为根据平台结构语难点5：国防综合信息系统敌我部队编制敌我指挥机构敌我武器装备人防工程作战条令、预案地理、气象信息人工情报KafkaSparkStreaming知识图谱HBASE存储知识抽取、知识图谱构建和维护SparkSPARQL接口作战情报支持五月十五号早上敌飞机？？？飞近我钓鱼岛，飞行轨迹……滞留时间情报分析模型库推测飞机型号、武器装备、飞行目的以及推测依据……军事知识图谱构建和信息集成SparQL查询接口语义搜索难点5：国防综合信息系统敌我部队编制人工情报KafkaSpa难点6：情感分析Yelp:57百万用户评论,132百万独立用户访问/月Dianping:26百万评论,70百万

独立用户/月OneproductinonereviewDetailedondifferentaspectsOverallscoreReviewcomment用户对不同维度的信息关注度是推荐需要了解的结婚买什么样的空调安静的、挂起来的难点6：情感分析Yelp:57百万用户评论,132百万分析结果示意图属性(正面,负面)关于肉类

正面评价1465次负面评价497次关于鸡翅

正面评价3次负面评价5次分析结果示意图属性(正面,负面)关于肉类

正面评价1465次难点7：用户潜在喜好分析推出一款新品，用户的喜好程度如何？长期以来，一直忽视文本与评价分数的结合目标：1.用户买过该产品2.用户对该产品的体验3.推荐可能满意的产品难点7：用户潜在喜好分析推出一款新品，用户的喜好程度如何？长难点8：基于潜在关联的打包推荐推出相关产品，目的是组合售卖通过用户的消费历史，映射商品的可见特征到隐藏特征，获取不同商品之间的关联。难点8：基于潜在关联的打包推荐推出相关产品，目的是组合售卖通难点9：数据融合不同厂家类似产品归类NameDescriptionPriceTP-linkTL-WR703N

3G

MiniWirelessRouterProductName:TP-LinkBrand:

TP-LinkModel:

TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:

802.11b

802.11g

802.11n

802.3u

802.3Frequency:

2.4GSuitablefor:

Broadbandrouter¥99.00TP-linkTL-WR703N

MiniWirelessRouterBoardProductName:TP-Link

Brand:TP-LinkModel:TL-WR703NRouterType:WirelessSpeed(Mbps):

150MbpsProtocol:IEEE802.11b/g/nEmbeddedFirewall:NoVPNSupport:No¥44.45目标：提高自身的竞争力难点9：数据融合不同厂家类似产品归类NameDescriptUnstructureddatacontainimportantinformationexquisiteandeasyofuse!Recommend!Satisfiedpurchase!Received!Veryexquisite!Hopeitcanstaylong!…It’spractical,exquisiteandportable.Theonlydrawback…Goodproduct,butit’simpossibletoaddLenovoh301cameratogetherwith301driver.Adduvcinstead…Itsappearanceisordinary,butthehandworkisgood,theboardisstable.Theserveranswerseveryquestion...Theboardisgood,thecraftisterrific.Bestchoiceforhandcraft文本特征重要UnstructureddatacontainimpoMatchingResultInputEntityDataPreprocessingFeatureSelectionDataPartitioningPairGenerationSimilarityCalculationFeatureNormalizationRandom-basedAlgorithmsSignatureSorting&NeighborSelectionRedundancyReductionAdditionalMapReduceJobHammingDistance基于文本特征的分布式数据融合架构MatchingResultInputEntityDat难点10：分布式内存数据处理用户交易交易流水主机DB2查询集群实时交易查询企业分析ReatimeDataIngestionIn-memoryExec