大数据阅读汇报课件

——文献阅读情况一大数据

二文献阅读

三个人想法20世纪90年代，数据仓库之父的BillInmon就经常提及BigData。2011年5月，在“云计算相遇大数据”为主题的EMCWorld2011会议中，EMC抛出了BigData概念。大数据时代的背景分析技术：数据处理：自然语言处理技术统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析数据挖掘：关联规则分析；分类；聚类模型预测：预测模型；机器学习；建模仿真大数据技术：数据采集：ETL工具数据存取：关系数据库；NoSQL；SQL等基础架构支持：云存储；分布式文件系统等计算结果展现：云计算；标签云；关系图等一些相关技术存储结构化数据：海量数据的查询、统计、更新等操作效率低非结构化数据图片、视频、word、pdf、ppt等文件存储不利于检索、查询和存储半结构化数据转换为结构化存储按照非结构化存储解决方案：Hadoop（MapReduce技术）流计算（twitter的storm和yahoo！的S4）大数据的相关技术ETL数据众包（CrowdSouring）结构化、非结构化和半结构化数据分布式文件系统关系数据库非关系数据库（NoSQL）数据仓库云计算和云存储实时流处理A/BTesting关联规则分析分类聚类遗传算法神经网络预测模型模式识别时间序列分析回归分析系统仿真机器学习优化空间分析社会网络分析自然语言分析MapReduceR语言标签云（TagCloud）聚类图（Clustergram）空间信息流（Spatialinformationflow）热图（Heatmap）大数据赋予我们洞察未来的能力机遇马云成功预测2008年经济危机“2008年初,阿里巴巴平台上整个买家询盘数急剧下滑，欧美对中国采购在下滑。海关是卖了货，出去以后再获得数据；我们提前半年时间从询盘上推断出世界贸易发生变化了。”通常而言，买家在采购商品前，会比较多家供应商的产品，反映到阿里巴巴网站统计数据中，就是查询点击的数量和购买点击的数量会保持一个相对的数值，综合各个维度的数据可建立用户行为模型。因为数据样本巨大,保证用户行为模型的准确性。因此在这个案例中，询盘数据的下降，自然导致买盘的下降。人类从依靠自身判断做决定到依靠数据做决定的转变，也是大数据作出的最大贡献之一。——《大数据时代》大数据的营销案例未卜先知怀孕案例塔吉特：比父亲更早知道女儿怀孕曾经有一位男性顾客到一家塔吉特超市店中投诉，商店竟然给他还在读书的女儿寄婴儿用品的优惠券。这家全美第二大零售商，会搞出如此大的乌龙？但经过这位父亲与女儿进一步沟通，才发现自己女儿真的已经怀孕了。提问：为什么塔吉特能知道这个用户怀孕了？必须有哪几个关键环节A：用户数据收集B：怀孕特征库C：怀孕潜在用户筛选塔吉特在和顾客沟通过程中采用了哪种营销方式A：电子邮件B：直邮C：电话营销D：数据库营销二部分文献网络舆情演化模式一种自适应网络舆情演化建模方法网络舆情传播阶段与模型比较研究基于语义文法的网络舆情精准分析方法研究基于大数据的网络舆情分析方法研究浅谈大数据时代的机遇与挑战基于大数据舆情分析的图书馆信息增值服务大数据分析下的中国社会舆情：总体态势与结构性特征一种自适应网络舆情演化建模方法

该篇文章针对短期趋势预测方法忽略演化过程统计特性的动态变化性，致使模型选择盲目、预测效果较差的问题，本文提出一种自适应网络舆情演化建模方法（ＡＥＭＩＰＯ）。首先，动态跟踪网络舆情演化过程的平稳性、周期性和自相似性等统计特性；其次，选取能够描述上述统计特性的ＡＲＭＡ，ＡＲＩＭＡ，ＳＡＲＩＭＡ，ＦＡＲＩＭＡ模型构建备选模型库；最后，通过制定模型选择规则，从备选模型库中选择合适的模型对当前时刻的演化过程进行自适应建模，并预测其演化趋势。网络舆情传播阶段与模型比较研究该篇文单把网络舆情传播阶段与模型作为网络舆情研究重要组成部分，对其进行总结与归纳能为网络舆情管控研究提供借鉴。分析比较网络舆情传播的三阶段、四阶段、五阶段、六阶段模型，研究网络舆情在传播阶段中所显示出的阶段性。从网络舆情演变模型和技术模型这两角度出发，对各传播模型进行梳理与比较，分析现有传播模型优缺点，并在此基础上，提出未来的研究应向小世界、大数据、云计算方向发展。基于语义文法的网络舆情精准分析方法研究传统的基于关键词统计分析的网络舆情分析方法由于缺少对舆情文本必要的语义处理，往往导致分析结果不准确。提出一种基于语义文法的网络舆情精准分析新方法。该方法包括两部分：首先是可执行的网络舆情精准分析语言Ｅｉｐｏａａｌ，它可根据实际舆情分析需求设计Ｅｉｐｏａａｌ程序，具有一定的通用性；二是网络舆情精准分析系统Ｉｐｏａａｓ，它为Ｅｉｐｏａａｌ提供运行平台。目前，已经实现了该系统，并应用到贪腐主题的网络舆情分析中，实验结果证明了方法的有效性。基于大数据的网络舆情分析方法研究

文章概述了常用的网络舆情分析方法,归纳了当前网络舆情的大数据特征和分类,提出了网络舆情分析创新要向大数据分析方向发展的观点,并概述了4种新思路新方法,对需要注意的相关问题进行了总结,对未来网络舆情分析创新进行了展望。一是绕开语义分析的技术瓶颈,开辟“隐性”舆情分析的“第二战线”;二是突破抽样分析的思维,用大数据方法分析收集到的全体数据;三是将搜索数据、点击数据、人际关系数据、网民个人特征数据、相关社会数据等关联起来进行分析,深度挖掘出有价值的舆情。四是主动进行网络民意调查,有针对性地收集标准化数据。浅谈大数据时代的机遇与挑战

该篇文章介绍了大数据的概念及其特点，举例说明了大数据分