大数据与网络舆情分析

abit.io大数据与网络舆情分析http://abit.io微趣大数据所有真实用户都不独立存在，紧密的社交圈在帮助用户产生数据。社交大数据的内部爆炸可以为任意分析提供充足的数据支撑超过6亿互联网真实用户档案数据。每天新产生的数亿条的评论，及过去4年间数百亿的各类观点。现在可以在一个平台上掌握所有的这些声音。通过这些大数据可回答以下问题：谁/哪些人在讨论一个什么问题他们的观点和期望到底是什么可自由组织的问题影响力评估用户作息时间群体/个体习惯对比分析（作息，上网）自然状态下的用户言论自然状态下的用户言论移动设备更替社交关系网结构社交关系结构群体/个体兴趣对比分析网络舆情分析微博新浪微博用户6.5亿，日活跃4600万，腾讯微博用户6.2亿，日活跃约1亿。全国政务微博总数17万，2012年增长2.5倍（其中在新浪微博6万）。在新浪微博开通的企业微博总数27万，2012年增长1.2倍。微信微信用户3亿，日活跃约2亿，公众号约200万，认证公众号与服务号约20万。新一轮的信息爆炸传统门户，论坛有价值信息量大约在一年1亿条左右微博每天产生近2亿条各类内容社交媒体特点海量数据大量长尾和碎片和噪音互联网舆情现状互联网舆情现状在今天的中国，任意可能被在全社会范围内传播的舆情都无法绕开微博这一传播载体。只要内容具有传播价值，数亿微博用户中总有人会将其从门户，论坛，朋友圈及其它各类媒介中放到微博中进行传播，因此微博可以说是大数据时代舆情监测最重要的阵地。微博是目前中国唯一能够满足普通用户将信息传递到全国皆知的需求的平台。当前互联网舆情监测的思路方案及时获取完整获取判别热度判别真假可扩展稳定性API关键词实时获取XXXX非常稳定页面爬虫重要优先√√√√较稳定主要的技术路线比较页面爬虫根据采集能力约束主要分为：“全采集”与“组织性采集”。案例–上海法官招嫖事件事件回放：2013.8.2网上开始大量传播以视频截图为依据的披露上海高院法官集体招嫖的事件，该事件在全国范围内造成大范围的传播与讨论，造成恶劣影响，微趣舆情平台在这条暴露微博仅仅转发11次之前就捕获了该微博。案例特点：爆料人在腾讯微博上注册用户并进行发布。该用户爆料时，粉丝仅为9人，即初期整个互联网中仅有9人有较小机会看到并传播该信息。该信息经过4小时左右传播后被删除，删除前仅转发了65次，但最终在全网范围内进行扩散。案例结论：舆情监测必须全平台。如仅监测大号，无法确保舆情监测业务的安全。基于社交网络的舆情传播力非常大，一不注意就造成舆论灾难。大数据采集社交媒体数据量较传统门户论坛增长了数百倍，传统舆情平台技术无力实现全数据采集。微博数据源都是高技术能力的互联网公司，反采集技术成熟，难以攻破。（短信验证，图片识别等）大数据处理利用传统的数据处理与存储方式，要实时处理数以亿计的数据需要投入庞大的硬件，一般公司无法承担。例如邓亚萍的即刻搜索，就投入了近700台高性能服务器提供微博内容的搜索服务，但仍然数据缺失严重。舆情的发现任意舆情系统最终都需要将数据呈现在用户面前，在大量相关数据面前，人一天满负荷浏览最多不会超过2000条微博，但在大数据的基础上，往往相关数据都会超过这个极限。因此如何实时将最重要的舆情信息优先放到用户面前成为重要问题。舆论噪音的辨别与去除社交平台中存在大量受控制的机器账号，总量惊人，这些机器账号可以被利用快速增长某些内容的转发量。需要有技术识别舆情的真假，防止被错误引导。舆情监测的挑战内容传播分析真实传播评估大数据采集从09年开始研发搭建的高效分布式采集平台，将近百个采集点毫无规律地放置在全球各地，使采集能力大增并且不易被平台防抓取技术拦截，已稳定采集4年相关数据。大数据处理自主研发了国际上最先进的非关系型数据库并利用分布式文件系统（hadoop）实现了低成本的高速数据读写。经测试同等硬件环境下，读取速度比SQLServer或Oracle快20倍，写入快5倍。舆情的发现基于国际上一些权威的传播研究论文，设计出能够实时评价舆情重要性的“热度指数”，获得国家相关奖项认可。舆论噪音的辨别与去除探查整个社交网络数亿用户情况，通过真实度算法识别网络机器人，确保去除虚假互联网声音。应对技术微博实时搜索微信实时搜索案例–平度事件最早影响力最大21-24号的数据统计日期微博数转发数评论数微信数3.21486442201294213.22608781142774513.23614362971341003.24262396414241实时意见领袖的监测传播地域评估新媒体下的内容引导什么是传统媒体？电视、广播、报纸、杂志、布告栏、电线杆……什么是新媒体？网络视频，IPTV，移动电视，数字报纸，数字杂志，博客，微博……新媒体的优势传播速度更快，信息更及时覆盖面更广，受众更多互动性更强新媒体的特点消解边界信息多元化和自由选择突破时空限制小众化与长尾效应自媒体什么是自媒体？@作业本784万粉丝独特的语言风格，契合时事热点的创作每条微博都有上千乃至数万转发评论牛鬼蛇神屌丝聚会这是什么？@王左中右每天一个汉字，读懂中国@小丑出品PS&吐槽新媒体平台上的

内容包装与品牌塑造独特的原创内容有针对性的受众群体紧抓热点关键的传播点良好的互动我买了这么多货不对版的植物我会告诉你吗？太长!toolong!发布微博时其他考量发布时间：中午十二点整后续：由韩寒在十分钟后进行转发后续：由亭林镇工作室的微博以及其他朋友微博账号进行转发并持续发酵最