3-新媒体数据获取

1、X X X X 大 学 教 案 第三章 新媒体数据获取建立目标任务明确重难点课程导入，激发学习兴趣。讲授法，建立学习内容的总体印象。理论讲授讲授，案例演示讲授，操作演示。演示八爪鱼的操作，指导学生练习利用八爪鱼进行数据抓取。注意：本书是对V7版本的介绍，可以指导学生对最新V8版本的操作。课堂实验：指导学生对李佳琦抖音账号数据进行分析。课堂实验：指导学生利用飞瓜数据、抖音工具箱、已有统计报告进行数据分析。布置作业、巩固知识，进行形成性评价。教学反思一、课时安排：课时（理论讲授6课时，实践4课时）二、教学课型：理论、实践课三、教学目标：（1）了解新媒体数据需求及目标识别。（2）熟悉新媒体数据来源。

2、（3）掌握新媒体数据获取方式。（4）掌握新媒体数据获取的应用。四、教学重点难点：（1）新媒体数据来源。（2）新媒体数据获取方式。（3）新媒体数据获取的应用。五、教学方法：多媒体教学（讲授法、实验法）六、教学过程与内容：课程导入：常见新媒体数据产生及来源领域。本章概述：本章从新媒体数据需求及目标识别、新媒体数据来源和新媒体数据获取方式三个方面概述新媒体数据的获取。为了更好地理解与运用，第四节以“分析网红李佳琦抖音账号运营情况” 和数据新闻“中国城镇化的单身困境”为例，详细介绍了如何将以上方法应用到实践中。目的是将理论方法、操作技术与具体实践相结合，能够更好地实现新媒体数据获取。第一节 新媒体数据

3、需求及目标识别数据分析面临的主要挑战不仅有技术问题，还包括方向和组织领导的问题。因此，提出问题、明确需求、确定目标才能为接下来一系列的数据获取、分析、可视化等做好准备。针对不同的需求，我们要组合不同的数据进行分析，从多角度考虑设计。如分析宏观背景，可以从年代变化、地区差异、政府政策等方面搜集数据；分析微观事件，可以从媒体关注、网民讨论、时间节点、扩散路径等方面搜集数据。第二节 新媒体数据的来源（一）网络数据库大数据网络数据库大数据主要是指基于传统数据库对新媒体内容及相关信息进行存储的数据，如新闻内容数据、网络服务资源数据、消费者数据、用户行为数据、库存数据、账目数据等。（二）网络社交大数据网络

4、社交大数据主要是指用户参与和使用新媒体社交平台、系统、软件产生的数据，具有杂乱、异构等特点。目前以“三微一端”（微博、微信、微视频及新闻客户端）为代表的新媒体平台产生的数据是网络社交大数据的重点。新媒体平台后台数据大都能支持下载，以Excel文件方式导出到本地，供进一步分析应用。这些数据对运营者了解平台运营情况、提升运营质量具有重要意义。（三）网络行为日志大数据网络行为日志大数据主要是指新媒体设备、传感器等产生的数据，包括人为交易记录、浏览访问记录等数据，通常为结构化数据。（四）网络舆情大数据网络舆情大数据主要是指基于某热点话题或事件，大量用户通过新媒体方式参与而产生的数据，通常通过人工或智能

5、系统进行获取。第三节 新媒体数据的获取方式（一）政府统计部门在我国，政府统计部门包括国家统计局、省级统计局、市级统计局和区县级统计局，这些统计部门分别对不同层次、不同区域、不同范围的各类数据进行了详细的统计。例：国家统计局数据获取。（二）互联网部门及专题网站数据互联网部门及专题网站数据主要由互联网官方部门和互联网行业部门数据组成。诸如中央和国家网信办、中国互联网信息中心等提供的数据可归属为互联网官方部门数据，而像中国互联网协会、中国互联网金融研究会等提供的数据可归属为互联网行业部门数据。例：中国互联网发展状况统计报告。（三）系统日志采集日志数据的收集通常通过日志收集系统自动完成，日志收集系统要

6、做的事情就是实时收集业务日志数据供离线和在线的分析系统使用。高可用性、高可靠性和可扩展性是日志收集系统所具有的基本特征。系统日志数据可以通过第三方平台获取，如CNZZ数据专家网站。可以帮助统计某一网站的浏览次数、访客人数、访问数据等。例：利用友盟+平台获取日志数据。（四）Web数据抓取Web数据抓取即通常所称的网络爬虫，指的是根据相关的主题或关键词批量、快速从网站及新媒体平台上提取信息的一种计算机软件技术。Web数据抓取程序模拟浏览器的行为，能够提取浏览器上显示的任何数据，因此也称为屏幕抓取。Web数据抓取的最终目的是将非结构化的信息从大量的网页中抽取出来以结构化的方式存储。Web数据抓取通常

7、需要利用计算机程序设计语言进行程序编写，而且针对不同的需求和不同的抓取对象，程序的编写也有所差异，因而对于普通的用户来说具有较大的难度。而工具的应用为这一功能的实现提供了巨大的便利，也大大降低了操作的难度。例：以八爪鱼采集器为例，详细介绍Web数据抓取的操作。八爪鱼采集数据有简易采集和自定义采集两种模式，简易采集简单易操作，门槛低，无基础也可使用。自定义采集可以满足个性化需求，适合对八爪鱼有一定了解、掌握八爪鱼各项功能的用户。第四节 新媒体数据获取应用（一）“分析网红李佳琦抖音账号运营情况”数据获取1.确定分析方向李佳琦于2018年12月相继开通抖音、小红书、快手等社交账号，迅速以其专业、富有

8、个性的推荐方式成为最能带货的主播之一。截至2019年10月，李佳琦抖音账号估值为53305011元，其抖音账号极具分析价值。首先，分析运营质量，关注其总粉丝数、获赞数，单条视频播放量、转赞评数等；其次，分析营销效果，这是此账号分析中比较特殊的一点，因为李佳琦作为美妆博主、带货达人，对其带货能力的分析对于广告投放等具有重要意义；再次，分析整体环境背景，如网民数、抖音使用人数、平均消费水平等，便于后期进行信息获取。值得注意的一点是，正式进行数据处理和分析时，此阶段搜集到的数据也许并不会全部被用到，但还是要尽可能多地找到相关数据，以提供更多的分析依据。2.获取数据方法（1）第三方平台飞瓜数据飞瓜数据

9、作为分析短视频的专业工具，拥有丰富的数据资源和强大的数据分析能力。此案例中需要的账号总体数据、商品推广数据、作品数据、粉丝数据（包括新增粉丝数、粉丝年龄分布、粉丝性别分布、粉丝地域分布）和实时数据都可以在飞瓜平台的数据监测功能中获取。对于获取的数据，可以将其整理在Excel表格中，供后续使用。（2）Web抓取数据抖音工具箱抖音评论数据对衡量李佳琦账号视频效果与热度具有重要参考意义，但抖音评论无法大批量复制，因此需要利用工具进行抓取。在此使用抖音工具箱进行评论数据的抓取。（3）互联网部门及行业网站网民规模、网民属性、短视频用户规模等数据可以从相关统计部门、互联网部门及行业网站获得，为了后续处理方便，最好将获取的数据整理在Excel表格中。此案例中需要的背景数据主要来自中国互联网信息中心发布的第44次中国互联网络发展状况统计报告。（二）数据新闻“中国城镇化的单身困境”数据获取1.明确数据需求新闻选题和内容板块确定，即明确了数据新闻的方向，数据新闻中相应的数据需求也得到明确。见数据新闻中国城镇化的单身困境。2.收集获取数据包括国家统计部门数据、互联网部门及行业数据、Web抓取数据、系统日志采集数据。见数据新闻中国城镇化