网络空间安全概论 实验7网络爬虫 新冠疫情爬虫及词云与可视化地图

中国矿业大学计算机学院2019级本科生课程报告课程名称信息内容安全报告题目新冠疫情爬虫及词云与可视化地图报告时间2022.6.30姓名丁文翔学号08193072任课教师曹天杰2021-2022(二)《信息内容安全》评分表考核类别考核内容支撑课程目标试题类型与分值比例分数结课考核课程报告（论文综述、设计、实现、写作规范）目标3：掌握信息内容安全的基础知识，针对具体问题和要求选择正确的技术路线，通过在实验环境中进行仿真实验并能根据算法特点进行攻击测试和综合性能评价，得到具有参考价值的结论。课程报告，100%过程考核1.基本概念、原理目标1:掌握信息内容安全的基本概念、分类、原理和相关技术，能够根据课程基本知识对信息内容安全领域出现的问题进行归类、分析、并有初步分析和解决问题的能力。系统演示及解说，30%2.系统设计与分析目标2：掌握信息内容安全处理相关的理论、技术以及健全的评价体系，能够根据具体问题分析算法、设计算法、实现算法并能综合评价算法。PPT讲解与答辩，50%3.基本概念、原理目标1作业或测试，20%结课考核与过程考核比例结课考核：60%过程考核：40%评阅人：2022年7月10日报告摘要始于2019年的全球新冠疫情，是人类百年工业文明快速发展、全球化进程加快进程中突然遭遇的重大传染性疫病，近3年来，已经改变、还在继续改变几十亿人类的生命、生活、生态和生产方式。为了更直观的查看以及分析各地疫情，本项目将利用爬虫技术，爬取中国各地以及世界各个国家的新冠疫情数据，生成词云，疫情地图等可视化图片或网页，供用户观看。关键词：爬虫；新冠疫情；疫情地图 AbstractTheCOVID-19pandemic,whichstartedin2019,isamajorinfectiousdiseasesuddenlyencounteredinthecourseofrapiddevelopmentofindustrialcivilizationandacceleratedglobalization.Inthepastthreeyears,ithaschangedandcontinuestochangethewaybillionsofpeoplelive,live,andwork.Inordertoviewandanalyzetheepidemicsituationindifferentplacesmoredirectly,theprojectwillusecrawlertechnologytocrawltheCOVID-19epidemicdataofdifferentplacesinChinaandothercountriesaroundtheworld,andgeneratewordcloud,epidemicmapandothervisualpicturesorwebpagesforuserstowatch.Keyword:crawler;COVID-19;Theoutbreakmap

报告正文1、项目背景正在发生的全球新冠疫情，所造成的风险在公共化、全球化，给这个世界带来巨大的不确定性，预示着人类文明发展存在总体性危机。全球新冠肺炎疫情的爆发，使当今世界局势发生剧烈复杂变化，一场可能会影响全球格局的巨大变革正在发生。各国采取不同的措施应对全球新冠肺炎疫情，美、欧、中等各经济圈分裂的趋势在加强。以美国为代表的西方国家，从对外扩张转变为向内收缩或退守，体现在本土主义的兴起、贸易保护主义的反弹以及其他一些“逆全球化”的迹象。面对突如其来的全球性新冠肺炎疫情，西方社会的内部矛盾，包括经济与文化方面的问题，开始全面爆发，民众的挫折与失望感越来越广泛。所谓“发达社会”，也呈现出一副失序状态：经济失调、政治失序、安全失控、制度失灵。移民和难民大量涌入，对各国的本地传统价值、生活方式以及民族认同都会造成冲击。经济利益的冲突与文化诉求的矛盾相互交织、彼此纠葛，造成了西方社会严重的政治极化现象。对中国这些发展中国家来说，外部环境变化的不确定性也非常明显。西方打破了现有国际体系的稳定性，并导致国际体系出现快速、急剧的变化，这就给中国的外部环境带来巨大挑战。如何处理与西方国家之间的问题、与国际秩序之间的问题，亦成为中国需要面对的挑战。同时，新技术革命，尤其是人工智能、生物技术的迅即发展，对现有的生产、劳动和消费结构冲击，以及对文化变迁的深远影响，都可能超越既有“现代秩序”的有效框架，蕴含着巨大的未知风险。有专家指出，新冠肺炎疫情带来的这场全球性危机，不仅表现为生态和环境危机、资源和气候危机，而且还表现为深重的经济、金融危机和社会危机。上世纪“二战”之后确定的国际政治经济秩序在某种程度上处于内外交困的局面。世界正在滑向各种影响深远的冲突和战争：军事冲突、贸易战争、政治和外交战、金融战争等等，世界很可能进入了一个“巨变”的时期。2、项目介绍该项目使用了爬虫技术，通过url获取网页html代码，保存为json文件，在json文件中提取我们需要的数据，获取到数据之后，使用python库中的worldcloud制作词云图，pyecharts制作疫情地图3、项目实现3.1、使用爬虫获取数据我们首先将使用requests方法获得整个网页的html代码，并保存为txt文件，便于分析，这里我们需要注意伪造一下请求头获得html文件后，我们需要找到，我们需要的数据，下面蓝色的部分包含着我们需要的数据，它是以字典和列表的来回穿插的形式保存的，我们通过取下标0和对应的键就可以获得全部的疫情信息然后我们使用xpath方法来解析数据获得数据后，为了更加直观的观察数据和制作词云，我们将它们保存到data.xlsx的excel文件中，下图可以看到我们成功保存国内各个省份的相关信息和以大州为分类的各个国家信息中国各个省份数据亚洲国家数据实现代码如下我们也将解析的数据保存到json文件中，方便以后做整个中国及每个省份地图和世界地图做准备json文件如下:3.2、制作词云这里我们使用wordcloud库来实现，将excel中数据中的省份或国家作为键，累计确诊人数作为键值放到字典中，再根据该字典，使用wordcloud.generate_from_frequencies()方法生成云，保存为图片即可3.3、制作疫情地图制作地图我们使用pyecharts官网，map上面使用的代码，再将我们需要的参数添加进去就可以，网址如下：/#/zh-cn/geography_charts?id=map%ef%bc%9a%e5%9c%b0%e5%9b%be中国地图Demo:广东地图Demo:中国地图实现如下：将省份和累计人数作为元组，反应到地图上，其余地图同理中国各省份地图实现：世界地图实现如下：世界地图添加了三种，分别为累计确诊人数，累计治愈人数和当前确诊人数：最后为各个地图添加获取时间，获取时间使用正则表达式在html页面获取4、项目成果4.1词云展示中国词云：世界词云：4.