教案：大数据采集之利用网络爬虫获取新冠疫情的实时数据

1、大数据釆集一利用网络爬虫获取新冠疫情的实时数据准备环境准备：Python3Pycharm主要模块：requestsIxmlopenpyxljson1、requests：实现网络请求发送2、Ixml：实现html/xml数据解析3、openpyxl：实现对excel的操作4、json：将字符串类型转变为字典(Python的数据结构)模块的安装：需要安装三个模块：requestsIxmlopenpyxl1、Win+R打开运行窗口，输入cmd回车，打开命令行窗口。2、输入命令pipinstallrequests安装requests模块。输入命令pipinstallIxml安装Ixml模块。输入命令p

2、ipinstallopenpyxl安装openpyxl模块。目标收集新冠疫情最新数据并写入excelo#1、爬取百度的疫情数据网页url二https：/voice,data二requests,get(url)Sprint(data.text)第二部分：解析获取到的内容，获得真正想要的疫情数据# 2、运用xpath语法获取真正想要的数据加tree.HTML()是将爬取的网页数据再生成标准网页格式数据，由于有些网页写的时候不规范web二etree.HTML(data,text)get二web.xpath(/scripttype二”application/json”/text()get二get0#

3、json.load。方法可以将字符串转化为python数据类型get二json.loads(get)第三部分将国内的数据存储到excel表格中：运用openyxl模块，openyxl模块是用于读取和写入excel2010文件的Python库。写入并保存数据# 3、将数据保存到excel文件中# 3.1创建一个excel工作簿workbookel二openpyxl.Workbook()# 3.2获取目前workbook的第一个工作表worksheetst二el.active# 3.3将工作表命名为“国内疫情”st.title二”国内疫情”# 3.4按照顺序填好表头st.append(省份，累计确

4、诊，死亡，治愈，现有确诊，累计确诊增量，死亡增量，治愈增量，现有确诊增量)china二getcomponent0caseList#print(china)foreign=getVcomponent0globalList，area一省份city城市confirmed-累计crued一值域relativeTime-confirmedRelative-累计的增量curedRelative-值域的增量curConfirm一现有确镇curConfirmRelative-现有确镇的增量，foriinchina：chdata=iarea,iconfirmed,idied,icrued,icurConfinn

5、,iconfirmedRelative,idiedRelative?,icuredRelative,icurConfirmRelative5foriinrange(len(chdata)：ifchdatai二二、：chdatai二、Ost.append(chdata)#获取国外疫情数据foriinforeign：sheet_title二iarea#创建一个新的工作表ws_out二el.create_sheet(sheet_title)ws_out.append(f国家，累计确诊，死亡，治愈，现有确诊，累计确诊增量)forcountryinisubList：list_temp二countrycountry,countryconfinned,countrydied,countrycrued,countrycurConfirm,country?confirmedRelativeJforiinrange(len(list_te