Python程序设计基础项目化教程 教案 32 多页数据爬取

多页数据爬取课程名称Python语言程序教学内容多页数据爬取课时1项目性质□演性 验性 □计性 √合性授课班级授课日期授课地点教学目标爬取同一网页内多个页面信息并汇总教学内容1.借用Pycharm工具，建立Python3项目2.加载带有翻页的本地多页网页3.使用python爬取网页信息4.使用Beautifulsoap解析信息并保存教学重点教学难点1.使用python爬取网页信息2.使用Beautifulsoap解析信息并保存教学准备装有Python的计算机教学课件PPT教学过程教学环节教学内容与过程（教学内容、教学方法、组织形式、教学手段）课前组织做好上课前的各项准备工作（打开计算机、打开课件、打开软件、打开授课计划、教案等），吸引学生注意力。课程说明【目的】使学生从了解本节课的学习目标、学习重点、考评方式等方面明确课程学习的要求和目标。课程内容描述1 多页数据爬取实验目的1)掌握beautifulsoup4模块的基本用法实验环境1)OracleLinux7.42)Python3.6.53)Pycharm2017.2实验步骤1)打开IDE，配置解释器(如已完成解释器配置，可跳过解释器配置步骤)1.点击桌面pycharm图标打开IDE2.在打开的窗口中选择Configure选项，接着在弹出的下拉菜单中选择Settings打开首选项菜单3.首选项菜单中选择左侧的ProjectInterpreter，在右侧下拉菜单中选择3.6.5版本解释器，并依次点击Apply与OK确认设置2)新建Project(如已完成工程创建，可跳过此步骤)1.点击CreateNewProject新建工程2.在Location文本框中补充输入project，表示将/root/PycharmProjects/project作为新工程目录，并点击create完成创建3)新建python源代码文件1.鼠标右键单击project工程，在菜单中选择New->PythonFile创建.py文件2.在弹出窗口的Name文本框中输入.py文件的文件名，本次实验推荐文件名为“多页数据爬取“。接着点击OK按钮完成python源文件的创建。创建成功后，会默认在右侧编辑区域打开该文件4)编写实验代码1.输入如下代码[Code001]:#引入request模块、beautifulsoup4模块以及csv模块importurllib.requestfrombs4importBeautifulSoupimportcsv2.输入如下代码[Code002]:#定义一个函数loadData用于爬取指定页内的表格数据，并将表格的表头返回defloadData(page,resultList):file=urllib.request.urlopen("http://localhost:18080/list?page={page}".format(page=page))html=file.read()soup=BeautifulSoup(html,'html.parser')trlist=soup.find_all('tr')keys=trlist[0]keyset=[key.stringforkeyinkeysifkey.string!='\n']trlist=trlist[1:len(trlist)-1]fortrintrlist:tmpset=[td.stringfortdintriftd.string!='\n']resultList.append(tmpset)returnkeyset3.输入如下代码[Code003]:#定义持久化函数，将爬取后的数据写入当前目录下的csv文件中defpersistence(keyset,resultList):withopen('Titanic_train.csv','a',newline='')asfile:writer=csv.writer(file)writer.writerow(keyset)forrowinresultList:writer.writerow(row)4.输入如下代码[Code004]:#编写程序主入口，爬取1-9页数据并将全部数据持久化至csv文件中if__name__=='__main__':resultList=[]keyset=Noneforiinrange(1,10):keyset=loadData(i,resultList)persistence(keyset,resultList)5.完整代码如下图所示5)执行程序1.鼠标右键单击右侧编辑窗口，在菜单中选择Run‘python主程序所在文件名’一项执行编写好的Python程序，本次实验文件名为”多页数据爬取”2.生成的文