Python程序设计基础项目化教程 教案 31 Python爬虫

Python爬虫课程名称Python语言程序教学内容Python爬虫课时1项目性质□演性 验性 □计性 √合性授课班级授课日期授课地点教学目标搭建一个本地网页，利用python爬虫爬取本地网页上的文字内容教学内容1.借用Pycharm工具，建立Python3项目2.搭建一个本地网页3.利用python爬虫爬取本地网页上的文字内容教学重点教学难点利用python爬虫爬取本地网页上的文字内容教学准备装有Python的计算机教学课件PPT教学过程教学环节教学内容与过程（教学内容、教学方法、组织形式、教学手段）课前组织做好上课前的各项准备工作（打开计算机、打开课件、打开软件、打开授课计划、教案等），吸引学生注意力。课程说明【目的】使学生从了解本节课的学习目标、学习重点、考评方式等方面明确课程学习的要求和目标。课程内容描述1 本地网站数据的准备与python实现简单爬虫功能知识点1)启动Tomcat发布本地网站实验目的1)本地网站数据的准备实验环境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5实验步骤1)基于本地的网站数据的准备1.启动Tomcat，查看发布的网站,。[Command001]:catalina.shstart[Command002]:ls/opt/tomcat/webapps/liarbry/html/2.单击桌面左下角的人形图标3.单击网页浏览器，如下图4.打开的浏览器地址栏中输入网页地址，查看网页内容。[Command003]:http://localhost:8080/liarbry/html/books-1.html2Python3实现简单爬虫功能知识点1)启动服务，发布网站。2)Python的Urllib2模拟浏览器访问网页3)Python将网页数据爬取到本地，做为实验数据使用。实验目的1)理解python的Urllib2模拟浏览器原理实验环境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5实验步骤1)Pycharm建立Python3项目1.鼠标双击桌面“pycharm”图标，打开pycharm工具，依次选择主菜单File->NewProject…选项，在弹出的窗口中Location对应的文本框中输入项目名project，点击Create按钮，完成项目的创建。2.如果是第1次打开此工具会弹出“WelcometoPyCharmCommunityEdition”窗口，鼠标点击“Donotshowagain”,下次再打开工具时就不会弹出此窗口。然后选择“CreateNewProject”，在弹出的窗口中Location对应的文本框中输入项目名project，点击Create按钮，完成项目的创建。3.建立包名experiment，用于写清洗Python程序。具体做法：选中新建立的项目project->鼠标右键->New->PythonPackage。4.在弹出的NewPackage窗口中的文本框内，输入要建立的包名(用户可自定义)“experiment”,点击OK按键，完成包名的创建。5.此时在窗口左侧的窗口中的project项目下可以看到新建立experiment程序包，在该包下写实验相关的Python程序。6.设置统一的编码模式，使新生成的文件支持中文，统一设置utf-8编码。具体做法：File->settings->Editor->FileandCodeTemplates->PythonScript。在PythonScript对应的文本模式中输入具体编码设置，点击OK按钮，完成设置。[Code001]：#!/usr/bin/python#-*-coding:utf-8-*-2)编写Python3程序，实现爬取网页数据的功能1.为了实现爬取http://localhost:8080/liarbry/html/books-1.html网页的数据，建立python文件Spider.py编写程序。具体做法：选中包名experiment->鼠标右键->选择New->选择PythonFile。2.在弹出的窗口中，属性值Name对应的文本框中输入新建立的文件的名字“Spider”，点击OK按钮，完成文件的创建。3.在新建立的Spider.py文件中编写代码。具体代码如下。[Code002]：#!/usr/bin/python#-*-coding:utf-8-*-#加载模块importrequestsimportbs4#定义待爬取网页连接url='http://localhost:8080/liarbry/html/books-3.html'#获取网页源码response=requests.get(url)#使用bs4解析网页content=bs4.BeautifulSoup(response.content.decode("utf-8"),"lxml")#找到节点<a>的信息element=content.find_all(name='a')#打开文本文件并写入信息f1=open('urls.txt','w')f1.write(str(element).strip())f1.close()#查找第三个节点<a>中的第0个内容element=content.find_all('a')[3].contents[0]print(element)#查找href为特定链接的节点element=content.find_all(href='/catalogue/category/books/sports-and-games_17/index.html')print(element)#查找属性id为default的节点element=content.find_all(id='default')f2=open('body.txt','w')f2.write(str(element).strip())f2.close()4.其中Spider.py文件编写程序后的样式如图所示。5.代码中单击右键，选择RunSpider，运行程序。如下图所示.6