Python程序设计基础项目化教程 实训指导书 29Python爬虫

《Python语言程序设计》实训指导书Python爬虫任务背景：大数据时代，数据就是矿藏，如何发现、收集、挖掘数据，显然是一项重要的事情。通过网络爬虫，可以快速收集大量的数据用于处理或分析。网络爬虫，是一种按照一定的规则，自动地抓取网络信息的程序或者脚本。任务需求：搭建一个本地网页，利用python爬虫爬取本地网页上的文字内容任务分析：任务步骤：1.借用Pycharm工具，建立Python3项目2.搭建一个本地网页3.利用python爬虫爬取本地网页上的文字内容任务结果：创建一个本地网页如下使用爬虫得到部分结果如下任务实施过程：1 本地网站数据的准备与python实现简单爬虫功能知识点1)启动Tomcat发布本地网站实验目的1)本地网站数据的准备实验环境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5实验步骤1)基于本地的网站数据的准备1.启动Tomcat，查看发布的网站,。[Command001]:catalina.shstart[Command002]:ls/opt/tomcat/webapps/liarbry/html/2.单击桌面左下角的人形图标3.单击网页浏览器，如下图4.打开的浏览器地址栏中输入网页地址，查看网页内容。[Command003]:http://localhost:8080/liarbry/html/books-1.html2Python3实现简单爬虫功能知识点1)启动服务，发布网站。2)Python的Urllib2模拟浏览器访问网页3)Python将网页数据爬取到本地，做为实验数据使用。实验目的1)理解python的Urllib2模拟浏览器原理实验环境1)OracleLinux7.42)Jdk1.8.0_1713)Pycharm4)Python3.6.5实验步骤1)Pycharm建立Python3项目1.鼠标双击桌面“pycharm”图标，打开pycharm工具，依次选择主菜单File->NewProject…选项，在弹出的窗口中Location对应的文本框中输入项目名project，点击Create按钮，完成项目的创建。2.如果是第1次打开此工具会弹出“WelcometoPyCharmCommunityEdition”窗口，鼠标点击“Donotshowagain”,下次再打开工具时就不会弹出此窗口。然后选择“CreateNewProject”，在弹出的窗口中Location对应的文本框中输入项目名project，点击Create按钮，完成项目的创建。3.建立包名experiment，用于写清洗Python程序。具体做法：选中新建立的项目project->鼠标右键->New->PythonPackage。4.在弹出的NewPackage窗口中的文本框内，输入要建立的包名(用户可自定义)“experiment”,点击OK按键，完成包名的创建。5.此时在窗口左侧的窗口中的project项目下可以看到新建立experiment程序包，在该包下写实验相关的Python程序。6.设置统一的编码模式，使新生成的文件支持中文，统一设置utf-8编码。具体做法：File->settings->Editor->FileandCodeTemplates->PythonScript。在PythonScript对应的文本模式中输入具体编码设置，点击OK按钮，完成设置。[Code001]：#!/usr/bin/python#-*-coding:utf-8-*-2)编写Python3程序，实现爬取网页数据的功能1.为了实现爬取http://localhost:8080/liarbry/html/books-1.html网页的数据，建立python文件Spider.py编写程序。具体做法：选中包名experiment->鼠标右键->选择New->选择PythonFile。2.在弹出的窗口中，属性值Name对应的文本框中输入新建立的文件的名字“Spider”，点击OK按钮，完成文件的创建。3.在新建立的Spider.py文件中编写代码。具体代码如下。[Code002]：#!/usr/bin/python#-*-coding:utf-8-*-#加载模块importrequestsimportbs4#定义待爬取网页连接url='http://localhost:8080/liarbry/html/books-3.html'#获取网页源码response=requests.get(url)#使用bs4解析网页content=bs4.BeautifulSoup(response.content.decode("utf-8"),"lxml")#找到节点<a>的信息element=content.find_all(name='a')#打开文本文件并写入信息f1=open('urls.txt','w')f1.write(str(element).strip())f1.close()#查找第三个节点<a>中的第0个内容element=content.find_all('a')[3].contents[0]print(element)#查找href为特定链接的节点element=content.find_all(href='/catalogue/category/books/sports-and-games_17/index.html')print(element)#查找属性id为default的节点element=content.find_all(id='default')f2=open('body.txt','w')f2.write(str(element).strip())f2.close()4