




版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
Python网络爬虫实习报告Python网络爬虫实习报告Python网络爬虫实习(报告)-13-目录一、选题背景 -2-二、爬虫原理 -2-三、爬虫历史和分类 -2-四、常用爬虫框架比较 -5-五、数据爬取实战(豆瓣网爬取电影数据) -6-1分析网页 -6-2爬取数据 -7-3数据整理、转换 -10-4数据保存、展示 -12-5技术难点关键点 -12-六、总结 -14-
选题背景爬虫原理爬虫历史和分类常用爬虫框架比较Scrapy框架:Scrapy框架是一套比较成熟的Python爬虫框架,是使用Python开发的快速、高层次的信息爬取框架,可以高效的爬取web页面并提取出结构化数据。Scrapy应用范围很广,爬虫开发、数据挖掘、数据监测、自动化测试等。Crawley框架:Crawley也是Python开发出的爬虫框架,该框架致力于改变人们从互联网中提取数据的方式。Portia框架:Portia框架是一款允许没有任何编程基础的用户可视化地爬取网页的爬虫框架。newspaper框架:newspaper框架是一个用来提取新闻、文章以及内容分析的Python爬虫框架。Python-goose框架:Python-goose框架可提取的信息包括:<1>文章主体内容;<2>文章主要图片;<3>文章中嵌入的任heYoutube/Vimeo视频;<4>元描述;<5>元标签五、数据爬取实战(豆瓣网爬取电影数据)1分析网页#获取html源代码
def__getHtml():
data=[]
pageNum=1
pageSize=0
try:
while(pageSize<=125):
#headers={'User-Agent':'Mozilla/5.0(WindowsNT6.1)AppleWebKit/537.11(KHTML,likeGecko)Chrome/23.0.1271.64Safari/537.11',
#'Referer':None#注意如果依然不能抓取的话,这里可以设置抓取网站的host
#}
#opener=urllib.request.build_opener()
#opener.addheaders=[headers]
url="/top250?start="+str(pageSize)+"&filter="+str(pageNum)
#data['html%s'%i]=urllib.request.urlopen(url).read().decode("utf-8")
data.append(urllib.request.urlopen(url).read().decode("utf-8"))
pageSize+=25
pageNum+=1
print(pageSize,pageNum)
exceptExceptionase:
raisee
returndata2爬取数据def__getData(html):
title=[]#电影标题
#rating_num=[]#评分
range_num=[]#排名
#rating_people_num=[]#评价人数
movie_author=[]#导演
data={}
#bs4解析html
soup=BeautifulSoup(html,"html.parser")
forliinsoup.find("ol",attrs={'class':'grid_view'}).find_all("li"):
title.append(li.find("span",class_="title").text)
#rating_num.append(li.find("div",class_='star').find("span",class_='rating_num').text)
range_num.append(li.find("div",class_='pic').find("em").text)
#spans=li.find("div",class_='star').find_all("span")
#forxinrange(len(spans)):
#ifx<=2:
#pass
#else:
#rating_people_num.append(spans[x].string[-len(spans[x].string):-3])
str=li.find("div",class_='bd').find("p",class_='').text.lstrip()
index=str.find("主")
if(index==-1):
index=str.find("...")
print(li.find("div",class_='pic').find("em").text)
if(li.find("div",class_='pic').find("em").text==210):
index=60
#print("aaa")
#print(str[4:index])
movie_author.append(str[4:index])
data['title']=title
#data['rating_num']=rating_num
data['range_num']=range_num
#data['rating_people_num']=rating_people_num
data['movie_author']=movie_author
returndata3数据整理、转换def__getMovies(data):
f=open('F://douban_movie.html','w',encoding='utf-8')
f.write("<html>")
f.write("<head><metacharset='UTF-8'><title>Inserttitlehere</title></head>")
f.write("<body>")
f.write("<h1>爬取豆瓣电影</h1>")
f.write("<h4>作者:刘文斌</h4>")
f.write("<h4>时间:"+nowtime+"</h4>")
f.write("<hr>")
f.write("<tablewidth='800px'border='1'align=center>")
f.write("<thead>")
f.write("<tr>")
f.write("<th><fontsize='5'color=green>电影</font></th>")
#f.write("<thwidth='50px'><fontsize='5'color=green>评分</font></th>")
f.write("<thwidth='50px'><fontsize='5'color=green>排名</font></th>")
#f.write("<thwidth='100px'><fontsize='5'color=green>评价人数</font></th>")
f.write("<th><fontsize='5'color=green>导演</font></th>")
f.write("</tr>")
f.write("</thead>")f.write("<tbody>")
fordataindatas:
foriinrange(0,25):
f.write("<tr>")
f.write("<tdstyle='color:orange;text-align:center'>%s</td>"%data['title'][i])
#f.write("<tdstyle='color:blue;text-align:center'>%s</td>"%data['rating_num'][i])
f.write("<tdstyle='color:red;text-align:center'>%s</td>"%data['range_num'][i])
#f.write("<tdstyle='color:blue;text-align:center'>%s</td>"%data['rating_people_num'][i])
f.write("<tdstyle='color:black;text-align:center'>%s</td>"%data['movie_author'][i])
f.write("</tr>")
f.write("</tbody>")f.write("</thead>")
f.write("</table>")
f.write("</body>")
f.write("</html>")
f.close()
if__name__=='__main__':
datas=[]
htmls=__getHtml()
foriinrange(len(htmls)):
data=__getData(htmls[i])
datas.append(data)
__getMovies(datas)4数据保存、展示结果如后图所示:5技术难点关键点数据爬取实战(搜房网爬取房屋数据)frombs4importBeautifulSoup
importrequests
rep=requests.get('/top/')
rep.encoding="gb2312"#设置编码方式
html=rep.text
soup=BeautifulSoup(html,'html.parser')
f=open('F://fang.html','w',encoding='utf-8')
f.write("<html>")
f.write("<head><metacharset='UTF-8'><title>Inserttitlehere</title></head>")
f.write("<body>")
f.write("<center><h1>新房成交TOP3</h1></center>")
f.write("<tableborder='1px'width='1000px'height='800px'align=center><tr>")
f.write("<th><h2>房址</h2></th>")
f.write("<th><h2>成交量</h2></th>")
f.write("<th><h2>均价</h2></th></tr>")
forliinsoup.find("ul",class_="ul02").find_all("li"):
name=li.find("div",class_=
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 西北师范大学《事故调查课程设计》2023-2024学年第一学期期末试卷
- 阳泉师范高等专科学校《世界通史合》2023-2024学年第一学期期末试卷
- 四川省宜宾市兴文县2024年九上化学期末质量跟踪监视模拟试题含解析
- 共享出行信用评价体系在2025年的信用评级模型优化报告
- 湖南省常德市鼎城区2025届九年级化学第一学期期末调研试题含解析
- 宝鸡三和职业学院《医学分子生物学与遗传学》2023-2024学年第一学期期末试卷
- 2025届广东省清远市阳山县数学七年级第一学期期末复习检测试题含解析
- 油船防爆登记管理办法
- 法律尽职调查管理办法
- 法院执行绩效管理办法
- 苏教版2023-2024学年小学五年级下册数学暑假练习(假期作业)合集21份
- 生物-湖南省邵阳市2023-2024学年高二下学期7月期末联考试题和答案
- 西师版三年级下册数学练习册思维拓展解决问题
- 软件开发项目进度管理
- CNAS-CL01-2018内审检查记录表
- 2024年中级经济师考试题库含答案(a卷)
- 八年级下册物理计算题专练(解析版)
- 《无人机驾驶航空试验基地(试验区)基础设施建设规范(征求意见稿)》
- 衍射概念与布拉格方程
- 湘美版小学二年级下册美术全册教案
- 山东农业工程学院辅导员考试试题2024
评论
0/150
提交评论