租房爬虫报告

租房爬虫爬虫技术关键代码数据分析运行结果01.02.03.04.

目录01爬虫技术01爬虫技术123request.get(url,params=None,**kwargs)其中，url为获取页面的链接，params为额外参数，字典或者字节流格式，其为可选。**kwargs为12个控制访问的参数。BeautifulSoup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。pyecharts是一款将python与echarts结合的强大的数据可视化工具。请求库：requests

HTML解析：BeautifulSoup数据可视化：pyecharts爬虫技术01导入相关包importreimportrequestsimportrandomimporttimefrombs4importBeautifulSoupfrompyecharts.chartsimportBar,Line,Page,Piefrompyechartsimportoptionsasopts爬虫技术01请求头user_agent_list=["Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/22.0.1207.1Safari/537.1","Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/536.6(KHTML,likeGecko)Chrome/20.0.1092.0Safari/536.6","Mozilla/5.0(WindowsNT6.2;WOW64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/Safari/537.1",]UA=random.choice(user_agent_list)headers={'User-Agent':UA}爬虫技术01目标网址url='/zufang/pg'02关键代码02关键代码#目标网址url='/zufang/pg'#要获取的信息title_list=[]#标题price_list=[]#租金position_list=[]#地理位置size_list=[]#房子面积02关键代码#标题title=li_quick.find('a',class_='twoline').get_text().strip()#租金price=li_quick.find('span',class_='content__list--item-price').find('em').get_text().strip()#位置信息position=li_quick.find('p',class_='content__list--item--des').find('a').get_text().strip()#面积size=re.findall(r'\d+㎡',temp_size)02关键代码<aclass="twoline"target="_blank"href="/zufang/XZ2795760721969807360.html">整租·绿地国际花都1室1厅南</a>爬虫技术01数据存储df=pd.DataFrame({'标题':title_list,'租金':price_list,'位置':position_list,'面积':size_list})df.to_excel("zufang.xlsx",index=False)数据分析0303数据分析defarea_house_num()->Bar:c=(Bar(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(area_num_dict.keys())).add_yaxis("数量",list(area_num_dict.values())).set_global_opts(title_opts=opts.TitleOpts(title="房源数量",subtitle="各地区房源数量"),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=30))))returnc各区房源数量柱状图03数据分析defarea_house_average_price()->Line:c=(Line(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(average_price_dict.keys())).add_yaxis("平均价",list(average_price_dict.values())).set_global_opts(title_opts=opts.TitleOpts(title="房源平均价",subtitle="各地区房源平均价"),xaxis_opts=opts.AxisOpts(axislabel_opts=opts.LabelOpts(rotate=30))))returnc各区租房均价折线图03数据分析defarea_house_type_num()->Bar:c=(Bar(init_opts=opts.InitOpts(width="600px",height="300px")).add_xaxis(list(area_room_type_dict.keys())).add_yaxis("数量",list(area_room_type_dict.values())).reversal_axis().set_series_opts(label_opts=opts.LabelOpts(position="right")).set_global_opts(title_opts=opts.TitleOpts(title="房源户型数量",subtitle="各地区房源户型数量"),))returnc各区域房源数量柱状图03数据分析defarea_room_size()->Pie:c=(Pie(init_opts=opts.InitOpts(width="600px",height="335px")).add("",[list(z)forzinzip(area_room_size_dict.keys(),area_room_size_dict.values())]).set_global_opts(title_opts=o