教学爬取链家网的二手房信息并保存在本地

爬取链家网的二手房信息并保存在本地主讲：王庆宇爬去哪些信息爬取链家网的二手房信息并保存在本地爬取的信息有：房子所在的小区、房子的户型、房子的面积、房子的朝向、房子的装修情况、房子所在的地区、房子的总价。爬虫代码爬取链家网的二手房信息并保存在本地#encoding=utf8#设置默认编码frombs4importBeautifulSoup #导入网页解析模块importurllib #爬虫模块importurllib2 #爬虫模块importpandasaspd #数据分析模块importnumpyasnp #科学计算模块importtime #时间模块importsys #编码模块reload(sys) #重载sys.setdefaultencoding('utf8') #设置编码为utf8header={'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)''AppleWebKit/537.36(KHTML,likeGecko)''Chrome/64.0.3282.140Safari/537.36'}#访问页面的消息头values={'name':'MichaelFoord','location':'Northampton','language':'Python'}#身份封装，是通用的代码爬虫代码爬取链家网的二手房信息并保存在本地foridxinrange(1,11):#循环爬取前10页的数据信息url='/ershoufang/pg'+str(idx)+'/'#循环组成网页的urldata=urllib.urlencode(values)#爬虫身份封装request=urllib2.Request(url,data,header)#发送Request请求response=urllib2.urlopen(request).read()#获取网页信息soup=BeautifulSoup(response,'lxml')#解析获取的网页爬虫代码爬取链家网的二手房信息并保存在本地loc_father=soup.find_all('div',class_='positionInfo')#找到所有的class_='positionInfo'的div标签loc=[]#定义loc空列表用来存放地区foriteminloc_father:#循环标签loc.append(item.find_all('a')[0].get_text())#取出每个标签的子标签'a'(list类型)的第一个元素的文本内容爬虫代码爬取链家网的二手房信息并保存在本地info_father=soup.find_all('div',class_='houseInfo')#找到所有的class_='houseInfo'的div标签community=[]#定义community空列表用来存放小区名称house_shape=[]#定义house_shape空列表用来存放户型area=[]#定义area空列表用来存放面积direction=[]#定义direction空列表用来存放房子朝向decoration=[]#定义decoration空列表用来存放装修情况爬虫代码爬取链家网的二手房信息并保存在本地foritemininfo_father:#循环标签house_info=item.get_text().split('|')

#获取标签内的所有文本信息，用'|'分割community.append(house_info[0])

#把house_info的第一个元素放入小区的列表house_shape.append(house_info[1])

#把house_info的第二个元素放入户型的列表area.append(house_info[2].split(u'平米')[0])

#把house_info的第三个元素按'平米'分割后选择第一个放入面积的列表direction.append(house_info[3])

#把house_info的第四个元素房子朝向的列表

decoration.append(house_info[4])

#把house_info的第五个元素房子装修的列表爬虫代码爬取链家网的二手房信息并保存在本地lst=[]#定义一个信息汇总的列表foriinzip(loc,total_price,community,house_shape,area,direction,decoration):#把loc,total_price,community,house_shape,area,direction,decoration信息压缩成tuple类lst.append(i)#压缩的信息存放在列表，列表成为二维的列表df=pd.DataFrame(lst,columns=['location','price','community','house_shape',

'area','direction','decoration'])#把列表转成二维数组，并设置列索引爬虫代码爬取链家网的二手房信息并保存在本地df.price=df.price.astype(np.float64)#把price列的数据类型改为np.float64类型df.area=df.area.astype(np.float64)#把area列的数据类型改为np.float64类型files='E：\\data'+str(idx)+'.csv'#设置保存在本地地文件名df.to_csv(files,index=False,encoding='utf8')#保存在E