对爬取的信息进行筛选

对爬取的信息进行筛选筛选哪些信息对爬取的信息进行筛选筛选的信息有：重复数据空数据错误数据爬虫代码对爬取的信息进行筛选#encoding=utf8#设置默认编码importsys#编码模块importpandasaspd#数据分析模块reload(sys)#重载sys.setdefaultencoding('utf8')#设置编码为utf8df=pd.read_csv("E:\\data1.csv")#读取E盘根目录下的data1.csv文件foridxinrange(2,11):#循环10次name='E:\\data'+str(idx)+'.csv'#设置读取文件的名称df2=pd.read_csv(name)#循环读取data2.csv....data10.csvdf=pd.concat([df,df2],ignore_index=True)#将两个d合并成一个新的d，忽略两个df的索引爬虫代码对爬取的信息进行筛选df=df.drop_duplicates().dropna()#对df去重去空df=df[(df.price/df.area<10)][df.area<200]#去除单价高过10万和面积大于200的数据df.index=range(len(df))#df的重新设置索引，索引是df的长度sd1=df.ix[:,[0,1]].groupby(['location']).sum()#选择df的第一、第二列，按照'location'列分组求和x1=sd1.index#获取sd1的索引y1=sd1.price.tolist()#获取sd1的price的值并转成列表类型爬虫代码对爬取的信息进行筛选sd2=df.ix[:,[0,1,4]].copy()#选择df的第一、第二、第四列，并复制一份新数据sd2['avgprice']=sd2.price/sd2.area#sd2添加avgprice列，数据是sd2的price列的数据除以area列的数据sd2=sd2.groupby(['location']).mean().avgprice#sd2按照location分组并求平均在选取avgprice列x2=sd2.index#获取sd2的索引y2=sd2.tolist()#获取sd1的price的值并转成列表类型sd3=df.ix[:,['community','price','area']]#选择df的community，price，area列，并复制一份新数据sd3['avgprice']=sd3.price/sd3.area#sd3添加avgprice列，数据是sd3的price列的数据除以area列的数据爬虫代码对爬取的信息进行筛选sd3=sd3.groupby('community').mean().avgprice.sort_values(ascending=False)[:10]#sd2按照location分组并求平均在选取avgprice列再降序排序选取前10个x3=sd3.index#获取sd2的索引y3=sd3.tolist()#获取sd1的price的值并转成列表类型draw=[(x1,y1,'line'),(x2,y2,'scatter