Python爬虫程序设计KC26课件

2.6.1项目简介2.6.1项目简介2.6.1项目简介在中国天气网()中输入一个城市的名称，例如输入深圳，那么会转到地址/weather1d/101280601.shtml的网页显示深圳的天气预报，其中101280601是深圳的代码，每个城市或者地区都有一个代码。如图2-6-1、2-6-2所示。2.6.1项目简介Python爬虫程序设计KC26课件Python爬虫程序设计KC26课件2.6.2HTML代码分析2.6.2HTML代码分析2.6.2HTML代码分析用Chrome浏览器浏览网站，鼠标指向7天天气预报的今天位置，点击右键弹出菜单，选择“检查”就可以打开这个位置对应的HTML代码，如图2-6-3所示。2.6.2HTML代码分析选择<ulclass="tclearfix">元素，点击右键弹出菜单选择"EditasHTML"，就可以进入编辑状态，复制整个HTML，结果如下：<ulclass="tclearfix"><liclass="on"><h1>5日（今天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>28℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em>选择<ulclass="tclearfix">元素，点击<i>微风</i></p><divclass="slid"></div></li><li><h1>6日（明天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><i>微风</i><h1>7日（后天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>8日（周四）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>7日（后天）</h1><h1>9日（周五）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>33</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>9日（周五）</h1><h1>10日（周六）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>33</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>10日（周六）</h1><h1>11日（周日）</h1><bigclass="png40d01"></big><bigclass="png40n07"></big><ptitle="多云转小雨"class="wea">多云转小雨</p><pclass="tem"><span>33</span>/<i>26℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li></ul><h1>11日（周日）</h1>2.6.3爬取天气预报数据2.6.3爬取天气预报数据2.6.3爬取天气预报数据通过分析HTML代码，我们可以编写爬取的程序爬取深圳7天的天气预报数据：

frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.request

url="/weather/101280601.shtml"try:headers={"User-Agent":"Mozilla/5.0(Windows;U;WindowsNT6.0x64;en-US;rv:1.9pre)Gecko/2008072421Minefield/3.0.2pre"}req=urllib.request.Request(url,headers=headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,["utf-8","gbk"])data=dammit.unicode_markupsoup=BeautifulSoup(data,"lxml")lis=soup.select("ul[class='tclearfix']li")forliinlis:try:date=li.select('h1')[0].textweather=li.select('p[class="wea"]')[0].texttemp=li.select('p[class="tem"]span')[0].text+"/"+li.select('p[class="tem"]i')[0].textprint(date,weather,temp)exceptExceptionaserr:print(err)exceptExceptionaserr:print(err)2.6.3爬取天气预报数据程序爬取结果：5日（今天）多云32/28℃6日（明天）多云32/27℃7日（后天）多云32/27℃8日（周四）多云32/27℃9日（周五）多云33/27℃10日（周六）多云33/27℃11日（周日）多云转小雨33/26℃由此可见爬取的数据与我们直接从网站看到的是一样的。

程序爬取结果：2.6.4爬取与存储天气预报数据2.6.4爬取与存储天气预报数据2.6.4爬取与存储天气预报数据我们可以获取北京、上海、广州、深圳等城市的代码，爬取这些城市的天气预报数据，并存储到sqllite数据库weathers.db中，存储的数据表weathers是：createtableweathers(wCityvarchar(16),wDatevarchar(16),wWeathervarchar(64),wTempvarchar(32),constraintpk_weatherprimarykey(wCity,wDate))"编写程序依次爬取各个城市的天气预报数据存储在数据库中，程序如下：2.6.4爬取与存储天气预报数据frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.requestimportsqlite3

classWeatherDB:defopenDB(self):self.con=sqlite3.connect("weathers.db")self.cursor=self.con.cursor()try:self.cursor.execute("createtableweathers(wCityvarchar(16),wDatevarchar(16),wWeathervarchar(64),wTempvarchar(32),constraintpk_weatherprimarykey(wCity,wDate))")except:self.cursor.execute("deletefromweathers")

defcloseDB(self):mit()self.con.close()frombs4importBeautifulSoupdefinsert(self,city,date,weather,temp):try:self.cursor.execute("insertintoweathers(wCity,wDate,wWeather,wTemp)values(?,?,?,?)",(city,date,weather,temp))exceptExceptionaserr:print(err)

defshow(self):self.cursor.execute("select*fromweathers")rows=self.cursor.fetchall()print("%-16s%-16s%-32s%-16s"%("city","date","weather","temp"))forrowinrows:print("%-16s%-16s%-32s%-16s"%(row[0],row[1],row[2],row[3]))

classWeatherForecast:def__init__(self):self.headers={"User-Agent":"Mozilla/5.0(Windows;U;WindowsNT6.0x64;en-US;rv:1.9pre)Gecko/2008072421Minefield/3.0.2pre"}self.cityCode={"北京":"101010100","上海":"101020100","广州":"101280101","深圳":"101280601"}definsert(self,city,date,weatdefforecastCity(self,city):ifcitynotinself.cityCode.keys():print(city+"codecannotbefound")return

url="/weather/"+self.cityCode[city]+".shtml"try:req=urllib.request.Request(url,headers=self.headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,["utf-8","gbk"])data=dammit.unicode_markupsoup=BeautifulSoup(data,"lxml")lis=soup.select("ul[class='tclearfix']li")defforecastCity(self,city):forliinlis:try:date=li.select('h1')[0].textweather=li.select('p[class="wea"]')[0].texttemp=li.select('p[class="tem"]span')[0].text+"/"+li.select('p[class="tem"]i')[0].textprint(city,date,weather,temp)self.db.insert(city,date,weather,temp)exceptExceptionaserr:print(err)exceptExceptionaserr:print(err)forliinlis:defprocess(self,cities):self.db=WeatherDB()self.db.openDB()

forcityincities:self.forecastCity(city)

#self.db.show()self.db.closeDB()

ws=WeatherForecast()cess(["北京","上海","广州","深圳"])print("completed")defprocess(self,cities):北京7日（今天）晴间多云，北部山区有阵雨或雷阵雨转晴转多云31℃/17℃北京8日（明天）多云转晴，北部地区有分散阵雨或雷阵雨转晴34℃/20℃北京9日（后天）晴转多云36℃/22℃北京10日（周六）阴转阵雨30℃/19℃北京11日（周日）阵雨27℃/18℃北京12日（周一）阴转晴28℃/20℃北京13日（周二）晴32℃/21℃上海7日（今天）多云30/21℃上海8日（明天）多云转阴32/23℃上海9日（后天）阵雨32/24℃上海10日（周六）中雨27/22℃上海11日（周日）小雨转多云29/22℃上海12日（周一）多云30/22℃上海13日（周二）多云转阴30/21℃广州7日（今天）多云35/27℃广州8日（明天）多云35/28℃广州9日（后天）多云35/28℃广州10日（周六）多云35/28℃广州11日（周日）多云35/28℃广州12日（周一）雷阵雨35/27℃广州13日（周二）雷阵雨转大雨33/24℃深圳7日（今天）阵雨转多云34/28℃深圳8日（明天）晴34/28℃深圳9日（后天）晴34/28℃深圳10日（周六）晴转阵雨34/28℃深圳11日（周日）阵雨33/27℃深圳12日（周一）阵雨32/27℃深圳13日（周二）阵雨转中雨32/25℃北京7日（今天）晴间多云，北部山区有阵雨或雷阵雨转晴转多2.6.1项目简介2.6.1项目简介2.6.1项目简介在中国天气网()中输入一个城市的名称，例如输入深圳，那么会转到地址/weather1d/101280601.shtml的网页显示深圳的天气预报，其中101280601是深圳的代码，每个城市或者地区都有一个代码。如图2-6-1、2-6-2所示。2.6.1项目简介Python爬虫程序设计KC26课件Python爬虫程序设计KC26课件2.6.2HTML代码分析2.6.2HTML代码分析2.6.2HTML代码分析用Chrome浏览器浏览网站，鼠标指向7天天气预报的今天位置，点击右键弹出菜单，选择“检查”就可以打开这个位置对应的HTML代码，如图2-6-3所示。2.6.2HTML代码分析选择<ulclass="tclearfix">元素，点击右键弹出菜单选择"EditasHTML"，就可以进入编辑状态，复制整个HTML，结果如下：<ulclass="tclearfix"><liclass="on"><h1>5日（今天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>28℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em>选择<ulclass="tclearfix">元素，点击<i>微风</i></p><divclass="slid"></div></li><li><h1>6日（明天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><i>微风</i><h1>7日（后天）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>8日（周四）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>32</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>7日（后天）</h1><h1>9日（周五）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>33</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>9日（周五）</h1><h1>10日（周六）</h1><bigclass="png40d01"></big><bigclass="png40n01"></big><ptitle="多云"class="wea">多云</p><pclass="tem"><span>33</span>/<i>27℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li><li><h1>10日（周六）</h1><h1>11日（周日）</h1><bigclass="png40d01"></big><bigclass="png40n07"></big><ptitle="多云转小雨"class="wea">多云转小雨</p><pclass="tem"><span>33</span>/<i>26℃</i></p><pclass="win"><em><spantitle="无持续风向"class=""></span><spantitle="无持续风向"class=""></span></em><i>微风</i></p><divclass="slid"></div></li></ul><h1>11日（周日）</h1>2.6.3爬取天气预报数据2.6.3爬取天气预报数据2.6.3爬取天气预报数据通过分析HTML代码，我们可以编写爬取的程序爬取深圳7天的天气预报数据：

frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.request

url="/weather/101280601.shtml"try:headers={"User-Agent":"Mozilla/5.0(Windows;U;WindowsNT6.0x64;en-US;rv:1.9pre)Gecko/2008072421Minefield/3.0.2pre"}req=urllib.request.Request(url,headers=headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,["utf-8","gbk"])data=dammit.unicode_markupsoup=BeautifulSoup(data,"lxml")lis=soup.select("ul[class='tclearfix']li")forliinlis:try:date=li.select('h1')[0].textweather=li.select('p[class="wea"]')[0].texttemp=li.select('p[class="tem"]span')[0].text+"/"+li.select('p[class="tem"]i')[0].textprint(date,weather,temp)exceptExceptionaserr:print(err)exceptExceptionaserr:print(err)2.6.3爬取天气预报数据程序爬取结果：5日（今天）多云32/28℃6日（明天）多云32/27℃7日（后天）多云32/27℃8日（周四）多云32/27℃9日（周五）多云33/27℃10日（周六）多云33/27℃11日（周日）多云转小雨33/26℃由此可见爬取的数据与我们直接从网站看到的是一样的。

程序爬取结果：2.6.4爬取与存储天气预报数据2.6.4爬取与存储天气预报数据2.6.4爬取与存储天气预报数据我们可以获取北京、上海、广州、深圳等城市的代码，爬取这些城市的天气预报数据，并存储到sqllite数据库weathers.db中，存储的数据表weathers是：createtableweathers(wCityvarchar(16),wDatevarchar(16),wWeathervarchar(64),wTempvarchar(32),constraintpk_weatherprimarykey(wCity,wDate))"编写程序依次爬取各个城市的天气预报数据存储在数据库中，程序如下：2.6.4爬取与存储天气预报数据frombs4importBeautifulSoupfrombs4importUnicodeDammitimporturllib.requestimportsqlite3

classWeatherDB:defopenDB(self):self.con=sqlite3.connect("weathers.db")self.cursor=self.con.cursor()try:self.cursor.execute("createtableweathers(wCityvarchar(16),wDatevarchar(16),wWeathervarchar(64),wTempvarchar(32),constraintpk_weatherprimarykey(wCity,wDate))")except:self.cursor.execute("deletefromweathers")

defcloseDB(self):mit()self.con.close()frombs4importBeautifulSoupdefinsert(self,city,date,weather,temp):try:self.cursor.execute("insertintoweathers(wCity,wDate,wWeather,wTemp)values(?,?,?,?)",(city,date,weather,temp))exceptExceptionaserr:print(err)

defshow(self):self.cursor.execute("select*fromweathers")rows=self.cursor.fetchall()print("%-16s%-16s%-32s%-16s"%("city","date","weather","temp"))forrowinrows:print("%-16s%-16s%-32s%-16s"%(row[0],row[1],row[2],row[3]))

classWeatherForecast:def__init__(self):self.headers={"User-Agent":"Mozilla/5.0(Windows;U;WindowsNT6.0x64;en-US;rv:1.9pre)Gecko/2008072421Minefield/3.0.2pre"}self.cityCode={"北京":"101010100","上海":"101020100","广州":"101280101","深圳":"101280601"}definsert(self,city,date,weatdefforecastCity(self,city):ifcitynotinself.cityCode.keys():print(city+"codecannotbefound")return

url="/weather/"+self.cityCode[city]+".shtml"try:req=urllib.request.Request(url,headers=self.headers)data=urllib.request.urlopen(req)data=data.read()dammit=UnicodeDammit(data,["utf-8","gbk"])data=dammit.unicode_markupsoup=BeautifulSoup(data,"lxml")lis=soup.select("ul[class='tclearfix']li")defforecastCity(self,city):forliin