大数据采集与预处理课件：requests技术应用案例-业务网站C动态数据采集2

综合案例——爬取业务网站C本章学习目标分析业务网站C的网页结构和内容使用requests库编写爬虫代码获取指定的动态数据使用urlencode方法编码使用pymysql库实现数据的持久化为了保证数据的可靠性，保障数据不会丢失，并提高应用程序的性能让程序可以直接从存储介质中加载数据这是便需要对数据进行持久化存储。在前面的基础上用AJAX采集单个汽车品牌系列的名称，单个汽车品牌系列的ID。并将其采集到的数据保存到MySQL数据库中。4.5.3

数据持久化存储1） 导入pymysql，用于连接MySQL。importpymysql2） 通过PyMQL建立MySQL连接，创建AJAX数据库和ajax数据表。设置数据表字段为car_name和id，id为主键。通过for循环实现想表插入数据。db=pymysql.connect(host='localhost',user='root',password='123456',port=3306)cursor=db.cursor()cursor.execute("CREATEDATABASEAJAXDEFAULTCHARACTERSETutf8mb4")db.close()db2=pymysql.connect(host="localhost",user="root",password="123456",database="AJAX",port=3306)cursor2=db2.cursor()cursor2.execute("DROPTABLEIFEXISTSajax")sql1="""CREATETABLE`ajax`(`car_name`char(20)NOTNULL,`id`int(10)NOTNULLAUTO_INCREMENT,PRIMARYKEY(`id`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor2.execute(sql1)print("CreatedtableSuccessfull.")3） 自定义一个函数parse_three(json)，参数也是json。获得该城市所有车型的汽车品牌系列名称和ID。最后通过for循环实现向表中插入数据。defparse_three(json):ifjson:foriinjson:forbini.get('SeriesList'):item_list=b.get('Name')item_list2=b.get('Id')print('各城市数据采集数据展示：'+'=========='+item_list+':'+'==========='+str(item_list2)+'=============')sql2='INSERTINTOajax(car_name,id)VALUES(%s,%s)'try:cursor2.execute(sql2,(item_list,item_list2))db2mit()except:db2.rollback()4） 编写运行入口程序if__name__=='__main__':city_list=[{'北京':'110100'},{'重庆':'500100'}]forcityincity_