大数据采集与预处理课件：requests技术应用案例-业务网站B静态数据采集2

综合案例——爬取业务网站B

本章学习目标分析豆瓣电影Top250的网页结构和内容使用requests库编写爬虫代码获取指定的静态数据使用BeautifulSoup实现从网页中提取数据使用pymysql库实现数据的持久化4.4.3数据持久化存储

为了保证数据的可靠性，保障数据不会丢失，并提高应用程序的性能让程序可以直接从存储介质中加载数据这是便需要对数据进行持久化存储。 1）导入pymysql库，用于连接Mysql。 importpymysql 2）提前在mysql中创建好test数据库，在test数据库中创建数据表movie_douban包含字段moviename(电影名),directorname(导演名),moiveyear(年份),moivenation(国籍)，movietype(电影类型)，通过for循环实现向表中插入数据。 db=pymysql.connect(host='localhost',user='root',password='123456',port=3306) cursor=db.cursor() cursor.execute("usetest") cursor.execute("DROPTABLEIFEXISTSmovie_douban")sql1="""CREATETABLE`movie_douban`(`moviename`char(30)NOTNULL,`directorname`char(50)NOTNULL,`movieyear`year(4)NOTNULL,`movienation`char(50)NOTNULL,`movietype`char(30)NOTNULL,PRIMARYKEY(`moviename`))ENGINE=InnoDBDEFAULTCHARSET=utf8mb4;"""cursor.execute(sql1)print("CreatedtableSuccessfull.")try:cursor.execute(sql,(movie_names_lst[num],director_names[num],movie_years[num],movie_nations[num],movie_types[num]))dbmit()except:db.rollback()db.close()4.4.4数据预处理

1）导入指定的库importpandasaspd2）自定义方法main()，作为实现调用其他数据预处理自定义方法的入口。defmain():#1数据读取column_names=['电影名称','导演','年份','国籍','类型']movies_data=pd.read_csv('豆瓣电影写入.csv',header=None,names=column_names)#2探索清理数据movies_()movies_data.dropna(inplace=True)#3转换数据data_new=transform_data(movies_data)#4规约数据#按年份和国籍分组并计算每年每个国籍的电影数量pivot_table=pd.pivot_table(data_new,values='电影名称',index='年代',columns='国籍',aggfunc='count',fill_value=0)print(pivot_table)3）自定义transform_data(movies_data)方法用于数据转换操作。#1处理年份数据#1.1数据类型转换（这里假设年份列为字符串类型，需要转换为整数类型）movies_data['年份']=pd.to_numeric(movies_data['年份'],errors='coerce')#1.2筛选年份在1990和2020之间的电影filtered_movies=movies_data[(movies_data['年份']>=1990)&(movies_data['年份']<2020)]#1.3创建新列表示年代defcategorize_decade(year):ifyear<2000:return'90年代'elifyear<2010:return'00年代'else:return'10年代'filtered_movies['年代']=filtered_movies['年份'].apply(categorize_decade)#2处理国籍数据nationalities_split=filtered_movies['国籍'].str.split('',expand=True)filtered_movies['国籍']=nationalities_split[0]#3处理类型数据——独热编码#3.1将类型列拆分为多个二进制列#types_dummies=filtered_movies['类型'].str.get_dummies('')#3.2将二进制列合并到原数据框#mov