大学计算机课程报告Python爬虫与可视化

《大学计算机》课程汇报专业班级学号姓名项目计算机基础测验（20分）课程汇报（80分）总分得分评阅教师年6月15日中超球队身价历年排名数据分析处理一、任务描述使用python编写爬虫程序获取中超球队-身价排名，内容包含排名序号、球队名称、球队身价、年份，并将获取数据保留到txt文件中，再将txt文件数据转入excel文件中。使用excel工具对获取电影信息进行数据处理。使用Jannchie/Historical工具对统计分析结果进行动态可视化处理，利用excel工具对统计分析结果进行图表可视化处理，使用baidu图说对统计分析结果进行可视化处理。二、数据获取1数据描述数据起源：500彩票网中超页面球队身价排名。数据获取：Python爬虫爬取网页数据。2使用工具Python是一个高层次结合了解释性、编译性、互动性和面向对象脚本语言，它拥有一个强大基本类库和数量众多第三方扩展。3数据获取步骤第一步：从网页上获取HTML内容。第二步：分析网页内容并提取有用数据，采取列表存放球队所包括表单数据第三步：将取得数据写入Excel文件。4程序代码1)获取数据代码以下importrequestsimportrequestsfrombs4importBeautifulSoupimportbs4defgetHTMLText(url):try:r=requests.get(url,timeout=30)r.raise_for_status()r.encoding=r.apparent_encodingreturnr.textexcept:return""deffillUnivList(ulist,html):soup=BeautifulSoup(html,"html.parser")fortrinsoup.find('tbody').children:ifisinstance(tr,bs4.element.Tag):tds=tr('td')ulist.append([tds[0].string,tds[1].string,tds[2].string,tds[3].string,tds[4].string,tds[5].string,tds[6].string])num=10file=open('wz.txt','r',encoding='UTF-8')f=open('pm.txt','w',encoding='UTF-8')print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}".format("排名","球队名称","球队身价","平均身价","球员数量","平均年纪","联赛排名","年份"))f.write("{:^10},{:^6},{:^10},{:^6},{:^10},{:^6},{:^10},{:^6}".format("排名","球队名称","球队身价","平均身价","球员数量","平均年纪","联赛排名","年份")+"\n")forlineinfile:url=line[5:]a=line[0:5]uinfo=[]html=getHTMLText(url)fillUnivList(uinfo,html)foriinrange(num):u=uinfo[i]print("{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}\t{:^10}\t{:^6}".format(u[0],u[1],u[2][1:-1],u[3][1:-1],u[4],u[5],u[6],a))f.write("{:^10},{:^6},{:^10},{:^6},{:^10},{:^6},{:^10},{:^6}".format(u[0],u[1],u[2][1:-1],u[3][1:-1],u[4],u[5],u[6],a)+"\n")f.close()file.close()2)读取wz.txt文件中网址信息图1网址信息txt文件截图3)将取得全部球队信息由txt文件（如图2）转到Excel表格（如图2）中。图2球队数据txt文件截图图3球队数据excel文件截图三、数据分析（文管类能够是数据存放、检索等等）1数据分析工具Excel是一款电子表格软件。直观界面、出众计算功效和图表工具，使Excel成为最流行个人计算机数据处理软件。Excel具备强大数据统计分析处理能力，能进行多个数据统计计算分析功效,广泛应用于管理、统计财经、金融等众多领域。2使用excel工具以年份以及球队身价进行中超球队身价排名分析最具备商业价值与潜力球队。球队身价排名后结果如图4：图4球队身价排名排序后excel文件截图3使用excel工具进行中超球队数据统计方法步骤：筛选历年身价排名前十队伍以及其球队身价，如图5：图5历年球队身价排名前十excel文件截图筛选球队名称（广州恒大淘宝、江苏苏宁易购），筛选所需要数据（球队身价、年份），如图6：图6江苏苏宁易购与广州恒大淘宝身价excel文件截图筛选球队名称（江苏苏宁易购），筛选所需要数据（平均身价、联赛排名、年份），如图7：图7江苏苏宁易购历年平均身价与联赛排名excel文件截图4）统计中超身价历年前15球队所在地次数（总计90），如图8：图8中超球队前15名所在地次数excel文件截图四、结果可视化展示1数据可视化工具Excel能绘制图表多达数十种，基本能够实现一维和二维图表绘制，比较惯用图表类型包含散点图、条形图、饼图、折线图等等。Jannchie/Historical是一个数据可视化项目，基于D3.js。能够将历史数据排名转化为动态柱状图图表。baidu图说是baiduEcharts团体出品，一款专业大数据可视化分析平台。2(1)使用Jannchie/Historical工具对排名前十球队进行动态可视化展示方法步骤：将excel处理过数据表格到Jannchie/Historical工具中，运行工具。中超球队身价-历年身价改变动态可视化（视频1）(2)使用excel工具对广州恒大淘宝与江苏苏宁易购身价数据制作折线图方法步骤：使用excel图表功效制作折线图，更改系列（广州恒大淘宝与江苏苏宁易购）和横轴数据，更改图标标题。广州恒大淘宝与江苏苏宁易购身价对比折线图如图9所表示。图9广州恒大淘宝与江苏苏宁易购身价对比折线图(3)使用excel工具对江苏苏宁易购平均身价与联赛排名数据制作叠加柱状图方法步骤：使用excel图表功效制作横板柱状图，更改系列（平均身价与联赛排名）和横轴数据，更改图标标题，导出图表。江苏苏宁易购平均身价与联赛排名数据制作叠加柱状图如图10所表示。图10江苏苏宁易购平均身价与联赛排名数据制作叠加柱状图(4)使用baidu图说工具制作中超球队身价排名前15所在地次数统计图方法步骤：将excel处理好表格导入baidu图说工具，生成地图统计图，更改标题。-中超球队身价排名前15所在地次数统计图如图11所表示。图11-中超球队身价排名前15所在地次数统计图五、碰到问题与处理方法问题：Python爬虫程序中出现AttributeError:'NoneType'objecthasnoattribute'children'错误。处理方法：这种问题出现有多个可能，假如是wz.txt文件，则需要删除文件中一些空白行（读取到空白行犯错）；假如是爬取网址一些数据空白，能够加入判断语句，跳过空白数据；也有可能是代码传递时发生错误，需要更改代码中不合理地方。问题：excel制作图表，一些数据无法被识别，图形中不显示。处理方法：一些数据在处理中并非数值型，需要更改为数值才能被图标识别。问题：Python爬虫爬取数据转成excel文件后数据变成乱码，没有正常显示。处理方法：文字编码方式不一样，需要在导入时手动选择编码方式‘UTF-8’，之后就没有出现乱码能够正常显示全部数据。六、学习总结与反思经过半个学期大学计算机课程学习，让我领会到了Python语言魅力。作为一个解释型、面向对象、动态数据类型高级程序设计语言，Python与我们之前学习C++语言有显著不一样，愈加简练靠近于自然语言，不过其也是基于C语言，使得我们在学习过程中相对轻松。借助Python我们学习了爬虫以及数据可视化，在当下大数据背景下，我们了解了关于数据内容（数据获取、数据甄别、数据处理以及数据可视化），首先紧跟时代、不落后于社会，另首先也巩固了编程语言，对于之后学习有着主要帮助。在这过程中，我也经过自学接触到了许多优异项目，比如GitHub上Jannchie/Historical以及Deeofacelab、baidu图说工具，这些前辈这成熟数据可视化项目对于我学习以及视野扩展都有主动意义，为我打开了当下网络信息行业窗户