基于Python网络爬虫的博物馆评论数据分析系统设计与实现

摘要：博物馆是连接过去、现在和未来的桥梁，为人类提供历史文物参观学习，以史鉴今的历史事件学习和精神指引。本文通过Python网络爬虫技术，分析博物馆的评论数据，以便推进博物馆的服务改善和推广。通过分析网络评论，深入了解公众对博物馆的认识和需求，为提高博物馆展示和服务水平提供参考资料。解说数据分析是结合自然语言处理技术提取重要信息。利用数据可视化技术，可以直观地呈现分析结果，把握社会动向和意见。本研究旨在为中国博物馆的发展提供技术支持和改进建议，使博物馆在旅游业和文化产业相结合的新时代发挥更重要的作用。关键词:数据分析；Python；网络爬虫；博物馆1绪论1.1研究背景及意义选择对博物馆进行研究，是因为博物馆，它是文化复合体，既是物质的又是精神的统一体，既是自然的又是人文的统一体REF_Ref15467\r\h[1]。而我国的博物馆还有巨大的发展前景，并且在这个旅游业与文化产业融合发展的新时代，博物馆的旅游观光具有极高的艺术价值和教育价值，在公共文化服务和旅游业的发展中发挥着举足轻重的作用，是提高人民群众的精神文化生活质量的主要途径REF_Ref16398\r\h[2]。明白博物馆的重要性对于研究如何更好发展博物馆有着不可忽视的积极意义。为改变博物馆门前冷落、观众寥寥的局面,博物馆人树立精品意识,推出高品位的陈列和丰富多彩的专题展览,以吸引观众,促进博物馆的生存和发展,这已成为博物馆界的共识REF_Ref30221\r\h[3]。所以我将使用爬虫技术对网上的相关评论进行爬取收集。如今，由于物联网、云计算REF_Ref5682\r\h[4]以及智能设备的普及等诸多技术趋势发展下。海量数据以前所未有的速度从不同来源(如医疗卫生、政府、社交网络、营销、金融等)生成。在后台，强大的系统和分布式应用程序支持这样的多连接系统。例如，智能电网系统REF_Ref5947\r\h[5]，医疗系统REF_Ref6149\r\h[6]，类似沃尔玛的零售系统REF_Ref6358\r\h[7]，政务系统REF_Ref6913\r\h[8]等。获取信息的方法越来越完善，这对我收集研究评论有很大帮助。博物馆不仅仅是一个建筑，它里面包含的文物所蕴含的文化价值不可估量，文化是一个民族的重要组成部分，每个民族文化都不一样，所以，博物馆他代表着一个民族所包含的底蕴。要让收藏在博物馆里的文物、陈列在广阔大地上的遗产、书写在古籍里的文字都活起来，让中华文明同世界各国人民创造的多彩文明，一道为人类提供正确的精神指引和强大的精神动力REF_Ref8817\r\h[9]。博物馆就是要让这些文物像鲜活的生命一样展现在观众眼前，要让观众通过博物馆里的文物了解到其包含的文化底蕴，加强观众的文化修养，让一个民族更加有特点和优势。通过观众本身的视角更容易明白观众缺少什么，因此，我想用Python网络爬虫技术对博物馆评论数据进行分析，旨在为我国博物馆的改进提供一些有价值的参考，希望能促进博物馆的推广和更好地建设博物馆。1.2国内外研究现状1.2.1国外研究现状在国外，博物馆的数量不仅增加了，而且在规模、质量和管理等各个方面都有了质的飞跃。博物馆的分类越来越多样化，新型博物馆层出不穷。在20世纪80年代，以《魁北克宣言》发表为标志，新博物馆学自西方兴起，高度重视博物馆与人、与社会、与社会文化发展的关系，将关注焦点置于博物馆的外向功能方面，带动了全球博物馆界把博物馆建设的重心从“物”转移到“人”，从收藏、展示转移到教育、服务REF_Ref10763\r\h[10]。如今，“以人为本”的理念越来越深入人心。进入新时代，高校在思想政治教育上要坚持以人为本，提升思想政治教育的实效性，培养出合格的人才REF_Ref12628\r\h[11]。博物馆作为履行公共文化服务职责的相应机构之一，也是参与公共文化服务体系的重要组成部分REF_Ref13650\r\h[12]。作为“人类的终身课程”博物馆，它与社会的关系已成为世界各地博物馆探索的新课题，博物馆对观众的关注达到了前所未有的水平。《当代西方博物馆发展态势研究》认为：博物馆的工作重心不再停留在物上，“以人为本”成为了博物馆工作重心、主旨。博物馆不再是施教和布道者的代名词，如今建设为公众和社会服务的开放型现代化博物馆己经成为当今世界各地博物馆建设的共识REF_Ref17781\r\h[13]。观众研究协会等专业组织的创立，研讨会的不断召开，专业书籍的出版，专业刊物的发行，博物馆设立观众研究部门并聘用观众研究专职人员等等举措和现象，不难看出国外博物馆界对于观众研究的重视REF_Ref21315\r\h[14]。1.2.2国内研究现状在中国，有一项对微博用户进行爬取从而来获取相对应的博物馆评论。即通过后羿采集器抓取数据，并基于Python进行微博文本的分词及情感分析REF_Ref29146\r\h[15]。随着外国博物馆观众调查研究的发展，理论方法和研究成果不断被翻译和介绍到中国。《中国博物馆学基础》认为:“了解观众,熟悉观众,争取观众,组织观众,为观众服务,满足观众的需求,是博物馆的根本宗旨”REF_Ref20240\r\h[16]。日本著名的博物馆学家鹤田总一郎曾说过：“观众同藏品和展览一样，是构成博物馆不可缺少的基本因素，观众既是博物馆的服务对象，也是博物馆赖以生存的社会基础。博物馆应该像爱护珍贵文物一样，爱护和对待观众。如果不考虑观众，或者没有观众来参观博物馆，那么可以说该博物馆不称其为一个博物馆，或者至少说是一个不合格的博物馆”REF_Ref20306\r\h[17]。我国博物馆观众调查研究的开始是1985年张松龄先生发表了上海自然博物馆观众调查报告《海洋与它的居民》。至此,全国范围内的博物馆观众调查陆续展开。1987年南开大学博物馆学专业学生以第三者身份对京津地区的博物馆开展社会调查活动，发表了《京津地区博物馆观众调查报告》，这是我国博物馆发展史上首先运用科学的方法对博物馆公众进行研究，为后来的博物馆观众调查研究提供了可供参考的样式REF_Ref5233\r\h[18]。它是我国博物馆发展史上，首次对博物馆观众运用科学的方法进行研究，也为以后博物馆观众调查研究提供了一个可供参考的模式。“1996-2017年中国博物馆规模逐年快速增长，短短17年中博物馆数量达到4721座”，性质有文化部门所属的国有博物馆、行业企业博物馆、民营企业博物馆、民间个人博物馆等各种所有权形式的博物馆REF_Ref22033\r\h[19]。90年代末期，吉林大学博物馆学专业的学生也进行了几次博物馆观众调查，发表有《河一比直隶总督署博物馆观众调查报告》、《辽宁省博物馆观众调查报告》、《吉林省博物馆观众调查报告》等一系列调查报告，为学术界提供了一批有价值的第一手调查材料。2003年上海博物馆教育部编写出《“国宝展”观众调查报告》REF_Ref23016\r\h[20]。同年，林冠男、史吉祥发表了《旅顺博物馆鼻烟壶展厅观众参观行为观察报告》REF_Ref23071\r\h[21]。2007年，吕军、唐森带领吉林大学博物馆专业学生在辽宁省博物馆完成了《辽宁省博物馆2007年度阶段观众调查报告》REF_Ref23120\r\h[22]。由于相继出台上述对博物馆观众调查研究报告，也推动了博物馆观众研究的深入发展，为博物馆的后续发展打下坚实的基础。1.3研究内容本文的研究内容可分为以下四个方面：进行需求分析，博物馆还需要继续发展，需要有正确的方向，而人民群众都会有自己的想法，而他们的想法也会为博物改的发展有所帮助，为博物馆的建设添砖加瓦。进行网络爬虫，通过使用基于Python的网络爬虫技术，爬取博物馆评论数据，来知道观众对于博物馆的看法究竟是如何的。对数据进行预处理，一般来说，通过爬虫爬取到的数据，或多或少都会出现问题，数据可能会缺失，也有可能会出错，是无用数据，那么对它们进行数据预处理是十分有必要的，且能够为后续进行数据分析提供保障。进行持久化数据存储，通常，用数据库来存储数据不失为一种选择，所以我选择通过Mysql数据库，用来存储网络爬虫爬取的数据以及用户登录注册数据信息。进行数据分析，将已经预处理的数据进行相应的分析，用来得到相应的信息，通过相应的信息可以获得许多有价值的结论。进行前端的设计及实现，使用Django框架组合进行前端设计，实现博物馆评论数据分析系统，其中该系统的功能主要包括：游客的注册与登录、相关信息维护、查看该博物馆的整体评分以及查看观众对博物馆的精选反馈。1.4研究思路本文的研究思路，如图1所示。图1：研究思路1.5研究方法1.5.1文献研究法通过中国知网、百度学术、超星等搜索引擎搜集有关中国博物馆相关信息和网络爬虫的相关信息，并将这些信息认真地阅读、分析整理和，将整理完的内容作为本文写作的理论基础，以便于做出最好的系统。1.5.2案例研究法案例研究法是指研究人员通过相关的案例进行研究和分析，并在其案例中思索，了解相关困难以及所要准备的条件，为自身的研究提供显著的帮助。在具体理论的基础上，本文收集研究了微博评论探索的方法，分析了我国的相关事例，结合了目前的相关知识，旨在能够创建出一个令人满意的系统。2相关概念及技术简介2.1网络爬虫的概念网络爬虫(又称为网络蜘蛛或网络机器人)是一种根据特定规则编写的程序或者脚本去下载万维网或局域网的各种资源如，html静态网页、图像文件、js代码等。网络爬虫的主要目的是为其他系统提供数据源如，数据分析、大数据挖掘和深度学习等REF_Ref29303\r\h[23]。2.2网络爬虫的原理首先，获取所要爬取的网站的URL即网址，然后通过该网页的代码如HTML这类，其次，通过xpath来解析数据并用来获取数据，然后，用数据库对网络爬虫所爬取到的数据进行持久化存储。网络爬虫流程如下图所示：图2：网络爬虫流程2.3进行网络爬虫所需技术2.3.1Requests模块import

requestsPython中有一款基于网络请求其功能强大的模块--Requests模块，比urllib3库更容易使用。它的作用是模拟浏览器向服务器发起请求，实现自动爬取HTML网页页面信息的功能REF_Ref31102\r\h[24]。Requets模块是一个方便，简介，实用性很高的模块，安装也十分简单，只需要pipinstallrequests即可，随后导入该模块即importrequests，根据要爬取的网站来确定请求类型即在网页中按F12打开开发者工具，找到网络，随后再找到网站网址，点击网址即可看到该网站的请求方式，以海南省博物馆官网为例，可得到请求方式为get方式，即response=requests.get(“/”)图3：查看请求方式Requests请求模块是python中用于发送http请求的库，而它不仅提供了简便高效的api，也使得发送http请求变得轻而易举。因此你可以通过请求模块发送get请求，post请求等，用于获取网页内容，上传文件，处理cookie。总而言之，requests模块是python中处理http请求的强大工具，为编写网络爬虫提供了方便和高效的方法。2.3.2UA检测及UA伪装如今，在网络爬虫流行的时代，网站通常会有反爬机制，如UA检测，像我们如果直接用requests模块进行爬取网站数据，很大概率爬取失败，那是因为网站服务器通过检测用户浏览器发送的User-Agent信息来识别用户的设备和浏览器类型，发现请求方为爬虫，则拒绝访问。因此，为了避免这类情况，我们需要进行UA伪装，即指用户通过修改User-Agent信息来隐藏真实的设备和浏览器信息，以达到伪装身份、规避检测或获取特定内容的目的。将网站服务器认为爬虫脚本为正常的用户进行浏览，对其开放，我们才能成功获取数据。2.3.3数据解析XPathfrom

lxml

import

etree如今网络爬虫数据解析流行的有三种，正则表达式，XPath和BeautSoup，而我则重点说一下XPath，因为我用这个方式来解析关于博物馆评论。我认为，XPath是一种简介，快捷门槛低的一种解析方式，但它泛用性广，而且目前的大部分网站都为XPath提供便利。因为XPath解析数据需要路径，而大部分网站都提供了XPath路径，即找到你需要解析的数据鼠标右键单击就会有复制XPath路径的选项，这大大减少了解析数据所花费的时间，所以我用这方式来进行博物馆评论的爬取。header

=

{

'User-Agent':

'Mozilla/5.0

(Windows

NT

10.0;

WOW64)

AppleWebKit/537.36

(KHTML,

like

Gecko)

Chrome/70.0.3538.25

Safari/537.36

Core/1.70.3775.400

QQBrowser/10.6.4208.400'}url

=

'/Attraction_Review-g297425-d1864595-Reviews-Hainan_Museum-Haikou_Hainan.html'page_text

=

requests.get(url=url,

headers=header).texttree

=

etree.HTML(page_text)content_h3_list

=

tree.xpath('//h3[@class="fontWeight400"]')contents_list

=

[]for

h3

in

content_h3_list:

content

=

h3.text

contents_list.append(content)3数据爬取及处理3.1Pandas模块import

pandas

as

pd网络爬虫获取到了数据，但仅仅是获取是不够的，还需要将数据变成有价值的信息。所以我用Python中的Pandas模块进行处理。因为Pandas模块中提供了许多的方法可以用来处理数据，像对缺失值进行处理，对数据进行过滤，进行排序、合并、分组等等功能。还有对数据的灵活分析，有助于对数据进行可视化操作，这就是我要用Pandas模块对数据进行处理的原因。df

=

pd.DataFrame(contents_list)

#

把contents_list列表转换为pandas

DataFramedf.to_excel('contents.xlsx')

#

保存到excel表格df.to_csv('contents.csv')

#

保存在csv文件图4：获取的数据对爬取到的数据进行预处理：网络爬虫爬取的数据，有时候不一定全都能够获取到相关的数据，有时候会爬取到取到空值。因此有必要对爬取到的数据后要进行缺失值检测，对缺失值进行相应的处理。比如：删除缺失值或者补全缺失值。检查缺失值：#

检查缺失值data_content=pd.read_csv("./contents.csv")print(pd.isnull(data_content))False即为没有缺失，True则为缺失。图5：检查缺失值3.2Matplotlib模块import

matplotlib.pyplot

as

plt将数据处理完成后，就得到了有价值的信息，但是想要将这些有价值的信息更好地展示给人们看，那就离不开对数据的可视化。我将会用Matplotlib模块来对数据进行可视化操作，因为它提供有丰富的绘图工具和函数，所以能够创建层出不穷的图标，且无论静态还是动态都可以通过它来完成。并且它能够与Pandas配合，可以对数据进行可视化操作和分析，因此，使用Matplotlib模块来进行可视化操作是我的不二之选。#

设置风格plt.style.use('ggplot')#

设置标题plt.title('海南省博物馆评分')#

设置图形数据plt.pie(labels=x,

x=y,

autopct='%1.2f%%',

shadow=True,

explode=explode)#

解决中文显示问题plt.rcParams['font.sans-serif']

=

['SimHei']#

显示图形plt.show()用可视化技术查看关于游客对于博物馆的评分情况：图6：博物馆评分占比4前端的设计与实现4.1Django为了让人们的观感更好，也为了方便操作，我用Django模块引擎来渲染HTML页面，让数据从后端传递到前端上以便进行展示。Django是一个功能丰富、易于学习和使用的Web应用程序框架，它提供了许多工具和功能且前后端分离，操作更方便。所以，我选择用Django来作为前端的使用。首先，安装Django模块：pipinstalldjango；然后，在终端输入指令创建Django项目：django-admin.pystartprojectmytestmy；最后，在编辑器的终端中输入命令pythonmanage.pystartappapp。图7：django项目文件图8：app下的目录首先设计出游客登录、注册功能，拥有账户的游客能拥有更多权限，可以对网上的评论提出自己的见解，而未登录的游客只拥有观看的权限。游客账号登录：图9：登录页面游客账号注册：图10：注册页面4.2MySQLDjango框架支持许多数据库进行存储，使用数据库进行存储数据是因为更方便进行管理和运用，尤其对于登陆、注册等信息存储，有助于后续操作。鉴于Django支持多种数据库系统，所以需要我们明确采用的数据库系统。Mysql通过Django与pymysql成功与Python代码联系起来，所以使用Mysql来储存用户信息。首先，要在MySQL中创建数据库，因为在Django中不能直接创建数据库；其次，要在在Django的settings.py中进行设置，找到相应位置，对其进行修改设置：图11：设置数据库将代码写在models.py中后，如下代码即为设置数据表中的属性：class

UserInfo(models.Model):

name

=

models.CharField(max_length=32)

password

=

models.CharField(max_length=64)

age

=

models.IntegerField()下一步就可以在终端中输入指令进行迁移数据库：图12：迁移数据库在终端输入完指令后，可以通过终端或者其他可视化工具来查看数据库中是否成功添加所创建的数据表，即我的（app01_userinfo）,发现app01_userinfo数据表是成功创建。如图下图所示成功添加：图13：查看数据表5评论数据分析与建议5.1分析评论数据Python第三方库jieba是一个开源的，用于中文分词以及简单文本处理的工具包。Jieba分词库支持精确模式、全模式和搜索引擎模式3种分词模式。它基于词频的词性标注功能；支持自定义词典，以便添加专业领域的专有名词；提供关键词提取功能，基于TF-IDF算法和TextRank算法，支持短语提取和命名实体识别REF_Ref31692\r\h[25]。通过对评论数据进行关键字提取，查看评论内容的关键字，并显示它们的重要性：import

jieba.analyse#

使用

jieba

进行

TF-IDF

算法提取文本关键词keyword_list

=

[]for

TEXT

in

contents_list:

keywords

=

jieba.analyse.extract_tags(

sentence=TEXT,

#

文本内容

topK=10,

#

提取的关键词数量

allowPOS=['n',

'nz',

'v',

'vd',

'vn',

'ns',

'nr'],

#

允许的关键词的词性

withWeight=True,

#

是否附带词语权重

withFlag=True,

#

是否附带词语词性

)

#

输出提取到的关键词

#

print(keywords)

keyword_list.append(keywords)keyword_list

=

[str(x)

for

item

in

keyword_list

for

x

in

item]df

=

pd.DataFrame(keyword_list)

#

把keyword_list列表转换为pandas

DataFramedf.to_csv('keyword.csv')

#

保存在csv文件将数据存储在csv文件中看到评论中的关键字以及它们的重要性（数字越大，重要性越高，影响也越深）图14：查看关键字在jieba中，使用jieba.analyse.extract_tags()函数就可以基于TF-IDF算法提取文章的关键词，jieba分词常见词性的对照可以参考下图。图15：词性表我将爬取到的评论进行关键字提取，关键字的数字越大，代表出现的频率越高，也就意味着影响力越大。例如关键字（文物），数字大，说明游客大部分有对文物的看法。通过评论文本发现，大部分游客对文物的数量，文物的特色，都有一定的介意。我爬取的是网站tripadvisor（/），里面有许多外国人对海南省博物馆的评价，我们可以通过外国人的视角来获得更有价值的信息。因为海南岛的发展一定会与国际接壤，所以要对外国友人有一定的了解。在对海南省图书馆评论进行了解，在通过博物馆评分分布图（图6），可以知道大部分人们对海南省图书馆十分满意。他们人文这个博物馆组织得非常好，为那些喜欢更有条理的历史之旅的人提供展品编号。大多数展品都被翻译成英文，包括展示柜、模型和带有音频和视频元素的主题房间的美丽融合。但博物馆太大，而文物过于少，显得有些空旷，而且名为海南省博物馆，最受欢迎的东坡馆，大部分游客都会区东坡馆进行驻足欣赏，但苏东坡并不算得上海南文化，以此有些喧宾夺主的意思了，大体缺少一些镇馆之宝。5.2博物馆发展与建议根据评论数据的分析我得到了目前博物馆存在的问题并提出一些建议：在春节期间人流量大，在排队期间发现工作人员多但完全没有起到效果，部分操作还导致了排队时间增加，管理不够好，我认为应该对员工进行相关的培养，让其能够应对处理人流量大的时段，不能因为只有节假日人流量大就不以为然。细节决定成败，一个好的服务能够让游客眼前一亮，让其第一印象在心中树立。博物馆保安不能及时向游客说明问题，不能像游客解释原因。有的保安普通话口音太重，使得游客不明白发生什么，对游客十分不友好，希望保安能即使说明情况并锻炼普通话，不要让外地游客寒心。博物馆大但展馆内容乏善可陈，展品不精不多，媒体互动展设备会出现问题，三层空间利用率很差。我建议博物馆的工作人员应及时检查更新设备，而展品不多可以安排一些临时展览，举办一些教育活动，也可以与其他博物馆或者学术机构合作举办展览，共享资源，用来增加展品的多样性和数量。4、博物馆应该优先发扬当地文化，不应该让非本土文化喧宾夺主，应保留本地特点，要让游客明白自己到了海南省博物馆，不要更其他博物馆雷同，要让游客有有关本地独一无二的特色。5、博物馆应存在关键的镇馆之宝，且是本土文化的镇馆之宝，要激起游客们的兴趣，要引诱出他们想要了解海南文化的思想，这样才会让博物馆做大做强。6研究总结与展望6.1研究总结以下是笔者在制作《基于Python网络爬虫的博物馆评论数据分析系统设计与实现》项目中得出的结论：在确定项目之前，一定要去了解项目的难易程度，学会取舍会给自己节约大量的时间。本人开始想要在大众点评网中去爬取关于海南省博物馆的评论数据，但该网站的反爬机制太厉害，以至于我浪费了大量的时间和精力去反反爬，但是失败了，只能换成tripadvisor网站进行爬取评论数据。所以做任何事之前，一定要去了解该事情，不要盲目自信，要有计划地去执行。在制作项目时，一定要去确定好使用的方法。我当时在请求响应时考虑是直接用requests模块还是用scrapy框架去实现纠结半天，在解析数据时考虑是用正则表达式还是XPath犹豫不决，在制作网页上是选择的flask模块还是django框架上也是犹犹豫豫。所以在执行项目时，一定要有计划，要有详细的工作流程和时间规划。6.2研究展望由于自身水平有限，不能完全根据评论分析出全部有价值的信息。但我相信，在未来我将会对基于pythonweb爬虫的博物馆评论数据分析系统将进一步深化对未来评论数据的挖掘和分析，为博物馆提供更多有用的信息和洞察，以及让博物馆可以有效提高管理和服务水平。因为本人实力有限，所以我认为该系统还有很大的提升空间：爬取的网站评论量不够丰富，我还需要熟练掌握反反爬操作，去更大评论更多的网站上去爬取数据，这样的数据开更加具有分析的价值，才更值得分析。对评论数据分析的不够充分，应该要充分对评论数据情感的分析，判断游客是否在讽刺，要充分准确的找到评论真正想要表达的意思，这样才能正确的提供建议。3、前端界面不够好看，应该要掌握更多关于CSS与JavaScrip的语法和技术，让页面更加的动态和立体，让客户眼前一亮。参考文献苏东海.什么是博物馆——与业内人员谈博物馆[J].中国国家博物馆馆刊,2011,(01):140-146.杨海静.博物馆公共文化服务创新[J].文化产业,2023,(31):49-51.张红霞.谈在博物馆陈列工作中应加强观众意识[J].文物春秋,2003(01):56-58+69.BOTTAA,DONATOWD,PERSICOV,etal.IntegrationofCloudcomputingandInternetofThings:Asurvey;proceedingsoftheInternationalConferenceonFutureInternetofThingsandCloud[C].F,2014.CHENM,MAOS,LIUY.BigData:ASurvey[J].MobileNetworks&Applications,2014,19(2):171-209.KANKANHALLIA,HAHNJ,TANS,etal.Bigdataandanalyticsinhealthcare:Introductiontothespecialsection[J].InformationSystemsFrontiers,2016,