逐浪文学网数据采集与分析

湖南商务职业技术学院毕业设计

目录

1引言............................................................................................................................1

1.1项目背景......................................................................................................1

1.2开发环境与工具..........................................................................................2

1.2.1Python简介..........................................................................................2

1.2.2JupyterNotebook简介......................................................................2

1.2.3Python第三库简介..............................................................................3

2需求分析....................................................................................................................4

2.1可行性需求分析..........................................................................................4

2.2采集目标功能分析......................................................................................5

2.3关键技术分析..............................................................................................5

2.3.1网络爬虫技术.......................................................................................5

2.3.2文件存取技术.......................................................................................6

2.3.3可视化技术...........................................................................................7

3数据采集....................................................................................................................9

3.1采集页面分析..............................................................................................9

3.2Xpath分析.................................................................................................11

3.3编程实现....................................................................................................11

4数据清洗与处理......................................................................................................13

4.1数据清洗....................................................................................................13

4.2数据储存....................................................................................................14

4.3编程实现....................................................................................................15

5数据统计与分析......................................................................................................18

5.1数据准备....................................................................................................18

5.2数据展示....................................................................................................19

5.2.1依据书名进行统计.............................................................................19

5.2.2依据总字数进行统计.........................................................................20

5.2.3据总章节进行统计和分析.................................................................21

I

湖南商务职业技术学院毕业设计

5.3综述............................................................................................................21

6小结..........................................................................................................................23

参考资料.........................................................................................................................25

II

湖南商务职业技术学院毕业设计

逐浪文学网数据采集与分析

1引言

电子产品的大量涌现十分显著的改变了人们的生活习惯，其中也包括阅读。

电子书展示的便利性使人们更倾向于选择用手机或电脑等设备进行阅读，因此

许多电子书网站应运而生。如今很多学生不再去图书馆等特定场所阅读纸质书

籍，而是随时随地拿起手机畅游书海。

时光荏苒，我们的国家已经进入了一个高速发展的互联网阶段。移动互联

网和出版社同步高速发展，摆在我们眼前，统计出现在的人们：尤其是年轻人，

基本上都会选择在互联网上选择电子阅读，进行网站看书更为普遍。网络平台

上还有各种各样的软件，人们可以根据自己的喜好、需求来进行选择。例如有

些书本内容是需要付费阅读的，当然不同的网站也会不一样，可能另一个网站

是免费的，并不需要进行付费，这就体现出阅读网站多样性的重要；而又或者

有些阅读书籍是在某个网站上没有资源的，还或者有些网站看起来十分简单，

导致并没有完善的很好，经常会出现带病毒的小广告，稍有不慎就会错乱点进

去，这就十分影响人们的阅读质量和观看心情等等。但就是因为这些阅读网站

的优缺点，也使得阅读网站变得更加的具体性、完善性和多样性，所以人们都

是可以在互联网上进行自由选择。然而互联网也根据广大群众的各个需求方面，

提供了更精准的技术阅读网站。

电子阅读，文学小说等方面各种网站等待开发的价值愈来愈大。我们这一

代也踩在了新青年喜爱电子读书的门槛上,逐渐进入到一个电子阅读的时代。大

量的电脑技术人员，根据人们需求创建出不同的软件，采集书本的内容，大数

据时代变得越来越强大，基本实现了想看什么书籍资源网站上都有。人们学习

的大数据技术也变得热门起来，很多学生很早就可以实现自我数据爬取了，并

且获取免费阅读书籍的一项技能。所以数据采集及大数据技术是目前比较热门

的技术,大家都觉得未来的电子阅读可能会变得更热门。

1.1项目背景

逐浪文学网成立于2003年10月，是南京大众书网图书文化有限公司旗下

集阅读与创作为一体的原创文学平台。拥有逐浪小说网、新小说吧和逐浪小说

APP等原创网站和移动渠道。那么,如果需要获得文学网认可小说的目录单和其

书本内容的具体数据,那我们就需要在逐浪文学网站上查询相关的阅读资料。

1

湖南商务职业技术学院毕业设计

涉及到网站书籍里面的阅读信息有很多,而且不同书籍类型，书籍长短，作

者分区，都显得十分杂乱不堪，这也就导致了我们需要对网页进行解析。然后，

我们通过Python爬虫的方式获得了大量我们想要的材料。

我的毕业设计就是针对普通阅读文学网的需要,然后爬取逐浪文学网站书

本里面的阅读数据,对采集到的数据，首先进行处理,其次进行分析,然后进行数

据可视化。杂乱的内容数据经过初次的数据清洗和数据分析后,就能更加清楚明

了的呈现在大家眼前。而且还将网站上有多少本书，各个书籍的内容属于哪些

板块等等将进行了一个简单且明了的划分。最后在做出相对应正确的数据存储，

所以我的毕业设计部分包含数据爬取和清洗处理、储存、可视化这五个部分。

1.2开发环境与工具

1.2.1Python简介

Python是一种跨平台的计算机程序设计语言，属于面向对象的动态类型语

言，首先是在1990年初出现的，它是由荷兰数学和计算机科学他们共同研究学

会设计出来的，最初被设计用于编写自动化脚本，随着版本的不断更新和语言

新功能的添加，越来越多被用于独立的、大型项目的开发。Python前景比较好，

是人工智能首选的编程语言。

首先Python解释器适合用在扩展里面当中，人们可以使用C或C++，或者

使用其他可以通过C调用的C语言，在扩展到新的功能和数据类型当中。Python

也可以使用于称为自定义扩展语言。

最后,人们使用Python语言编写的时候需要去了解它的开源本质，因为当

电脑上的Python程序多次的被移植到其它平台上的时候，软件会经过多次的改

动后，之后也要使它能在不同平台上成功使用的话，就要去了解软件的真正本

质。

1.2.2JupyterNotebook简介

JupyterNotebook是一款开源的Web应用，可以使用JupyterNotebook来

创建一个技术分享的文档。用途包括：数据清理和转换、数值模拟、统计建模、

数据可视化、机器学习等等。其次JupyterNotebook也是一个开源的Web应用

程序，这个功能就是：进行数据可视化、允许电脑用户创建、共享包含代码。

当人们在学习大数据技术与应用的这项专业时，JupyterNotebook在这一

模块应用比较广泛,所以很适合学生用来做简单数据的清理和处理，可以方便的

2

湖南商务职业技术学院毕业设计

挖掘出网站上面的数据内容，以此用来做数据可视化这也是十分的方便。如果

对于比较高层的开发应用人员来说，JupyterNotebook这个软件程序也可以做

出比较有难度的机器学习。

对于刚刚学习这个的人们来说，安装JupyterNotebook的方法就是安装

Anaconda,因为Anaconda的版本中就是自带JupyterNotebook。如果觉得不需

要Anaconda,可以自己选择进入官网下载安装包。

1.2.3Python第三库简介

requests：使用最普遍的网络爬虫功能库,是Python实现的简单易用的

Http库，Python第三库在使用前要进行安装。

re：正则表达式解析和处理功能库,里面包含了多种字符串匹配的方法。

NumPy：是Python数据分析的基础,可以用来处理数组的Python库。

pandas：数据分析并保存为CSV文件,Python数据分析高层次应用库,还可

以进行数据清洗。

Matplotlib：是一个绘图库,主要用来制作二维绘图，例如：饼图、条形图、

直方图、折线图等图形。

WordCloud：是一个用于生成词云图的Python库。

Pylab：它能设置画图所示中文出来。

3

湖南商务职业技术学院毕业设计

2需求分析

2.1可行性需求分析

1.技术可行性

Python是计算机程序设计的一门语言，它可以跨平台。随着时代的进步，

软件也在不断地更新优化，最初的Python软件设计是用于编写自动化脚本的，

但是现在已经被越来越多的人们用在了独立或者是大型项目上进行一个项目或

者多种的开发了。最常见是用来做Web开发和网络爬虫，还有数据科学等等。

我们在大学当中学习的是大数据技术与应用专业，一开始接触学习也就是

Python编程软件，在敲代码学习中学习基础的代码命令知识，这算是入门。然

后我们就会使用Python软件来进行一个网络上面的数据爬取，来正确采集网站

上的数据。

本次我的项目中会使用Python编写程序来实现数据获取,获取文学网站上

的数据，然后在使用清洗预处理,最后再进行数据可视化，使得最后的项目逐步

分划，更加清晰明了。

随后通过抓包分析来进行逐浪文学网信息页面的数据采集,我们通过浏览

器控制台获取请求和其参数。然后就可以得到网页面数据的返回值。随后将爬

取出来的原始数据暂时以CSV格式储存起来,在之后的数据预处理和可视化中

再进行合理的调用。最后我们会将准确的数据存入Excel中做储存。

以上为此次项目的技术可行性,我也将在后续的工作中将所有的步骤实现

到位,保证数据的准确性和安全性。

2.项目可行性

在这个网络发达的时代，对于一些爱看书也不拘泥与读书形式的人，选择

快速方便的方法进行电子阅读。读电子书的好处非常明显，时间如同生命，就

是可以充分利用自己的碎片时间，只要是在空闲时间就可以迅速看完一本书，

比如等无聊的时候，或者饭后时间，甚至的上厕所的时候，等等这些都是空隙

时间，一种完全不受地点限制的读书方式。

本次项目通过采集比较热门的文学网站内的数据,来分析电子书籍的多样

性信息。我们也将从书籍种类、书籍数量、书籍评论等方面对其进行深度解析,

分析出有更详细统一的信息,将其可视化最后根据结果进行总体的分析。

4

湖南商务职业技术学院毕业设计

2.2采集目标功能分析

本次项目的数据集的来源是逐浪文学网站,是通过Python爬取逐浪文学网

站所有书籍有多少的信息。爬取完成后尽可能的检查数据的准确性,确定爬取出

来的数据无误并且是属于逐浪文学网站实时存在的书籍信息。

分析逐浪文学网站网页信息,明确我们需要爬取的书籍对应网址、名家新作、

重磅推荐、排行榜、男频精选和女频精选等数据,在对原始数据进行预处理后我

们会对其数据进行多个维度的分析。例如，从首页最主要的选取关键字，看自

己最想从哪个方面了解，如果是找寻作家，就可以选择在名家新作里面选择相

应作家在更快选择书本。或者没有阅读方向就可以根据排行榜来根据大多数人

的推荐来选择。

2.3关键技术分析

2.3.1网络爬虫技术

网络爬虫，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚

本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。简单

点来说就是爬取网站上的数据，根据我在大学中所学的大数据专业知识，爬虫

很可能就是利用Python软件上面敲代码，而爬虫主要是针对与网络页面，但只

要不是偷取国家机密和一些不正当的网络爬取，正当爬取一些网站数据都是可

以的。

随着“大数据时代”的面临，网络爬虫是大多数人都会弄的，也是有很多

新青年都要学习的一项技术，就连学校开设这门课程都有许多学生对此抱有着

很大的兴趣。也有很多互联网公司利用网络爬虫技术获取数据资源，开展商业

模式的创新，但是随着网络爬虫技术的普及应用，其中还是潜藏着一些法律风

险，而导致非法爬取网络的事件不断在爆发，其实也可以在网络上看到有许多

这样的案例，一些大数据公司因“爬虫业务”不合法而被法律究查，还有大量

以爬虫为主要技术营业的公司也将快要倒闭，而且更有很多的不法分子依靠这

个盗窃信息，更严重的还有可能会盗窃国家机密等等，这是都是网络爬虫的一

些弊端，但是在我们一开始学习网络爬虫的时候，我们应该知道，什么是网络

爬虫，网络爬虫技术能不能用，爬虫协议是否有法律效力，网络爬取的数据是

否安全，在自己爬取的时候有没有触碰到法律。

网络爬虫的基本原理是：首先要确定自己为什么爬取，对应的网站是应该

5

湖南商务职业技术学院毕业设计

是什么，打开对应网站的首页，然后在进行分析，在Python中导入requests

库和re,Json模块，定义爬取网页的方法，定义解析网页的方法，定义写入文

件，在设置解析时间。但这些都是比较基础的，因为互联网的发展，有些是爬

取不到的，满足不了我们的数据采集需求，这样的话就需要采取反爬取的技术

了，而且学习到比较高级的爬虫技术也都会涉及到反爬虫的概念，学习得知之

后，对于一些需要防爬的网站，其实难度系数也就不会很更高了。如果要想知

道网站是否允许被爬取，我们可以在百度的网站后面加上Robots协议，这样就

可以知道哪些是不允许爬取的内容，该不该爬取数据了。

2.3.2文件存取技术

将网站需要爬取数据的代码写在Python中运行，Python代码模块如图2-1

所示。

图2-1Python代码模块

将Python爬取下的数据保存在CSV文件中，如图2-2所示。

6

湖南商务职业技术学院毕业设计

图2-2保存CSV文件

2.3.3可视化技术

当我们确定要爬取的网站后，我们可以把爬取下来的数据通过预处理，然

后保存为CSV文件格式。但是并不能清楚的表现出内容的划分，要想得到更加

清晰明了的数据我们还需要用到数据可视化技术。

数据可视化是一种数据分析手段，具有直观清晰、解释性强的特点。我们

将数据集中的数据通过图形或者图像的形式表现出来，让用户通过图形或图像

在已知的数据集中总结出新的规律。因为我们在网络爬虫采集到的数据之后，

都是一大段一大段的数据，很难看出来这些数据是干嘛的，这些数据哪一部分

的用途是什么，可能十几条数据我们还可以从单面的意思上理解，但是我们用

到网络爬虫爬取数据肯定是因为数据太多了，过于复杂才要爬取数据的，几十

条几百条甚至是上万条的数据我们肯定就很难看出来其中的数据分析，这时候

我们就需要用到数据可视化，需要把它们全部划分好属于自己的那一板块，进

行深度的了解和分析。然后可视化分析做完之后，将数据导入到需要的第三方

库，再次将数据进行一个合理的数据处理，然后再进行数据分析和判断，最后

在根据数据的情况用一个最恰当的二维几何图，用最直观的绘图把我们爬取出

来的数据给很好的展示出来。

数据可视化主要是用于展示二维图形的方式，能够更加细致清楚的展现出

我们需要表达的数据信息。还能够一目了然传达出这些数据自身的特点，在视

觉方面，起到直接的影响。

这次采集逐浪文学网站的项目，采集数据还是比较简单的，但是对于书籍

7

湖南商务职业技术学院毕业设计

种类它们之间的特征就存在着多样性，而且数据很多显得也是十分杂乱。所以

我是将采集的数据进行数据可视化,最终展现出可视化图形的特点，然后在根据

其中的图形信息写出最后数据分析的结论。

8

湖南商务职业技术学院毕业设计

3数据采集

3.1采集页面分析

我们首先通过谷歌浏览器搜索逐浪文学网官方网页,然后找到数据网址首

页,其中Url为：/，如图3-1所示。

图3-1数据网址首页图

我们是集中先爬取首页标题里面的新小说吧网页，然后我们需要点击“新

小说吧”标题，打开一个新的新小说吧Url地址：/，如

图3-2所示。

9

湖南商务职业技术学院毕业设计

图3-2新小说吧图

按F12调出开发者工具,刷新页面,如图3-3所示。

图3-3开发者工具

利用全局搜索工具定位所需数据位置,点击开发者工具上面的Headers字

段,分析这是个什么请求,发现这个是一个Get请求,可以看见参数Url,那首先

先打开要用的Python软件，进行代码命名首先查询一下服务器响应是否正确，

在爬取一些首页数据,如图3-4所示。

10

湖南商务职业技术学院毕业设计

图3-4首页数据

3.2Xpath分析

我们首先来到网页面打开网页的选择栏,然后将选择栏目定位到首页第一

排书籍整体的位置上，也就是定位到我们所需要的数据所在的位置,然后跳出所

需要数据的Html代码,点击所选Html位置鼠标右击出现的对话框位置。如图

3-5所示。

图3-5复制Xpath页面

3.3编程实现

首先要导入库和对应爬取的网址,如图3-6所示。

11

湖南商务职业技术学院毕业设计

图3-6导入所需库页面

从前面进过复制Xpath然后在Python里面进行实现代码，进行数据爬取，

如图3-7所示。

图3-7通过Xpath实现

12

湖南商务职业技术学院毕业设计

4数据清洗与处理

数据清洗：是对数据进行重新效验的过程，我们可以直接用到Python软件，

或者用JupyterNotebook更加方便。如果是要几百条甚至是几千条的数据进行

清洗，我们就要进行数据预处理，也就是我们所说的数据清洗，但在我爬取的

小说数据类型的是，因为数据过于庞大，笔记本电脑支撑不住这样的数据爬取，

所以只爬取前是十二本最热门的书本，进行数据分析。之后为了保证数据的一

致性,而这个对于信息质量的评估也是很重要的一项任务。不仅如此,我们需要

将这部分数据最后进行数据可视化，做一个大概的比较，这样方便大家观看更

加直观。

本次项目中我们需要将爬下来的数据进行更直观的输出,并且检查是否出

现空值、错值,还有数据的位置是否正确。根据不同的需求我们要对数据进行不

同的处理。

4.1数据清洗

先将数据导入到JupyterNotebook，然后进行读取，如图4-1所示。

图4-1数据清洗准备页面

经过比对和检查,发现数据不存在缺失,错位还有空值,那么我们不需要进

行操作。最后我们只需保留为后续来做统计分析、数据可视化，如图4-2所示。

13

湖南商务职业技术学院毕业设计

图4-2数据清洗完成界面

4.2数据储存

数据存储是指将信息在计算机上进行存储的过程。它包括数据库、文件

夹和网页等多种存储形式。简单来说就是把我们爬取的数据通过某一种方式保

存下来。常见的文件储存格式为Txt,或者用其他文件储存格式为CSV、Json等,

这种就是一般不是特别庞大的数据都可以用这些方法。如果需要储存较大的数

据信息就需要用到我们的数据库,不过我们这里是不需要用到。本次项目我用到

的数据存储是Python，储存格式为CSV，Json，如图4-3所示。

图4-3数据存储为CSV页面

将Python写出来的数据进行运行，最后得到数据结果，如图4-4所示。

14

湖南商务职业技术学院毕业设计

图4-4数据输出页面

4.3编程实现

首先将每一个步骤进行命名，如图4-5所示。

图4-5执行步骤

编写名为get_url函数名，然后执行循环语句来爬取数据，如图4-6所示。

15

湖南商务职业技术学院毕业设计

图4-6爬取数据

用Xpath进行爬取最终获取数据，如图4-7所示。

图4-7获取数据

分析爬取的数据，确定哪一部分是要进行存储，确保最后可以正确存储。

如图4-8所示。

16

湖南商务职业技术学院毕业设计

图4-8存储数据

最后存储为两个CSV文件，前一个用来直接观看数据，Data用做后续做数

据可视化，如图4-9所示。

图4-9存储CSV文件

17

湖南商务职业技术学院毕业设计

5数据统计与分析

5.1数据准备

首先导入相关库,将要爬取的数据以成中文的形式显示，如图5-1所示。

图5-1相关数据

显示代码运行的数据结果，如图5-2所示。

图5-2运行结果

打开Excel软件,选择文件相应路径,显示爬取的数据信息,如图5-3所示。

18

湖南商务职业技术学院毕业设计

图5-3Excel文件

5.2数据展示

5.2.1依据书名进行统计

可视化展示如图5-4所示。

图5-4书名分析词云图

19

湖南商务职业技术学院毕业设计

如图5-4所示中可以看到苹果熟了作者比较热门，提供了准确的信息。词

云图将在表格中书名和作者的字段数据进行所示和处理，展现每本书哪个作者

是相同的，然后进行简单自我分析，将数据转给V1,然后将其统计生成词云图,

这个词云图外观是很漂亮的，往往是对文本信息进行一个图片分析，过滤掉数

字信息，就直接把文本在图表展现出来。

不仅如此,我还发现用这种方法可以过滤掉其他不用的信息。

5.2.2依据总字数进行统计

可视化展示如图5-5所示。

图5-5饼图实例-总字数

如图5-5所示中可以看出《人间寻味忆江南》书籍的总字数是占比率最大

的，其次就是《英雄的名义》书籍，《当风再起时》书籍都是占较少数。

对于现在很多年轻人都追求一个快节奏，就是时间对于我们真的过于宝贵

了，如果一本数字数太多，要不就是中途弃读，要不就是花费太多时间，对于

自身可能会有点浪费，耽误工作之类的，而我们可以快速通过字数统计，来确

定这本书我们是否可以选择去阅读。还有些人们追求，比如青春文学或者名著，

都希望字数可以达到长篇小说，可以说是越多越好。所以这个原因就是说明对

20

湖南商务职业技术学院毕业设计

总字数做统计分析的一个重要性。

5.2.3据总章节进行统计和分析

可视化展示如图5-6所示。

图5-6总章节折线示意图

如图5-6所示中可以得知《人间寻味忆江南》这本书籍章节为最多。

一本书每个人的阅读量还有书籍打赏之类的，这是对于很多作家变现渠道，

章节越多收入越高，对于这本书就能让更多人看到，但这要是对于普通作家而

言，可能就没那么简单了，毕竟要写出较高的字数是比较难的，灵感不足就可

能导致写不出文章，而且根据折线图来说，大家大多数是比较偏向短篇小说，

能够更快节约时间读完一本小说，这也是节约一个时间成本。

我们提取前十二本的总章节,将总数点来以折线图的形式可视化,我们从折

线图可以看出起伏蛮大,但总体来说字素中等较多，呈现一个不平缓的趋势。

这样可以更加方便给大家提供章节总数，并且我做出了每个章节的章节名，

章节链接，这样搜索查找，就可以一目了然。

5.3综述

综上,对于字数来看，人们更爱喜爱字数较少或中等的书籍，我们就选取书

籍《英雄的名义》来看。这本书属于现实主义，成功励志的类型，但是介绍明

显就表明这不是鸡汤文学。它是属于贴近近几年生活的写作：“我是一名医生，

当国家出现了严重的疫情，选择义无反顾地站出来”，刚好是写于2019底开始

出现疫情的时候，这本书在2020处开始出版，在当时这种情况，使得这本书也

21

湖南商务职业技术学院毕业设计

处于一个热门状态。在通过数据的爬取，我们将爬取前32章的章节名和链接。

这样可以提供大家不用进网页直接找到对应的章节。将逐浪首页和分页，新小

说吧，所有的书籍都爬取出来了。因为我们的眼睛对于图片来说，可能看东西

就会更加舒服直观，在上面就会用到数据可视化，这是把我所得到的数据进行

一个数据分析和统计，我们看到几十条数据很容易看花眼，但是做出图标就会

很舒服了。

22

湖南商务职业技术学院毕业设计

6小结

时代在发展,我们都离不开网络时代，现在连小孩子可能都是人手一台手机，

不断的网络信息，都可以在手机上看到。而我们也迎来了近些年热门专业，大

数据技术，也就是说大数据信息提供给我们巨大的数据。在我高中开始接触计

算机网络，编程等等，我十分热爱这项技术，而在大学选择了大数据技术与应

用这项专业，我也是第一次接触了网络爬虫，这也让我明白了，快速准确爬取

网页信息是如此的方便。大数据技术也在不断的快速发展，我相信这一块可以

发展的很好。大数据技术有很多知识方面都需要学习，而我们还是要从基础的

开始，这样才能为今后发展做出巨大的铺垫。

本次项目创作的过程中,我也遇到了很多问题，因为在学习这个专业的时候，

我对Python编程没有学习的很熟练，所以使用