《基于网络爬虫的电商比价系统设计》8900字

基于网络爬虫的电商比价系统设计摘要近几十年来，随着科学技术的高速发展，使人类迈入了信息社会和互联网经济的新时代，通过互联网进行电子商务就是其中之一。自1998年以来，电子商务给当今社会带来了重大的商业变革，特别是商品购买实践的变革。随着电商行业的发展，人们越来越多地使用购物网站，网络购物逐渐变成了大多数人习以为常的一种生活行为。在大型电子商务网站上搜索和比较产品，对用户来说是一个耗时和乏味的过程，他们经常在大型电子商务网站之间切换，无法看到相同产品之间的比较信息。快速找到最好的产品，更有效地购物，是设计比价系统的实现目标。该系统的主要功能是收集电子商务网站的商品信息，并将商品价格进行比较，让用户明确商品目标。本系统的核心功能是从电商网站上采集商品的信息并在网站页面上展示出来。能够实现商品的搜索，商品信息的呈现，商品分类比价，网购者可以根据自己的需求进行筛选查看；网站系统可以在同样的页面上显示不同网站商家的产品信息，得到相关产品的价格差异，并可以通过链接一键跳转到其购买产品的商家页面。本课题设计开发的比价系统整体为JavaWeb项目，大框架采用了SpringBoot，部分结合了Hibernate框架，数据库表的设计使用了MySQL语言。关键词：网络爬虫，电商比价系统，IDEA，SpringBoot，MySQL数据库目录摘要 绪论课题研究背景随着国内电子商务和物流业的快速发展，网上购物形式大涨，效率也很高。人们越来越多地使用购物网站，“网购”已经慢慢侵入到人们的生活当中，成为大多数人习以为常的一种生活行为。然而，电子商务仍然面临一些问题。首先，网站上无数的类别和产品会使消费者难以选择，需要花费大量的精力和时间进行比较和选择。此外，有许多不同品牌的产品，但消费者的耐心和时间却是有限的。电子商务比较系统的目标是使用户能够准确和容易地找到最合适的产品，提高查找效率和购物体验。比价系统研究现状国外研究现状电商发展起步于海外，但随着美国电商规模的迅速增长，美国海外市场对比价体系的研发已经开始较早，而且也早已成熟的训练了美国用户的使用习惯，据研究表明，目前美国的网民中在电子商务平台中有超过百分之六十八的人利用比价网站购买商品。比较成熟的比价网站列举如下。ShopLocal是一家相当有影响力的电子商务比价门户网站。ShopLocal主要收集各种电子商务平台的商品信息，他们在给用户提供商品比价服务的同时也会搜集用户的意见反馈，对大量用户评价不好的产品加以揭露。同时也可以给个人用户提供更隐秘的价格资讯，包括正在清仓降价的店铺，以及哪个店家的商品品质最有保证等信息。该网站的特点就是能够将电子商务在网络平台上的成本价格和用户所在地的实体店铺的产品价格相对比较。BizRate网站正式上线于一九九六年，主要为个人用户提供商品比价服务，并以此为基石，慢慢发展为一家专注于商品的搜索引擎。用户在该网页通过搜索可以比较目标产品包含售价在内的所有有关资讯，能够给使用者的购买决策带来大量的资讯支持。NexTag于一九九八年开始建立，同样是日本国内比较知名的比价购买平台。这个页面上不但能进行比较普通商品，比价业务同样还包括了旅游服务，以及金融理财产品，金融理财产品，房地产等。国内研究现状限于中国国内的网络发展起步较晚，中国国内的比价购物业务的发展速度也晚于一些发达国家。但由于国内外网络的高速发展，加上电商的强势出现，比价购物网络也得到很大的提升，比价购物行业的发展趋势越来越完善。其中一些成熟的比价网络分为如下三种。一淘网是中国阿里巴巴公司旗下的销售型导购网络平台，创建于二零一零年。一淘网立足于淘宝网、天猫、小飞猪以及阿里巴巴公司集团等丰厚的电子商务基础。通过返利、红包、优惠券以及大量的宣传利益点，给消费者带来了高性价比的购买感受，是广大个人用户不容忽视的网络购买利器。帮五购买作为华人国内较大的自主购买搜索引擎门户网络平台，利用了十多年的购买互联网搜索引擎技术和多元化的垂直搜索引擎服务，帮使用者解答了“买哪里”和“去哪儿买”的实际提问，帮五购买下设有要买、淘特价、韩国馆、帮五游、帮团购、帮五逛、帮社区、帮五淘等垂直购买互联网搜索引擎频道。比一比比价网，比一比可以实现对全网所有产品资讯的检索，为用户带来尽量完整的产品资讯，并且具有历史产品价格检索的能力。比一比比价网站的另一大特点，就是可以给用户介绍关于淘宝店铺亏本冲力的促销内容，并推出超低价的产品。本次毕业设计需完成一个电子商务比价平台，项目研究的首要目标是需要获得电商网站商品的数据源。而得到商品数据源有以下三种常用方法[1]。（1）线下数据收集。一家比价公司通常有一套收集产品数据的设备，然后分发给个人收集者，他们使用这些设备收集产品数据并最终发送。然后由审计师对收集的数据进行检查，并对产品信息进行统计记录。（2）合作发展电子商务。与主要的零售商和电子商务企业合作，并在数据方面进行合作收集。而要与这些电子商务巨头合作，这需要一个庞大的用户群提供样本。（3）网络爬虫抓取数据[2]。利用网络爬虫技术采集各大电商网站平台的需要的商品信息数据源。前两个方法是比较准确的，但对于普通开发者很难实现。传统价格比较系统的制造商不太可能使用前两种数据采集方法。这就使使用第三个解决方法的优势变的明显。第三个解决方案不需要大量的硬件资源，对应用程序的干扰较小，并且可以根据需要灵活地采集数据。因此，在本系统的设计中拟采用第三方案进行商品数据收集。网络爬虫研究现状网络爬虫是一个遵循特定的规律，自主地访问和收集网络信息的程序，应用于互联网搜索引擎。网络爬虫技术通过大量专家学者的钻研和努力，已经发展形成了一中较为完善的互联网信息收集技术，并作为现代搜索引擎的主要部分[3]。比一比比价网通过网络爬虫技术可以定时地对全网商品质量提供搜索，并主动捕捉商品质量相关信息，从而可以降低生产成本，在当前商品数量巨大的电商环境中为实现更全面的商品价值比较，提供了一个实现途径。论文研究的内容本课题设计开发的电商比价系统，在IDEA软件平台上进行编码，使用SpringBoot，Hibernate等框架，利用网络爬虫技术采集各大电子商务网站上的商品信息，解析后存储于数据表中。本论文的研究目标如下：网站能够从电商平台获取商品信息，包括商品的链接、价格、简介等。网站实现商品分类比价展示，用户可以根据自己的需求进行筛选查看。网站可以在相同页面上展示各大电商网站的相关商品信息，用户可以得到不同电商网站的相关商品价格差异，并且能够令用户点击链接跳转到相应网站上进行购买。网站功能完善、界面美观，操作简单，无明显BUG。论文组织结构本文章节安排如下：第一章绪论，重点介绍论文选题的背景意义，与选题有关的国内学术状况。第二章需求分析，主要分析系统的服务要求以及技术可行性。第三章总体设计，对整个比价系统进行功能分析，设计功能模块。第四章详细设计，对系统各功能模块的重要部分进行了介绍。第五章系统测试，对系统的基本功能进行了基础测试。第六章结论，对本次课题的设计开发和论文编写进行了总结和展望。系统需求分析用户需求分析该系统针对的是网上购物者，他们使用比价系统主要是为了简化和方便选择他们喜欢的产品，所以设计的网站页面比较简单，以便用户能够快速访问到价格比较结果。系统搜索商品的时间应当控制在一定范围，否则用户会变得不耐烦并停止使用该系统。搜索要快速清晰，让用户能及时获得所有的产品信息，可以按目标价格范围过滤产品，点击产品链接可以直接进入购物页面，不用再次进行搜索跳转，方便快捷。图2-1用户需求流程图技术可行性分析本课题编码使用Java开发语言，网站采用B/S架构，在Wndows10平台和JDK1.8环境下进行开发，编译采用Java语言。目前世界上使用范围最为广泛的开发语言是Java，因为它跨平台的强大性，保证系统可在Linux，Unix和Windows等主流服务器平台上部署运行。编码工具使用了IDEA，数据库系统采用了MySQL，应用服务器使用了Tomcat8.5，在数据量和并发量不大的情况下足以支撑整个网站。开发语言--JavaJava是Sun公司一九九五年推出的新一代计算机开发语言。Java程序设计语句是一个面向对象的程序设计语句，不但吸收了C++程序设计语句的所有优势外，还摒弃了在C++里所无法使用的多继承、指针等定义，使得Java程序设计语句同时具备了功用巨大和简洁易用二个特点[4]。Java语言成为静态面向对象编程语言的杰出代表，极好地体现了面向对象理论，使得程式员以最优秀的思想方法完成最繁杂的程序设计。开发环境--IDEAIDEA是JetBrains公司的产品，全称为IntelliJIDEA，是Java语言的集成开发环境，IDEA在业界被公认为是最好的java开发工具之一，尤其在智能代码助手、代码自动提示、重构、J2EE支持、Ant、JUnit、CVS整合、代码审查、创新的GUI设计等方面的功能可以说是超常的。IntelliJIDEA主要用于支持Java、Scala、Groovy等语言的开发工具，同时具备支持目前主流的技术和框架，擅长于企业应用、移动应用和Web应用的开发，同时强大的静态代码分析和人机工程学设计使开发不仅高效，而且令人愉快。数据库--MySQLMySQL是一个关系式数据库，把关联信息库的全部数据信息都存放于不同类型的表中，而并非把全部数据信息都置于某个大仓库中，这就提高了反应速度并增强了灵活性[5]。MySQL中所采用的SQL语句，是用来存取数据库系统的最普遍标准化方式。MySQL软件实行了双重认证方式，包括了社会版本和商业版，因其容量小、时间快、总体上具有价格便宜，因为开放式源码环境这一特性，所以通常中小型网站的建设都选用了MySQL这个网络数据库系统。系统的设计框架本系统使用的是SpringBoot开发架构，即MVC开发方式。利用SpringBoot架构可以更高效地简化项目初始构建和设计流程，而利用MVC模型则能够把整个项目分成模型层、视图层和控制层，提高了程序开发效率，降低了程序的耦合度[6]。图2-2MVC体系结构Hibernate框架Hibernate是一个面向用户的开放源码系统。它是一个表示物体和相对物体如何相互关联的系统。Hibernate是一个非常轻量级的JDBC对象封装器，在POJO和数据库表之间建立映射关系，它是一个完全自动化的ORM系统，Hibernate可以自动生成SQL语句，自动执行它们，因此Java程序员可以利用面向对象编程的思想随意操纵数据库[8]。Lucene框架Lucene追溯本源其实是一个Jar包，是一种打开源代码的全文搜索引擎工具包。但其并非一种完善的全文检索引擎，而仅仅是一种全文检索引擎的基本架构，提供了完备的搜索引擎功能与搜索引擎，以及部分文字解析引擎(英文与德文二种西方编程语言)。Elaticsearch搜索引擎Elasticsearch，是一种使用Lucene的搜索服务器。它展示了一种分布式多用户服务能力的全文互联网搜索引擎，并采用了RESTful的web界面。而Elasticsearch是用Java语言编写的，并以在Apache许可证条件下的公开源码设计，是一个全新的企业级互联网搜索引擎。它的主要功能有：第一点，它是分布式、高扩展、高度即时的搜索和数据分析引擎。它可以非常便捷的使数据具备了查询、分类和挖掘的工作能力。既利用了Elasticsearch的水平延伸性，也可以使大数据分析在现代生产工作环境中变得更有实用价值。其次，它允许数据分析、结构化搜索和全文搜索。最后，它可以近实时处理大批量数据[10]。jsoup框架Jsoup是一种Java的HTML解释器，能够直观剖析某些URL网址、HTML或文件的内容。它也提出了一种非常省力的API，能够使用DOM、CSS和相似于jQuery的方法来获取和使用数据。它的使用方式与JavaScript以及jQuery都十分相似，而且也相当易于上手，所以本系统页面分析采用的是jsoup框架。

系统总体设计系统功能分析本系统主要实现的功能有：(1)对使用者提交产品的搜索进行爬虫；(2)把通过爬虫所得到的产品信息内容，以更友好的方式呈现给客户；(3)实现商品分类比价展示，使用者能够根据自己的需求进行筛选查看；(4)用户能够在同张网页上得到各大电商网站的相关商品信息；(5)使用者能够在网页上发现各个电子商务站点的产品价格差距；（6）点击商品可以查看商品详细信息，并支持用户跳转到相应网站进行购买。图3-1系统主要功能图系统总体功能模块用户访问该系统的网站并注册登录。当用户使用关键词输入产品搜索时，系统会根据要分析的产品标识符在Elasticsearch引擎中搜索数据，如果找到了这样的数据，将会把商品详细信息展现给用户。对于在Elasticsearch引擎中没有找到的产品，系统会根据关键词指定的URL从电子商务网站中搜索产品信息并存储在Elasticsearch引擎中，然后再将其转存于数据库中，最后利用AJAX页面技术将产品信息展示给用户。图3-2功能模块流程图系统总体框架本系统主要采用JAVAEE技术进行开发，系统的三个主要层次是：业务逻辑层、数据采集层和视图层，也被称为MVC编程模型。业务逻辑层：业务逻辑层主要管理从网站发送的参数，然后在管理相关的业务逻辑后，接收相应的URL并将其作为参数呈现给数据搜索层。数据搜索层：数据搜索层接收在服务逻辑层获得的URL作为参数，然后处理URL对应的业务页面，获得业务页面中产品的具体信息，并再次处理产品，获得其具体信息，最后将搜索到的信息封装在一个对象表中，再返回到业务逻辑层。视图层：视图层是直接在面向用户，允许用户进行操作。它是用JavaScript和HTML5创建的，由一个静态的HEML层和一个动态的JSP层组成。在输入关键词后，用户可以输入一个可点击的搜索，将关键词直接传递给服务逻辑层。一旦访问完成，业务逻辑层将数据返回给视图层，而视图层则向用户展示产品信息。系统总体框架图如图3-3。图3-3系统总体框架图系统详细设计前端页面设计前台用Web方式作为交互界面，用户输入目标商品的名称是，系统从后台的本地数据库中查询符合要求的商品记录，并展示商品的详细信息的查询页面，用户可以通过点击产品名称查看详细描述，点击“购买”则跳转到对应网站进行购买。如图4-1。而系统的主要数据来源主要来自网络爬虫对各电商平台网站的抓取[16]。图4-1用户平台交互序列图搜索界面设计图4-2搜索页面设计如图4-2显示了系统搜索的用户界面。用户界面的外观主要是借鉴了京东网页模板进行设计，整体风格较为类似。用户在搜索框中输入关键词进行搜索，得到商品信息。用户登录页面设计图4-3是用户登陆页面设计，整体设计使用了HTML5设计模板，比较简洁大方。图4-3登陆页面设计数据库设计本系统是在MySQL环境中采用数据库可视化软件NavicatforMySQL。本系统主要是利用网络爬虫技术来完成商品数据收集，在进行分析后把标准化后的商品数据储存在其相应的数据库中。商品信息表。主要存储商品的名称、来源平台、店铺名称、价格、链接、创建时间。表4-1goods商品信息表字段名称字段类型允许空说明productidint否商品编号select_nmvarchar是搜索名称raw_titlevarchar否商品名称platformvarchar是商品平台shopvarchar是店铺名称view_pricevarchar是商品价格detail_urlvarchar是商品链接create_timvarchar是创建时间管理员用户表。主要存储用户注册的个人信息，其中包括管理员信息，用户与管理员之间的权限不同。表4-2users管理员用户表字段名称字段类型允许空说明useridint否用户编号usernamevarchar否用户名real_namevarchar是真实姓名emailvarchar否邮箱地址passwordvarchar否登录密码permissionInt否0(禁止登陆)，1(正常普通用户)create_timedatatime否注册时间last_login_timedatatime否创建时间用户留言表。主要用于存储用户对于某些商品的评价。表4-3mark用户留言表字段名称字段类型允许空说明markidint否评价编号useridint否用户编号productidint否商品编号markscoreint是评价分数markcontentvarchar是评价内容marktimedatatime是评级时间用户搜索信息表。用于存储用户进行搜索时所搜索的关键词和搜索时间。表4-4search用户搜索信息表字段名称字段类型允许空说明searcheidint否搜索编号useridint否用户编号searchcontentvarchar是搜索词searchtimedatatime是搜索时间商品分类表。用于保存商品种类。表4-5category商品分类表字段名称字段类型允许空说明idint否自增编号category_idInt否商品类别编号category_namevarchar是商品类别名称category_descvarchar是商品类别描述网络爬虫模块设计本模块采用HttpClient抓取数据。这里以爬取京东商城商品信息为例。新建一个爬虫项目，首先要配置好依赖。由于经常使用HTTPClient，所以需要进行封装，方便使用。部分代码如下。publicstaticStringhttpGet(Stringurl){

CloseableHttpClienthttpClient=HttpClients.createDefault();//获取HttpClient对象

HttpGetget=newHttpGet(url);//创建对象，设置url地址

get.addHeader("Accept-Language","zh-Hans-CN,zh-Hans;q=0.5");

Stringresult="";

CloseableHttpResponseresponse=null;//获得响应

try{

response=httpClient.execute(get);//解析响应

HttpEntityresponseEntity=response.getEntity();

result=EntityUtils.toString(responseEntity,"UTF-8");

}catch(IOExceptionvar6){

var6.printStackTrace();

}

returnresult;

}

}网页解析模块设计爬取数据完成，利用Jsoup进行网页数据解析。Jsoup可在一个url,文件或数字串中分析出html；通过DOM或CSS选择器来查看、获取数据信息。所以最后可以将爬取的数据剔除无效数据后，可以按要求将标准化后的数据存入对应系统数据库表中。StringjdResult=((HttpResponse)cn.hutool.http.HttpUtil.createGet("/Search?keyword="+productNm+"&enc=utf-8&pvid=4fb2a4ea7ae244f8b819d4399017b11a").execute().charset("UTF-8")).body();Documentdoc=Jsoup.parse(jdResult);ElementgoodsList=doc.getElementById("J_goodsList");Elementsli=goodsList.getElementsByTag("li");for(inti=0;i<li.size();++i){Elementelement1=(Element)li.get(i);Stringval=element1.attributes().get("data-sku");if(!StringUtil.isBlank(val)){Elementselements=element1.getElementsByTag("i");StringrawTitle="";Elementsem=element1.getElementsByTag("em");for(intj=0;j<em.size();++j){Elementsfont=((Element)em.get(j)).getElementsByTag("font");if(null!=font&&font.size()>0){rawTitle=((Element)em.get(j)).text();}}业务逻辑层设计业务逻辑层主要负责将向浏览器所上传的参数加以管理，而经过对相应的业务逻辑的管理可以得到对应的URL，并将URL作为参数提交到数据爬取层。当接收到视图层传来的关键词，然后加以解析后，判断是否要进行爬取商品信息。publicclassInitController privatestaticLoggerlog=LoggerFactory.getLogger(InitController.class)privateGoodsSearchServicegoodsSearchService;publicResponseEntityrun(HttpServletRequestrequest,Stringkeyword){ ResponseEntityresponseEntity=newResponseEntity(); List<Map<String,Object>>list=goodsSearchService.queryHit(keyword,"pa","title"); if(list!=null&&list.size()>0){ responseEntity.success(list,"搜索成功"); }else{ ThreadPool.getInstance().addTask(newInitSyncTask(keyword,goodsSearchService)); responseEntity.failure("404","暂无更新商品，现在已启动数据采集功能,请5秒后再试..."); }returnresponseEntity;}搜索模块的设计本系统搜索模块使用的是以Lucene框架为基础中的ElasticSearch搜索引擎。主要分为引擎文档定义层和引擎服务层，并实现用户比价功能。用户可在查询界面的搜索框内输入商品关键词,或单击旁边的查询按钮完成商品查询。系统在数据库中查询相关商品并进行页面展示，主要包括商品详情、商品链接、当前价格等。关键价格排序部分代码如下。privatestaticvoidsearchOrdered(Clientclient){SearchResponseresponse=client.prepareSearch(index).setQuery(QueryBuilders.matchAllQuery())//根据价格降序排序.addSort(SortBuilders.fieldSort("view_price").order(SortOrder.DESC)).execute().actionGet();System.out.println("searchOrdered:");System.out.println(response);}

系统的调试与测试软件测试目的软件测试是使用人工或自动的手段来运行或测定某个软件系统的过程，其目的在于检验它是否满足规定的需求或弄清预期结果与实际结果之间的差别。本系统测试目标有如下三条。（1）测试电商比价系统运行过程中是否出现bug，保障系统能够实现其基本功能。（2）将测试过程获取到的实验数据记录分析，以便用于后期软件的风险评估。（3）在系统无明显bug的基础上，要保证整个软件开发流程的合理性、完备性、高质量性。所以软件测试不仅是验证软件质量，也是保障软件开发人员对于开发流程的重视，为后期维护软件带来便利。软件测试内容系统功能测试此次测试时按照编写的测试用例依次对系统所要实现的功能进行测试，检测各功能是否能够正常实现并满足用户需求。回归测试此次测试这个模块将在整个系统开发期进行测试。对部分代码进行修改后，可会引进的新的bug。因此，需要进行持续的回归测试，以检查代码更新在运行期间不会引入新的错误。软件测试环境本系统通过IDEA上运行，使用Apache公司推出的Tomcat8.5Web应用服务器与jdk1.8，数据库使用的NavicatforMySQL与VertrigoServ。而电商比价系统在本地URL为：http://localhost:8088。测试用例与测试结果根据电商比价系统的功能设计，对各功能编写测试用例并进行测试。测试用例与测试结果如下表。测试系统的网络爬虫功能，如下表5-1。表5-1网络爬虫功能的测试表测试ID1测试项目网络爬虫功能测试目的检验系统的爬虫功能是否能够爬取商品信息，解析相关字段后再将其放入到数据库中测试步骤运行相关爬虫代码检查数据库中的商品信息表预期结果数据解析成功并放到相关表中测试结果与预期结果相符，商品信息爬取成功并放入了商品信息表中测试系统的注册登录功能，如下表5-2。表5-2注册登录功能的测试表测试ID2测试项目登录注册功能测试目的检验系统的注册登录功能测试步骤输入网址，进入比价系统的登录注册页面模拟新用户输入账号密码进行注册模拟老用户输入账号密码进行登录预期结果新用户注册登录成功老用户登录成功测试结果与预期结果相符，新老用户的注册登录功能实现测试系统的搜索比价功能，如下表5-3。表5-3搜索比价功能的测试表测试ID3测试项目搜索比价功能测试目的检验系统的搜索比价功能测试步骤用户在搜索框内输入商品关键字，点击搜索查看商品信息及价格差异跳转链接购买预期结果搜索功能正常运行通过关键字搜索出相关商品并显示在页面上测试结果与预期结果相符，搜索比价功能正常运行测试结论经过一系列的黑盒测试，本系统的网络爬虫功能、注册登录功能、搜索比价功能基本能够正常实现。结论与展望结论电商比价系统的设计与开发的功能已基本达到预期设计目标，但因为自身能力的尚有不足，系统只实现了对于京东、淘宝网站商品的信息爬取，其他很多当下主流的购物网站的商品数据没有进行抓取。数据库设计上的还有不足之处，例如：每次搜索都有数量庞大的商品信息存进数据库中，系统偶有延迟。此外，前台引用HTML5模板，因掌握的还不熟悉，页面设计还不够简洁美