1006大设计翻译版基于众包商品调研系统与实现

MashupCrowd上，让平台用户对商品名称和日期，系统查询数据库，获取该指定日期内商品在社交和上的：商品调研，众包，社交网络，，爬DesignandImplementationofaCommodityResearchSystemBasedonCrowdsourcingAuthor:XIETutor:SUNCommodityresearchplaysaveryimportantroleinbothmarketingandproductinnovation,findingsofwhichprovideareferenceforconsumerstounderstandtheproduct’squalityandreputationandalsoprovidedataforbusinessestounderstandthecurrentsituationandtrendofcommoditymarkets.Intraditionalcommodityresearch,expertsatresearchdesignedthequestionnaireanddispatchedthemtoconsumersthroughInternetoroffline.However,performingthismethod,thebusinesseshavetopayalotcostforavarietyofspending.Ontheotherhand,businessesstandingontheirownstandtendtoignorethefeelingsofconsumers,bringaboutinaccurateconclusions.Therefore,basedonstatisticalUGC(UserGeneratedContent)data,thisthesiscombinesdataminingandcrowdsourcingtoimplementcommodityresearch.Thethesisillustratesanewcommodityresearchmodelthatcollectsandyzescommoditiescommentsinsocialnetworksandelectroniccommercewebsitesbringingabouttrendofreputationofsomeproduct.Basesonthismodel,weimplementacrowdsourcingapplicationthathasaninteractiveinterfacetoacceptproduct-nameinputtedbysystemusersandvisualizestheresultsconductedbythissystem.Morespecifically,themainworkofthispaperislistedasfollows:Firstly,designandimplementacrawler.Crawlerisusedtosourcecommentdataforyzing.Withthedevelopmentofsocialnetworks,datageneratedbythemisofmorevariedforms.Datasetconcerningaboutfeelingofcommoditiesis inggreater,ofwhichyzingcanevaluatepriceofcommoditieseffectively.However,basedonresearchaboutdatainsocialnetworks,userstendtoissuenegativecomments,andthesedatacanhardlyreflecttheinformationaboutproductobjectively.Tosolvethisproblem,thispaperaddthecommoditycommentdata mercetothedatasource.Tocrawlthesedata,aisdesignedtocrawldatafromelectroniccommerceSecondly,evaluatethedifficultleveloftask.Choosingwhethertaskshouldbecompletedthroughcrowdsourcingisakeyquestionincrowdsourcingapplication.Qualityofevaluatingalgorithmsdeterminestheeconomicbenefitofcrowdsourcing.Thisthesisproposesamethodtoevaluatedifficultlevel:naïveBayesalgorithmandSVMalgorithmarechoosestojudgethesentimentalcategoriesofcommoditycomments.Iftheygivethesameresulttoacomment,thenresultisassignedtothecomment.Orwedeliverthecommenttothemoduleofcrowdsourcing.Thisistheapproachtothequestionofwhethercommentshouldbeprocessedbymachinelearningalgorithmsorcrowdsourcing,whichcouldbereferredbyothercrowdsourcingapplications.Thirdly,applycrowdsourcing.Crowdsourcingreferstoabusinessmodelthatacompanyororganizationissuestasks,whichshouldbecompletedbyemployees,ontheinternetincombinationofcertainkindofincentivesandInternetusers plishthetasksaimingtogetpaidorotherinterests.Thecrowdsourcingmodeldesignedinthisthesissourcesinformationthroughvoting.Thesecomments,ofwhichdifficultylevelisinappropriateforautosentimentalysis,wouldbeissuedtotheMashupCrowdplatformastasks.Platformuserswillvoteastothesentimentalcategoryofcommoditiescomments.Fourthly,designandimplementthesystem'sinterfaces.Usersinputproductnameanddatetheywanttoinquireandthensystemqueriesthedatabase,showsthetrendofcommodities’commentintheformofcharts.：commodityresearch,crowdsourcing,social merce, 绪 研究背 国内外研究现 商品调 众 研究目标与内 课题来 的组织结 相关技术现 2.1和京东爬 机器学习算 朴素算 支持向量机算 应用开发技 众包理论及应 本章小 系统的整体框架及关键问题研 系统需求分 系统总体架构设 系统顶层模块设 系统流程设 关键问题研 爬虫模块设 数据处理模块设 本章小 基于众包的商品调研系统的实 系统开发环 开发环境和开发语 技术基 爬虫模块实 获取京东商品评论地 爬虫爬取信 爬虫爬取实 评论情感分析模块实 中文分词实 情感分析模块实 评论众包处理模块实 前台界面实 查询界面实 查询数据实 数据展示实 本章小 系统试 实验环 功能及性能试 实验目 实验过 实验结论与分 本章小 总结与展 工作总 工作展 致 参考文 绪但是互联网的发展为商品调研提供了新的视野和思路。社交网络和评论平台日益成为消费者对商品意见的重要场所。截止2013年6月底，中国网民规模为3.31亿，网民中使用率达到了56.0%，较上年底增加了1.3个百分点[1]。社交的消费者以及增加消费者的购物经验，许多为消费者提供了评论的平台[2]。与传统调研方式相比，基于社交网络和平台获取数据有众多优势。首先，和互联网上的评论进行分析。被分析的文本材料被称为语料。Pang对评论的分析正确率达到了87.5%。之后，外国学者在此基础上进行了一系列的深入研究，并取例如从分析使用的词典角度看，中文常用的情感词典有HowNetNTUSD，而英文词典众多，典型如OPLexicon。分类。具体的成果有Ye等人在中文环境下对于文档的情感分析理论与方法；在PMI_IR价性质的受欢迎程度。2005年，微软Gameon等人开发了一款可以自动挖掘汽车评论中信息的意见挖掘系统Pulse。还有IBMAlmaden的Yi和NibliackWebFountain。国内比较著名的商品评价挖掘系统有交通大学的昉等人研究并开发出的一套车评意见投票系统，以百科为代表的信息共享系统和以小米为例的消费者参与商品研发的创究，超九成的中国消费者信任熟人推荐的形式[9]。所以，社交网络品评论对消费者象。然后本系统对这两个上的商品评论内容进行了研究，发现和京东的评论的情感极性。很多商品评论，无论在上还是上，其情感极性非常明显。数据库进行交互，获取该段时间内和京东上消费者评价的数据，以折线图和饼状图等效果展示给消费者。为了获取和京东数据，本工作需要实现爬虫爬取两第工具包HttpClient和HtmlParser[10]，实现了京东商品评论内容的定向爬取。流程。系统的开发采用JSP开发技术，设计了基本的servlet，实现了前台与数据库之间（2012AA01203商品调研系统是一个收集并分析社交网络和平台上商品评价信息，得出消费者对商台，尤其是社交平台和平台提供的数据进行商品调研的优势和前景。以第一章绪论虫的相关技术、机器学习算法的应用、JSP和JavaScript搭建的技术以及众包的应本章重点在于总结和评价本毕设在系统的设计与实现方面已进行工作的收获和不足之处。针系统的最设计目，对比当系统的实现况，统下一段应当进行的工作。同时，展望系统的广泛应用。相关技术现本文主要目是获取交（（东上商品评数SP用vSript技术进行相关数据的可视化呈现。所以，本章将从以下的数据来确定为和东。所本毕设设并实现针对新浪和京商城的爬；第二机器学习法。为了保数据的处速度和少众包算法；第，发技术。统的交互界的实现。关处理据要保存在数据库，前台要数据库行交互。时，数据要台进行现；第，众包和京东爬。首先研究的API和京东的API提供开放API供第开发者使用数据进行开发。在开放平台上成为平台的开发者之后，可以按照新手引导进行应用创建。创建应用之后，开发者通过OAuth2.0机制获得API调用权限。进而可以进行API调用，获取开发需要的数据。但是，的API对普通户；获取用户的关注列表，只能为当前用户。这样的权限要求当然本系统的需求。后来，经过和的咨询和讨论，获知现有数据库可以使用。这样，就解决了本毕设数据来源需求。。明确回复，API中不提供获取商品评论的接口。所以，设计并实现一个针对得初始网页的URL，在抓取网页中，不断从当前页面抽取新的URL放入队列。而针对HttpClientHtmlParser开源包来实现针对京东的爬虫。HTTP协议是Java类库.netHTTP协议网络资源，但是HttpClient的灵活性和功能更胜一筹。通过HttpClient，爬虫可以获分析网页信息，获知网页中包含的特定信息。HtmlParser是SourceForge开源上活跃的一个开源项目，它提供了线性和嵌套两种方式来解析网页，主要用于html网页的转换(Transformation)以及网页内容的抽取(Extraction)。HtmlParser有如下一些易于使用的特性：过滤器(Filters)，者模式(Visitors)，处理自定义以及易于使用的JavaBeans。爬虫可以使用HtmlParser解析HttpClient抓取的网页，获取需要的数据。感倾向。本系统使用的两个机器学习算法是朴素算法和SVM算法。朴素算朴素分类器是一种应用基于独立假设的定理的简单概率分类器。它的讲后者实际上就是计算“条件概率”的公式。即在事件B发生的情况下，计算出事件A支持向量机（SupportVectorMachine）[12]VC维理论和结ortspnik1995[13]模式识别中表现出许多特有的优势。其中，小样本是指与问题的复杂度比起来，M（或称惩罚变量SMM[14]，在该开发包中对于三类分类问题，首先训练三个分类器，第一个只回答“是好评然后利用卡方检验，选取特征向量，再计算该向量各属性（即每个词）TF-IDF值，随后输出成LIBSVM所要求的训练数据格式，使用LIBSVM自带的工具grid.py选出最TF-IDF的操作，之后（Model用户在使用本系统时，需要台界面输入查询信息。JSP承担视图功能，生成前台界面。前台界面将请求转交给Servlet处理请求，负责根据查询信息进行前的交互。Servlet承担控制器的功能，其调用JavaBean进行数据库的查询工作。JavaServlet是一个基Java技术Web组件，运行在服务器端，由Servlet容器所管理，用于生成动态的内容。Servlet是平立的Java类，被编译为平立的字节接或者直接在浏览器的地址栏中输入URL来Servlet。Servlet接收到用户发出的请求，调用JavaBean和的数据库进行交互。用户在系统前台输入查询数据要求，与数据库进行交互之后，需要将查询到的数据呈现台。网页的动态效果广泛使用JavaScript呈现。JavaScript拥有众多的Js库，可以帮助程序迅速实现复杂功能。Highcharts图标控件就是目前使用最为广泛的JavaScript库。Highcharts主要包括两个部分：HighchartsHighstock。Highcharts可以柱形图、条形图、饼图和散点图等类型。Highstock可以方便地建立时间轴图表。它包在展示界面，Highcharts使用的数据需要从服务器端获得。这需要进行JavaScript“众包（crowdsouring）这一概念是由《连线》杂志•豪在2006年月。月。的创新化正在成为一种趋势。众包在商业模式上的浪潮正是从创新设计领域切入并且已经成为华尔街青睐的商业模式[18]。具有创造力。也更容易适应市场需求并获得利润上的保证。位于芝加哥的“Threadless”T恤公司就是典型的利用众包进行产品创新的成功案例。论基础。2.1节介绍了系统所需数据的来源。和京东的API都不符合本系统的数据需求，所以本系统采用HttpClient和HtmlParser开源包，定向爬取京东的完全借助众包技术实现会对众包模块产生巨大压力。因此系统选择朴素模型和SVM算法进行商品评论数据的预处理。2.3节介绍了在系统开发过程中应用到的JavaWeb应用技术。本系统开发主要借助MVC模型，使用Servlet、Jsp、JavaBean等来构建单回顾了众包技术的发展历程，然后众包技术与商品调研系统的结合点。系统的整体框架及关键问题品评论数据，判断商品的评价走势。具体工作内容为爬取和京东上的商品的商品评论，转交给众包处理。最后台界面，向用户展现商品评价走势。3.13.1所示，分为前台交互模块、数在数据库中查询数据，返回之后台展示。数据来源模块包括京东数据来源和新浪数据来源。新浪数据来源数据库。京东商品评论数据来源于京东爬虫。每种商品在京东上都有唯一的一个ID，根据ID，爬虫可以获知商品评论的URL，根据URL请求网页、解析网页、获取相关SVM算法判断情感。若两者判定结果一致，则认为情感判断可以接受，否则交由数数据客户服务否 能否判数据存在该商品结有无返原始数据原始反馈结评价结果判断结查询信输入查询商品信众包3.23.2为商品调研系统的总体顶层流程，主要分为前台和服务器端两大方向。对于商品ID。爬取商品评论网页。根据京东商品的ID，可以获取商品评论的URL地址，然后获取URL指定的评论网页，解析网页获取商品评论。进行处理。整体过程的数据流如图3.3所示。根据朴素分类器，首先要进行数据训练。训练库用𝐶𝑡𝑟𝑎𝑖𝑛表示。由好中差评的比例可以得到好中差评的先验概率分别是P(𝑡1)、P(𝑡2)P(𝑡3)（使用𝑡1、𝑡2、𝑡3代表本系统首先解析每一条评论c∈𝐶𝑡𝑟𝑎𝑖𝑛为一系列词{𝑤𝑖}，w表示这个词，i表示词的

|𝑡𝑗)

(𝑛(𝑤∑ ∑j{1,2,3}，𝑛𝑡𝑗(𝑤𝑖)表示词𝑤𝑖在𝑡𝑗t(c)=

𝑃(𝑡𝑗)∏𝑖𝑃(𝑤𝑖 60条评SVM

p 𝑗|𝑠

对于SVM的具体使用，本文采用LIBSVM。LIBSVM是大学等SVM模式识别与回归的软件包。该软件SVM所涉及的参数调节相对比较少，提供了很多的中选择得票数最多选项被认定为最后结果众包投票发布平台选择ACTMashup是否一存得是否一存得票数最众包投结果结果朴素不一3.3基于众包的商品调研系统的根据第三章介绍的基于众包的商品调研系统的模块框架设计和各个模块的详细概念设计，本章将详细介绍本毕设针对这些模块的实现，并用相应的工程文件或者类图辅以说明。操作系统：Windows数据库管理系统：MySQLWindowsJava语言编写。爬虫模块使用HttpClient和HtmlParser第开源包。前台交互页面使用Servlet技术生成动态页面，Ajax技术在JavaScriptHighCharts对数据进行可视化展示。使用JDBC技术对数据库进行查询操作。操作系统：Windows页面语言Http协议应该是互联网中最重要的协议。持续增长的web服务都在集成并拓展着Http协议JDK包中提供了http协议来访问网络资源，但是大多数场景下，它都不够灵活和强大。HttpClient致力于填补这个空白，它可以提供有效的、的、功能丰富的包来实现http客户端。HttpClient提供的HTTP的主要是通过GetMethod类和PostMethod类来实现的，他们分别对应HttpGet请求与HttpPostHtmlParser可以让使用者轻易地迭代遍历网页的所有节点。HtmlParser将解析过的信息法有两种：使用Filter和使用Visitor。Filter过滤树形结构，取得满足条件的节点，然后处理节点获取所需要的内容。Visitor遍历所有节点，对符合条件的节点进行处理。Servlet是在服务器端运行以处理客户端请求并做出相应的程序。创建的Servlet类必须继承HttpServlet类；实现doGet()或者doPost()方法。Servlet可以处理用户的请求，并对这些Http7GetPost两者请求方式。Servlet由Servlet容器来管理，当客户请求到达时，容器创建一个取客户端发来的请求数据，利用ServletResponse对象发送响应数据。之英文要复杂的多、的多中文分词(ChineseWordSegmentation)指的是将一个汉字序列切分成一个一个单分词的商业公司很少。可供使用的分词有结巴中文分词、ICTCLAS分词系统、ICTCLAS分词系统。该系统是最早的的中文开源分词项目之一。该系统采用完美PDAT大规模知识库管理技术。分词速度单机其全部采用C/C++编写，支持C/C++/C#/Delphi/Java等主流开发语言。JavaScript是一款功能十分强大的网页语言，被数以百万计的网页用来改进设计、验证表单、检测浏览器、创建s等。而且JavaScript拥有强大的js库。本毕设主要使用到了Ajax技术和Highcharts图表库。AjaxJavaScriptXML技术，指的是一套综合了多项技术的浏览器端网页开发技术。AjaxJavaScript处理来自服务器的回应。AjaxJsonXMLAjaxJavaScript技术进行处理，调用Highcharts图表库展示数据。Highchartsjs图标库。它采用Javascript编写，能够很简单便捷的在Web或Web应用中添加交互性的图表，Highcharts目前支持直线图、曲线图、面积图、柱状图、饼图、散点图等多3.2介绍，获取爬URLHttpClientURLHtmlParser解析网页。获取商品评论的，根据商品评论的，请求商品评论网页。但是，京东商城搜索结果中，商品评论的网页是使用Ajax技术动态加载，而且不是全部评论。查阅网络和技术社区的相关资料，并咨询学长之后，并没有得到很好的获取Ajax动态加载内容的 和获取商品ID之后爬虫可以获得商品评论的全部和好评、中评、差评。商品评论由为京东以及包括商品ID在内的路径组成，获取完整的方式为：4.1StringbegUrl =" /review/"+id+4.1在上述代码中。变量id即为商品ID。i为评论的页数的序号，评论数可能会有很多页。变量endUrl为商品评论的后缀。不同的后缀表示着不同种类的评论。4.2由图4.2可以看到，给出了商品评论的全部评价、好评、中评、差评、有晒单解了商品评论种类和评论之间的对应关系如表4.1所示。由上述所述方式，根据商品ID，爬虫模块就可获知商品各种评论的URL地址，供表4.1商品评论种类和后缀对应关根据上节的叙述，爬虫就可获取商品评论，请求，获取商品评论页面的图4.3类图展示了Comment类的结构。4.34.2Comment表4.2Comment类保存ProductInfo类中4.4 表4.3ProductInfo爬虫的主体部分由CommentCrawlerProductInfoCrawler和ImageSrcCrawler类实现。CommentCrawler负责爬取商品评论信息，是爬虫的重点部分。CommentCrawler类接受字符串形式的评论地址，或者java.,net.URL类型的评论地址，创建一个个网页中一般情况下会有30个评论。所以，ComentCrawler会返回一个Comment对象的列表。使用CommentCrawler时，首先初始化得到对象，然后调用public 表。图4.5是CommentCrawler的类图。4.5CommentCrawlerCommentpublicCommentCrawler(StringreviewUrl)ComemntCrawler类。获得一个实例。在调用爬虫时，每个都要初始化一个类实例。publicArrayList<Comment> 要调用接口。其返回该爬虫在初始化时给出内的所有评论信息。论数是Ajax技术动态加载的，无法从HttpClient请求的静态网页中获取。所以爬虫返回privateStringtrimString(StringdlString)。该接口主要负责对网页文本信息进行空晒单的爬，增加了参与者的投票正确性。所以，本系统要将保存下来。但是，一个评论中只给出了一组中的前三个，爬虫必须根据评论中的评论详细地址，找到全部的地址。所以，本系统设计了ImageSrcCrawler类实现详细评论网页ImageSrcCrawlerImageCrawler的结构如图4.6所述：

4.6ImageSrcCrawler和ImageCrawler4.2.2节中，本文介绍了所要爬取的商品信息详细情况。商品信息的爬取主要由ProductInforCrawler类实现。因为商品信息在每个评论页面中都有展示，所以，在4.7ProductInfoCrawler和ProductInfo ment类实现。使用JDBC连接到数据库之后，调用INSERT-SQL语句。图 朴素和SVM算法两部分。中文机器学习算法与英文最大的不同在于，英文单词在开源的中文分词系统有IK yzer、分词、(Paoding)中文分词[22]以及ICTCLAS中文分词系统等。其科院ICTCLAS作为开源分词项目是广为使用的分表4.4ICTCLAS常用函数接口及功能StringNLPIR_ParagraphProcess(String,String (String,voidICTCLAS系统的开源版本为NLPIR-ICTCLAS2014分词系统。其源语言使用C\C++编写，提C\C++接口、C#接口、hadoop平台接口。对JavaJNA接口。JNA首先根据C的头文件来对应的函数，后就像调用普通的java方法朴素本系统使用了朴素算法分类器。算法的主要特点是速度快、简单易实机产品的所有评论，其中好评7690条，中评562条，差评247条。表4.5朴 朴素模型，得到结果。SVM

图4.9朴素训练及使用示意SVM算法同朴素算法一样，都是需要先训练，再进试使用。SVM算法大学等开发设计的一个简单、易于使用和快速有效的SVM模式识别本系统训练数据是好评中评和差评各4000条，测试数据是各60条。进试时，表4.6SVM测试数据正确率使用LIBSVM验证参数进行交叉验证，获取的正确率为79.63%。和朴素相4.10SVM此，本文采用内部的众包开发平台（MashupCrowd平台MashupCrowd4.11所示。任务包括商品4.12应的日期那天，评论种类组成的饼状图。前台界面展示工程的框架如图4.13所示：4.13是一个CSS/HTML框架[23]。本系统使用Bootstrap提供的界面风格。下面代码导入Bootstrap和其它必要插件：<scripttype="text/javascript"<linkhref="bootstrap/css/bootstrap.min.css"<scripttype="text/javascript"4.14BootstrapJavaScript插件。当用户单击4.15在查询者输入查询信息完毕后，单击“提交”按键，页面产生响应。search.java是函数处理，doPostHttpServletRequest代表客户端的相关信息和请求信息，在对请求进行处理后，调用ServletResponse对象的方法设置响应信息。本类中首先调用使用体实现是由display.jsp中的JavaScript代码实现AjaxServlet和JavaScript该页面首先要获取由search.java传送过来的参数。本页面使用JavaScript来获取window.location可以获URL的信息，window.location对象拥URL的location.hrefURL的完整字符串。location.search表示当前网页URL中从问号（？）开始的URL（查询部分。获取查询部分字符串，就可以通过Ajax技术，Post请求之后，queryData.javadoPost()request.getParameter()获取上述代码url对应的中的参数。JavaBeanResultQuery.javaJDBC查询数4.16ResultQueryResultQuerypublicJSONObjectquery(Stringname,DatebeginTime,DateendTime)接口获取数据库查询数据。该查询数据是个Json结果。然后在Servlet类queryData.java的方doPost()中，将数据库查询结果包装在另一Json结构中，反馈给Ajax函数。]4.17queryDataJsonfunctiondrawPlot(json)，函数调用Highcharts页面给出响应的提示。参数options表示对折线图的配置。本章根据第3章功能需求和模块设计，介绍了商品调研系统的设计与实现。首先，4.1节简单回顾了系统的功能需求和各个模块的设计功能，了本毕设具体的实现结果。4.2节详细列举了系统的开发环境，同时列举了在开发过程中所使用到的各项技术。4.3节则侧重讲述了爬虫的实现过程，列举了开发中实现的类的类图以及重要的信息、各个类之间的关系等。4.4节侧重讲述了数据处理模块的实现。数据处理模块由情感分析模块和众包模块组成。情感分析模块则又由朴素模型和SVM模型组评论数据发布到众包平台上，供平台用户进行投票。众包平台借用的是ACT内MashupCrowd平台。4.5节阐述了前台界面的实现过程。介绍了系统界面之间的跳系统试 (R)Pentium(R) 操作系统：Windows数据库：MySQL测试浏览器端：Chrome35.0.1916.114270117)1)系统并输入信5.1由图5.1可以看到能够正常页面5.25.2点击提交按钮，得到效果图5.3图5.3关于商品小辣椒满意度调研结图5.4京东商品评价分布 图5.5点击折线节点折线9.1%和36.4%。这对应了初期调研中评论总是倾向于评价正面的结果。在本文的满足功能需求。从系统性能角度，基本符合要求。服务器端记录，CPU和内存录系统的功能页面，并分析结果。性能测试时，分析PCCPU和内存的变化情况。对总结与展的是分类器、支持向量机等机器学习方法。而这些方法对训练数据、情感词典等使用在数据库。针对京东商城，本毕设参考，借助HttpClient和HtmlParser开源包，实现了针对京东商城商品信息和商品评