实验3《搜索引擎及SEO实验》

PAGEPAGE23《电子商务应用》实验报告项目名称实验3《搜索引擎及SEO实验专业班级软件1206班学号姓名实验成绩：良批阅教师：2015年1月7日实验3《搜索引擎及SEO实验》实验学时：2实验地点：二综204实验日期：2014-12-26一、实验目的研究并学习几种常见的搜索引擎算法，包括网络蜘蛛爬行策略、中文分词算法、网页正文提取算法、网页去重算法、PageRank和MapReduce算法，了解它们的基本实现原理；运用所学SEO技术对网页进行优化。二、实验内容和方法1.研究常用的网络蜘蛛爬行策略，如深度优先策略、广度优先策略、网页选择策略、重访策略和并行策略等，了解其实现原理；2.研究至少两种中文分词算法，了解其实现原理；3.研究至少两种网页正文提取算法，了解其实现原理；4.研究至少两种网页去重算法，了解其实现原理；5.研究Google的PageRank和MapReduce算法，了解它们的实现原理；6.使用所学的SEO技术，对实验二所设计的网站静态首页实施SEO，在实施过程中需采用如下技术：(1)网页标题(title)的优化；(2)选取合适的关键词并对关键词进行优化；(3)元标签的优化；(4)网站结构和URL的优化；(5)创建robots.txt文件，禁止蜘蛛抓取网站后台页面；(6)网页内部链接的优化；(7)Heading标签的优化；(8)图片优化；(9)网页减肥技术。7.使用C++、C#和Java等任意一种编程语言，设计并实现一个简单的网络蜘蛛爬行程序，要求在输入关键词、设置爬行深度和初始网页URL之后能够实现网页搜索，输出包含关键词的网页的URL和网页标题。【注：实验7为补充实验，不要求每个同学都完成，感兴趣者可自行实现该程序，不计入实验报告评分。】三、实验要求1.研究几种常用的网络蜘蛛爬行策略，填写相应的表格，表格必须填写完整；2.研究两种中文分词算法，填写相应的表格，表格必须填写完整；3.研究两种网页正文提取算法，填写相应的表格，表格必须填写完整；4.研究两种网页去重算法，填写相应的表格，表格必须填写完整；5.研究PageRank算法和MapReduce算法，填写相应的表格，表格必须填写完整；6.提供实施SEO之后的网站静态首页界面和HTML代码，尽量多地使用所学SEO技术；7.严禁大面积拷贝互联网上已有文字资料，尽量用自己的理解来阐述算法原理，必要时可以通过图形来描述算法；8.使用任意一种编程语言实现一个简单的网络蜘蛛程序，需提供网络蜘蛛程序完整源代码及实际运行结果。四、实验步骤1.通过使用搜索引擎并查阅相关资料，研究并整理几种常用的网络蜘蛛爬行策略相关资料，填写相应的表格；2.通过使用搜索引擎并查阅相关资料，研究并整理两种中文分词算法的基本原理，填写相应的表格；3.通过使用搜索引擎并查阅相关资料，研究并整理两种网页正文提取算法的基本原理，填写相应的表格；4.通过使用搜索引擎并查阅相关资料，研究并整理两种网页去重算法的基本原理，填写相应的表格；5.通过使用搜索引擎并查阅相关资料，研究并整理PageRank算法和MapReduce算法的基本原理，填写相应的表格；6.对实验二所设计的网站静态首页实施SEO；7.使用任意一种编程语言，设计并实现一个简单的网络蜘蛛爬行程序。五、实验结果1.研究几种常用的网络蜘蛛爬行策略并填写如下表格：策略名称基本原理参考资料深度优先策略网络蜘蛛会从起始页开始，一个链接一个链接跟踪下去，处理完这条线路之后再转入下一个起始页，继续跟踪链接。这个方法有个优点是网络蜘蛛在设计的时候比较容易。[1]百度文库：浅谈蜘蛛抓取策略--广度优先和深度优先/view/c803a36c27d3240c8447ef85.html广度优先策略网络蜘蛛会先抓取起始网页中链接的所有网页，然后再选择其中的一个链接网页，继续抓取在此网页中链接的所有网页。这是最常用的方式，因为这个方法可以让网络蜘蛛并行处理，提高其抓取速度。[2]百度文库：浅谈蜘蛛抓取策略--广度优先和深度优先/view/c803a36c27d3240c8447ef85.html网页选择策略网络蜘蛛按照重要程度决定所要下载的页面。要求一个公共标准来区分网页的重要程度，一个页面的重要程度与他自身的质量有关，与按照链接数、访问数得出的受欢迎程度有关，甚至与他本身的网址（后来出现的把搜索放在一个顶级域名或者一个固定页面上的垂直搜索）有关。[3]百度词条：网络爬虫/link?url=PfQpH27N1Es3Dll_RqEwnEGadY7uum1B0yojtL5uSC2WOTpNY0ynPSZ8lbZYjLSy7SYiI8IEyS3p82tMWn2Hxa#3重访策略网络蜘蛛决定什么时候检查页面的更新变化。可以利用更新策略分类有如下：以网站更新频率为主要参考标准，根据网页类型不同调整更新频率，针对时效性关键词进行重访策略，依据网站权重判断等[4]搜道SEO培训：搜索引擎网页重访策略/sd-info100.html并行策略网络蜘蛛可以采用并行运行多个进程的蜘蛛。它的目标是最大化下载的速度，同时尽量减少并行的开销和下载重复的页面。为了避免下载一个页面两次，蜘蛛系统需要策略来处理蜘蛛运行时新发现的URL，因为同一个URL地址，可能被不同的蜘蛛进程抓到。[5]百度词条：网络爬虫/link?url=PfQpH27N1Es3Dll_RqEwnEGadY7uum1B0yojtL5uSC2WOTpNY0ynPSZ8lbZYjLSy7SYiI8IEyS3p82tMWn2Hxa#3研究两种中文分词算法并填写如下表格：算法名称基本原理参考资料逐词遍历法逐词遍历法将词典中的所有词按由长到短的顺序在文章中逐字搜索,直至文章结束。也就是说,不管文章有多短,词典有多大,都要将词典遍历一遍。博客园：中文分词技术(中文分词原理)/flish/archive/2011/08/08/2131031.html最大正向匹配法

(ＭａｘｉｍｕｍＭａｔｃｈｉｎｇＭｅｔｈｏｄ)通常简称为ＭＭ法。假定分词词典中的最长词有i个汉字字符，则用被处理文档的当前字串中的前i个字作为匹配字段，查找字典。若字典中存在这样的一个i字词，则匹配成功，匹配字段被作为一个词切分出来。如果词典中找不到这样的一个i字词，则匹配失败，将匹配字段中的最后一个字去掉，对剩下的字串重新进行匹配处理……

如此进行下去，直到匹配成功，即切分出一个词或剩余字串的长度为零为止。这样就完成了一轮匹配，然后取下一个i字字串进行匹配处理，直到文档被扫描完为止。博客园：中文分词技术(中文分词原理)/flish/archive/2011/08/08/2131031.html3.研究两种网页正文提取算法并填写如下表格：算法名称基本原理参考资料基于去除html标签的网页正文提取算法基于去除html标签的网页正文提取算法是一种不必建立DOM树的网页正文提算法。该算法的主要思想是首先去除html标签，根据去除html标签后的文字密度判断出正文区域。最后将所有的正文区域合并，取得网页正文内容。下面详细介绍具体的算法流程赵明明，陶华，伏虎：网页正文提取方法研究/link?url=zGT3jykVLfZUYDHHnPCi5ICSRbGBNWbPxI3jjpxuSGyUioQdxPd0UAhnMXXK0tqsDCsChL1qBHHvIvljOqIPCoU--RomPF6rlU370gDaTQa基于内容相似度的网页正文提取首先抽取出HTML页面中的title及各级标题，再对网页进行标准化预处理，然后建立一种新的树型结构，HTML中的所有正文信息都包含在这棵树的节点中。利用这种树型结构可以方便地清洗网页中的噪声、抽取出网页中的正文信息。王利，刘宗田，王燕华，廖涛。基于内容相似度的网页正文提取[J].计算机工程,2010，3(36):102-1044.研究两种网页去重算法并填写如下表格：算法名称基本原理参考资料I-Match算法将文档中有语义的单词用hash的办法表示成一个数字，数字的相似性既能表达文档的相似性

算法的框架是：

1.获取文档（或者是主体内容）

2.将文档分解成token流，移除格式化的标签

3.使用term的阈值（idf），保留有意义的tokens

4.插入tokens到升序排列的排序树中

5.计算tokens的SHA1

6.将元组（doc_id,SHAhash)插入到某一词典中，如果词典有冲突，这两个文档相似。CSDN:网页去重-算法篇/beta2/article/details/5014530分段签名算法这种算法是按照一定的规则把网页切成N段，对每一段进行签名，形成每一段的信息指纹。如果这N个信息指纹里面有M个相同时（m是系统定义的阙值），则认为两者是复制网页。网页去重：搜索引擎重复网页的算法(转载)/popkiler/article/details/17574955.研究PageRank算法和MapReduce算法并填写如下表格：算法名称基本原理参考资料PageRankPageRank让链接来"投票"一个页面的“得票数”由所有链向它的页面的重要性来决定，到一个页面的超链接相当于对该页投一票。一个页面的PageRank是由所有链向它的页面（“链入页面”）的重要性经过递归算法得到的。一个有较多链入的页面会有较高的等级，相反如果一个页面没有任何链入页面，那么它没有等级。百度百科：googlepagerank/link?url=n2oN-hKBBXMuxMh8f2bppW_CC-TJQBEq8m4qZniBV7sJ4BRu4-WZNFIJJr4BoSRoJeovDHHLoi4BuBRDRrnxZa#2MapReduce0）一份数据上传到hdfs中，会被切分成好多片（比如64MB），并且每一个片段会存到若干台DataNode（冗余存储，防止某个节点失效后不至于导致数据不完整，作业无法进行）1）map的输出既是Reduce的输入。2）map对每条记录的输出以<key,value>pair的形式输出。3）在进入reduce阶段之前，还要将各个map中相关的数据（key相同的数据）进过洗牌，排序，归结到一起，发往一个reducer。4）进入reduce阶段，相同的key的map输出会到达同一个reducer网易博客：mapreduce简单原理

/clevertanglei900@126/blog/static/1113522592011787857347/

提供通过SEO优化之后的网站首页静态效果图和完整的HTML源代码。网站首页静态效果图HTML源代码所涉及的修改：增加了Title，keywords，description，及对图片的隐藏注释，帮助蜘蛛更好的来抓取图片，同时优化了内链，以及由于先前不懂SEO页面中有太多的H1标签，进行了删选注：内链仅为实现效果设置，其真正链接的页面目前仍未实现。<!doctypehtml><head><metacharset="utf-8"><title>你好阳光_体育用品商城</title><metacharset="keywords"content="你好阳光体育用品商城,销售各种体育用品,在线购物交流咨询平台."><metacharset="description"content="你好阳光体育用品商城是专业的体育用品专卖店,提供各类(篮球/足球/羽毛球/网球/壁球等)运动服装,运动鞋,健身器材,户外用品,泳装,自行车,滑板车等体育运动用品."><metaname="robots"content="INDEX,FOLLOW"/><metaname="viewport"content="width=device-width,initial-scale=1,maximum-scale=1"><!--js--><scriptsrc="js/jquery-1.8.2.min.js"></script><scriptsrc="js/common.js"></script><scriptsrc="js/jquery.easing.1.3.js"></script><scriptsrc="js/ddsmoothmenu.js"></script><scriptsrc="js/jquery.flexslider.js"></script><scriptsrc="js/jquery.elastislide.js"></script><scriptsrc="js/jquery.jcarousel.min.js"></script><scriptsrc="js/jquery.accordion.js"></script><scriptsrc="js/light_box.js"></script><scripttype="text/javascript">$(document).ready(function(){$(".inline").colorbox({inline:true,width:"50%"});});</script><scriptsrc="js/html5.js"></script><!--endjs--><!--CSS==================================================--><linkrel="stylesheet"href="css/style.css"><linkrel="stylesheet"href="css/colors.css"><linkrel="stylesheet"href="css/skeleton.css"><linkrel="stylesheet"href="css/layout.css"><linkrel="stylesheet"href="css/ddsmoothmenu.css"/><linkrel="stylesheet"href="css/elastislide.css"/><linkrel="stylesheet"href="css/home_flexslider.css"/><linkrel="stylesheet"href="css/light_box.css"/><!--endCSS--></head><body> <divclass="mainContainersixteencontainer"><!--HeaderBlock--><divclass="header-wrapper"><headerclass="container"><divclass="head-right"><ulclass="top-nav"><liclass=""><ahref=""title="MyAccount">我的账号</a></li><liclass="my-wishlist"><ahref=""title="MyWishlist">我的心愿单</a></li><liclass="contact-us"><ahref=""title="ContactUs">联系我们</a></li><liclass="checkout"><ahref=""title="Checkout">结算</a></li><liclass="log-in"><ahref=""title="LogIn">登陆</a></li></ul><ulclass="currencyBox"><liid="header_currancy"class="currency"><aclass="mainCurrency"href="#">当前登陆用户</a><divid="currancyBox"class="currency_detial"><ahref="#">£</a><ahref="#">€</a><ahref="#">$</a></div></li></ul><sectionclass="header-bottom"><divclass="cart-block"> <ul> <li>(2)</li> <li><ahref="cart.html"title="Cart"><imgtitle="Item"alt="Item"src="images/item_icon.png"/></a></li> <li>物品</li> </ul> <divid="minicart"class="remain_cart"style="display:none;"> <pclass="empty">你的购物车里面有两个物品</p> <ol> <li> <divclass="img-block"><imgsrc="images/small_img.png"title=""alt=""/></div> <divclass="detail-block"> <h4><ahref="#"title="dengshanxue">登山靴</a></h4> <p> <strong>1</strong>x300.00 </p> <ahref="#"title="Details">详细</a> </div> <divclass="edit-delete-block"> <ahref="#"title="Edit"><imgsrc="images/edit_icon.png"alt="Edit"title="Edit"/></a> <ahref="#"title="Remove"><imgsrc="images/delete_item_btn.png"alt="Remove"title="Remove"/></a> </div> </li> <li> <divclass="img-block"><imgsrc="images/small_img.png"title=""alt=""/></div> <divclass="detail-block"> <h4><ahref="#"title="dengshanzhang">登山杖</a></h4> <p> <strong>1</strong>x90.00 </p> <ahref="#"title="Details">详情</a> </div> <divclass="edit-delete-block"> <ahref="#"title="Edit"><imgsrc="images/edit_icon.png"alt="Edit"title="Edit"/></a> <ahref="#"title="Remove"><imgsrc="images/delete_item_btn.png"alt="Remove"title="Remove"/></a> </div> </li> <li> <divclass="total-block">总共<span>390.00</span></div> <ahref=""title="Checkout"class="colors-btn">结算</a> <divclass="clear"></div> </li> </ol> </div> </div><divclass="search-block"><inputtype="text"value="搜索更多"/><inputtype="submit"value="搜索更多"title="Search"/></div></section></div><h5class="logo"><ahref=""title="Logo"><!--你好阳光Logo图片--><imgtitle="Logo"alt="nihaoyangguangLogo"src="images/logo.png"/> <!--你好阳光Logo图片--></a></h5><navid="topnav"class="ddsmoothmenumainMenu"><ulid="nav"><liclass="active"><ahref=""title="Home">主页</a></li><liclass=""><ahref=""title="Shopby">分类</a><ul><li><ahref="/outdoor">户外用品</a></li><li><ahref="/fit">健身用品</a></li><li><ahref="/swim">游泳用品</a></li><li><ahref="/athletics">田径用品</a> <ul><li><ahref=""></a></li><li><ahref="/athletics/shoes">田径鞋</a></li><li><ahref="/athletics/clothes">田径衣服</a></li><li><ahref="/athletics/tools">田径工具</a></li></ul></li><li><ahref="/bike">骑行用品</a></li><li><ahref="/surfing">冲浪用品</a></li></ul></li><liclass=""><ahref=""title="Blog">社区论坛</a></li><liclass=""><ahref="/faq"title="Faq">问答中心</a></li><liclass=""><ahref="/aboutus"title="Aboutus">关于我们</a></li><liclass=""><ahref="/"title="Pages">待定页面</a></li><liclass=""><ahref="/hr"title="Footwear">招聘精英</a></li></ul></nav></header></div><!--你好阳光首页展示图片--><sectionclass="banner-wrapper"><divclass="banner-blockcontainer"><divclass="flexslider"><ulclass="slides"><li><ahref="/fitclothes"title="fitclothes"><!--健身服饰爆品--><imgtitle="Banner"alt="健身服饰爆品"src="images/banner1.jpg"/></li><li><ahref="/sportshoes"title="sportshoes"><!--运动保暖鞋--><imgtitle="Banner"alt="运动保暖鞋"src="images/banner2.jpg"/></li><li><ahref="/wintersports"title="wintersports"><!--冬季运动装备--><imgtitle="Banner"alt="冬季运动装备"src="images/banner3.jpg"/></li><li><ahref="/sportunderwear"title="sportunderwear"><!--运动型内衣--><imgtitle="Banner"alt="运动型内衣"src="images/banner4.jpg"/></a></li></ul></div><ulclass="banner-add"><liclass="add1"><ahref="/tent"title="tent"><imgtitle="tent"alt="add1"src="images/static1.jpg"/></a></li><liclass="add2"><ahref="/frisbee"title="frisbee"><imgtitle="frisbee"alt="frisbee"src="images/static2.jpg"/></a></li></ul></div></section><!--你好阳光首页展示图片--><sectionclass="content-wrapper"><divclass="content-containercontainer"><divclass="heading-block"><h2>本店热荐</h2><ulclass="pagination"><liclass="grid"><ahref="#"title="Grid">九宫格模式</a></li></ul></div><divclass="feature-block"><ulid="mix"class="product-grid"><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang_1"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang_1"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang_1"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang_1"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li><li><divclass="pro-img"><!--体育用品登山杖--><imgtitle="FreatureProduct"alt="dengshanzhang"src="images/default_img.png"/><!--体育用品登山杖--></div><divclass="pro-hover-block"><h4class="pro-name">特价登山杖</h4><divclass="link-block"><ahref=""class="quickllookinline"title="QuickView">快速预览</a><ahref="/outdoor/dengshanzhang_1"class="quickproLink"title="Link">商品链接</a></div><divclass="pro-price">60.00</div></div></li> </ul></div><divclass="heading-block"><h2>最新上架</h2></div><divclass="new-product-block"><ulclass="product-grid"><li><divclass="pro-img"><!--体育用品便携代步车--><imgtitle="FreatureProduct"alt="FreatureProduct"src="images/default_img.png"/><!--体育用品便携代步车--></div><divclass="pro-content"><ahref="/bike/bianxie_1">便携代步车</a></div><divclass="pro-price">1199.00</div><divclass="pro-btn-block"><aclass="add-cartleft"href="#"title="AddtoCart">加入购物车</a></div><divclass="pro-link-block"><aclass="add-wishlistleft"href="#"title="Addtowishlist">加入心愿单</a><aclass="add-compareright"href="#"title="AddtoCompare">加入对比</a><divclass="clearfix"></div></div></li><li><divclass="pro-img"><!--体育用品健身用品--><imgtitle="FreatureProduct"alt="FreatureProduct"src="images/default_img.png"/><!--体育用品健身用品--></div><divclass="pro-content"><ahref="/fit/shoutao_1">健身手套</a></div><divclass="pro-price">30.00</div><divclass="pro-btn-block"><aclass="add-cartleft"href="#"title="AddtoCart">加入购物车</a></div><divclass="pro-link-block"><aclass="add-wishlistleft"href="#"title="Addtowishlist">加入心愿单</a><aclass="add-compareright"href="#"title="AddtoCompare">加入对比</a><divclass="clearfix"></div></div></li><li><divclass="pro-img"><!--体育用品滑雪保暖夹克--><imgtitle="FreatureProduct"alt="FreatureProduct"src="images/default_img.png"/><!--体育用品滑雪保暖夹克--></div><divclass="pro-content"><ahref="/outdoor/clothes_manbaonuan_1">男士滑雪保暖夹克</a></div><divclass="pro-price">390.00</div><divclass="pro-btn-block"><aclass="add-cartleft"href="#"title="AddtoCart">加入购物车</a></div><divclass="pro-link-block"><aclass="add-wishlistleft"href="#"title="Addtowishlist">加入心愿单</a><aclass="add-compareright"href="#"title="AddtoCompare">加入对比</a><divclass="clearfix"></div></div></li><li><divclass="pro-img"><!--体育用品女士滑雪保暖夹克--><imgtitle="FreatureProduct"alt="FreatureProduct"src="images/default_img.png"/><!--体育用品女士滑雪保暖夹克--></div><divclass="pro-content"><ahref="/outdoor/clothes_womanbaonuan_1">女士滑雪保暖夹克</a></div><divclass="pro-price">340.00</div><divclass="pro-btn-block"><aclass="add-cartleft"href="#"title="AddtoCart">加入购物车</a></div><divclass="pro-link-block"><aclass="add-wishlistleft"href="#"title="Addtowishlist">加入心愿单</a><aclass="add-compareright"href="#"title="AddtoCompare">加入对比</a><divclass="clearfix"></div></div></li></ul></div><divclass="news-letter-container"><divclass="free-shipping-block"><h3>享受免费配送</h3><p>更有免费节日礼物相送哦</p></div><divclass="news-letter-block"><h2>及时获取我们的新品</h2><inputtype="text"value="输入电子邮箱"title=""/><inputtype="submit"value="提交"title="Submit"/></div></div></div></section></div><sectionclass="footer-wrapper"><footerclass="container"><divclass="link-block"><ul>