毕业设计---基于asp的搜索引擎开发

1、基于基于 ASPASP 的搜索引擎的开发的搜索引擎的开发 论论 文文 作作 者者 姓姓 名名 ： 申申 请请 学学 位位 专专 业业 ： 申申 请请 学学 位位 类类 别别 ： 指指导导教教师师姓姓名名 （职职称称） ： 论论 文文 提提 交交 日日 期期 ： 基于基于 ASPASP 的搜索引擎的开发的搜索引擎的开发 摘摘要要 随着互联网和宽带上网的普及，搜索引擎在中国异军突起，并日益渗透到人 们的日常生活中。在互联网普及之前，人们查阅资料首先想到的是拥有大量书籍 资料的图书馆，但是今天很多人都会选择一种更方便、快捷、全面、准确的查阅 方式互联网。 而帮助我们在整个互联网上快速地查找到目标信息

2、的就是越来越 被重视的搜索引擎。本文通过分析国内外搜索引擎的发展现状，提出了一种利用 ASP 技术实现一个 B/S 体系结构的搜索引擎系统的方案，以期达到功能强大，操 作简单，通用性强，可以满足用户对信息搜索需要的搜索引擎系统。文中着重论 述了该系统的数据流程、功能实现与代码设计、后台管理等， 并对相关技术作了 详细的介绍。论文在撰写过程中， 力求将理论与系统应用相结合，对各种理论进 行阐述的同时配合系统从实际应用和操作技巧上加以说明， 希望能够更充分地体 现这些知识与技术在系统中的应用与实现。 关键词关键词 ：ASP；模糊查询；关键字；搜索引擎 Development of Search E

3、ngine Based on ASPDevelopment of Search Engine Based on ASP AbstractAbstract With the popularization of the Internet and surfing the Net with broadband, search engine likes a dark horse in China, and permeate through daily life day by day. Before this, when people consult materials the first thought

4、 is the library that has a large number of books .But now more and more people will choose Internet to search for information .Its more convenient, fast, comprehensive and accurate for searching information. The search engine that helps us in the whole Internet to quickly identify target information

5、 is played more and more attention to. In order to achieve the formidable function, simply operating, stronger versatility and satisfy the users to the information search need ,This paper gives a plan that realizes a systematic scheme of search engine of B/S system structure through analyzing the cu

6、rrent development of search engine in domestic and international systematic with the technology of ASP. This thesis mainly describes the data procedure of this system, functional realization and code design, back-stage management, etc. emphatically in the article.It has done more detailed introducti

7、on to relevant technology. The paper makes every effort to use the theory and practice and combine together in the course of writing, the cooperation system is explained from practical application and operation skill while explaining various kinds of theories, hope to more fully reflect the knowledg

8、e and application in this system of technology and realize. Key words:Key words: ASP; fuzzy query; keyword; search engine 目目录录 论文总页数：21 页 1 引言 . 1 1.1 课题背景 . 1 1.2 搜索引擎的发展方向 . 1 2 系统开发技术分析 . 2 2.1 系统开发环境 . 2 2.2 IIS 简介 . 2 2.3 SQL SERVER 2000 简介. 2 2.4 ASP 简介 . 2 3 概要设计 . 3 3.1 需求分析 . 3 3.2 数据库设计 .

9、3 3.2.1 分类目录数据库表 . 3 3.2.2 网站登录信息数据库 . 4 3.2.3 管理员数据库表 . 4 3.2.4 关键字记录数据库表 . 5 3.3 系统设计结构图 . 5 4 系统前台模块设计 . 5 4.1 网站搜索模块的实现 . 5 4.1.1 功能描述. 5 4.1.2 流程图. 6 4.1.3 界面设计. 6 4.1.4 工作流程和代码设计. 6 4.2 分类目录模块的实现. 7 4.2.1 功能描述. 7 4.2.2 工作流程和代码设计. 8 4.3 网站登录模块的实现 . 9 4.3.1 功能描述. 9 4.3.2 数据流程图. 9 4.3.3 工作流程. 10

10、4.4 网站修改模块. 11 4.4.1 功能描述. 11 4.4.2 工作流程图. 11 4.4.3 界面设计. 12 4.4.4 工作流程和代码设计. 13 5 系统后台模块设计 . 13 5.1 网站管理模块的实现. 13 5.1.1 功能描述. 13 5.1.2 工作流程和代码设计. 14 5.2 网站审核. 15 5.3 分类管理模块. 15 5.3.1 分类编辑. 15 5.3.2 分类添加. 16 5.3.3 分类删除. 18 6 系统性能测试 . 18 6.1 系统测试环境. 18 6.2 测试结果. 18 结论. 19 参考文献. 19 致谢. 错误！未定义书签。错误！未定义

11、书签。 声明. 错误！未定义书签。错误！未定义书签。 1 1 引言引言 1.11.1 课题背景课题背景 随着因特网的迅猛发展、WEB 信息的增加，用户要在信息海洋里查找信息， 就像大海捞针一样，搜索引擎技术恰好解决了这一难题。目前， 搜索引擎系统可 以分类三大类，分别是：目录式搜索引擎：以人工方式或半自动方式搜集信息， 由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架 中；机器人搜索引擎：由一个称为蜘蛛的机器人程序以某种策略自动地在互联网 中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查 询输入检索索引库，并将查询结果返回给用户；元搜索引擎： 这类搜

12、索引擎没有 自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进 行重复排除、重新排序等处理后，作为自己的结果返回给用户。 1.21.2 搜索引擎的发展方向搜索引擎的发展方向 搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智 能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理 等多领域的理论和技术，所以具有综合性和挑战性。又由于搜索引擎有大量的用 户，有很好的经济价值，所以引起了世界各国计算机科学界和信息产业界的高度 关注，目前的研究、开发十分活跃，并出现了很多值得注意的方向： 1.十分注意提高信息查询结果的精度，提高检索的有效性。用户在

13、搜索引擎 上进行信息查询时，并不十分关注返回结果的多少，而是看结果是否和自己的需 求吻合。 2.基于智能代理的信息过滤和个性化服务。 信息智能代理是另外一种利用互 联网信息的机制。它使用自动获得的领域模型（如Web 知识、信息处理、与用户 兴趣相关的信息资源、领域组织结构） 、用户模型（如用户背景、兴趣、行为、 风格）知识进行信息搜集、索引、过滤（包括兴趣过滤和不良信息过滤） ，并自 动地将用户感兴趣的、对用户有用的信息提交给用户。 3.采用分布式体系结构提高系统规模和性能。 搜索引擎的实现可以采用集中 式体系结构和分布式体系结构，两种方法各有千秋。但当系统规模到达一定程度 （如网页数达到亿级

14、）时，必然要采用某种分布式方法，以提高系统性能。 4.重视交叉语言检索的研究和开发。 交叉语言信息检索是指用户用母语提交 查询，搜索引擎在多种语言的数据库中进行信息检索，返回能够回答用户问题的 所有语言的文档。如果再加上机器翻译， 返回结果可以用母语显示。该技术目前 还处于初步研究阶段， 主要的困难在于语言之间在表达方式和语义对应上的不确 定性。 第 1 页 共 21 页 2 2 系统开发技术分析系统开发技术分析 通过基于 Internet 互联网的动态 WEB 数据库技术，可以解决远程的数据传 输与读取，远程的客户终端可以通过 WEB 页面提交请求，查询远端的数据服务器 上的信息，同时还可以

15、向远端数据服务器的数据库中存储信息以实现信息的共 享，同时利用 Internet 技术可以降低软件的开发和部署成本，只要在服务器端 安装 WEB 应用就可以使每个客户端都能浏览使用。 2.12.1 系统开发环境系统开发环境 本搜索引擎系统是一个B/S结构的系统， 它的发布需要有WEB服务器的支持， 且需要数据库系统来方便的对系统数据进行存储，查询，修改，删除，及时更新 系统信息，同时需要一种简单， 方便的编程工具可以与数据库进行交互。鉴于上 述需求我选择 IIS 5.0SQL Server2000ASP 作为我的开发环境。 2.2 IIS2.2 IIS 简介简介 系统设计 IIS 是 Inte

16、rnet 信息服务（Internet Information Server）的缩 写，它是一种Web 服务，主要包括WWW 服务器、FTP 服务器等，使得在Intranet （局域网）或Internet（因特网）上发布信息成了一件很容易的事。WWW 服务提 供维护网站和网页，并回复基于浏览器的请求。有了 WWW 服务和它内置的功能， 通过 Internet 信息服务器可以创建各种各样的 Internet 应用程序， 加上其内置 的对数据库连接的支持，IIS 的功能就更强大。SQL 数据库信息或其他任何符合 ODBC 的数据库信息都能在 Internet/Intranet 上灵活应用。 2.3

17、SQL SERVER 20002.3 SQL SERVER 2000 简介简介 SQL Server 2000 具有构成最大的 Web 站点的数据存储组件所需的可伸缩性、 可用性和安全功能。它支持 English Query 和 Microsoft 搜索服务等功能，在 Web 应用程序中包含了用户友好的查询和强大的搜索功能。同一个数据库引擎可 以在不同的平台上使用，SQL Server 2000企业版支持联合服务器、索引视图和 大型内存支持等功能， 使其得以升级到最大Web站点所需的性能级别。 SQL Server 2000 关系数据库引擎支持当今苛刻的数据处理环境所需的功能，同时将管理上 千

18、个并发修改数据库的用户的开销减到最小。SQL Server 2000中包括一系列管 理和开发工具， 这些工具可改进在多个站点上安装、 部署、 管理和使用 SQL Server 的过程。 2.4 ASP2.4 ASP 简介简介 ASP 全称为 Active Server Pages，即动态服务器页面，它是一套微软开发 的服务器端脚本环境，ASP 内含于 IIS 3.0 以上版本中，通过ASP 我们可以结合 HTML 网页、ASP 指令建立动态、交互且高效的 Web 服务器应用程序。ASP 脚本在 第 2 页 共 21 页 服务器端解释执行，结果自动生成符合 HTML 语言的主页去响应用户的请求。

19、ASP 已成为目前应用最广泛的动态网页开发工具， 同时应用 ASP 进行网络化的信息管 理系统也逐步得到推广。ASP 本身并不是一种脚本语言，它只是提供了一种使镶 嵌在 HTML 页面中的脚本程序得以运行的环境。ASP 程序其实是以扩展名为.asp 的纯文本形式存在于 Web 服务器上的，可以用任何文本编辑器打开它。ASP 程序 中可以包含纯文本、HTML 标记以及脚本命令。用户只需将.asp 程序放在 Web 服 务器的虚拟目录下（该目录必须要有可执行权限） ，就可以通过 WWW 的方式访问 ASP 程序了。 3 3 概要设计概要设计 3.13.1 需求分析需求分析 随着互联网信息的增长，人

20、们对信息资料的查阅已不满足现有的书籍资料， 网上搜索信息资料扮演着越来越重要的角色。 本系统模块设计目标是采用后台数 据信息录入，前台动态页面查找的方式来实现对信息的搜索。本系统充分考虑了 系统的可扩展性和搜索引擎特有的查询流程，利用 ASP 基本知识以及 Microsoft SQL Server 2000 的基本操作，使它具有良好的稳定性并且便于维护。 3.23.2 数据库设计数据库设计 数据库结构设计几乎所有的 WEB 项目都要基于数据库， 这使得数据库的设计 在整个项目中举足轻重。 本搜索系统中大部分前台的显示信息都是从数据库中读 取所需信息， 而系统管理员则只需在后台通过修改数据库中的

21、数据即可达到改变 前台显示内容的目的，所以数据库在本系统中作为中间介质连接前台和后台，其 重要性不言而喻。本设计根据系统需求分析，选用 SQL Server 2000 作为该系统 的数据库。数据库取名为 database，其中包含了系统中所有的数据。下面对一 些关键表作详细说明。 .1 分类目录数据库表分类目录数据库表 分类目录数据库表在数据库中标记的是 Sort 数据表， 它记录的是子类信息， 包括子类名称、父类 ID 和是否在首页显示。Sort 表的具体结构如表 1 所示： 表 1 sort 表 字段名称字段名称 ID Sort Sort-ID Show 数据类型数据类型

22、int varchar int int 说明说明 编号 子类名称 父类 ID 是否在首页显示 主关键字主关键字 * 第 3 页 共 21 页 .2 网站登录信息数据库网站登录信息数据库 网站登录数据信息数据库在数据库中标记的是 Web 数据表， 它记录的是网站 名称、网站内容简介、网站地址、是否审核、网站关键字、联系人姓名、联系人 E-mail、联系人 qq 号码、联系人地址、联系人邮政编码、网站登录时间、网站 访问次数、所属子类名称、子类路径和所属子类ID。Web 表的具体结构如表 2 所 示： 表 2 web 表 字段名称字段名称 ID Title Content URL

23、Verify Keyword Name Email QQ Address PostCode Time Click Sort Sort_path Sort_ID 数据类型数据类型 int varchar varchar varchar char varchar varchar varchar varchar varchar varchar datetime int varchar varchar int 说明说明 编号 网站名称 网站内容简介 网站地址 管理员是否已经确认 网站关键字 联系人姓名 联系人 E-mail 联系人 qq 联系人地址 联系人邮政编码 网站登录时间 网站访问次数 子类名称

24、 子类路径 子类 ID 主关键字主关键字 * .3 管理员数据库表管理员数据库表 管理员数据表即：数据表 Admin，记录的是管理员的登录名和密码。具体结 构如表 3 所示： 表 3 Admin 表 字段名称字段名称 ID UserName Password 数据类型数据类型 int varchar varchar 说明说明 编号 管理员登录名 管理员密码 主关键字主关键字 * 第 4 页 共 21 页 .4 关键字记录数据库表关键字记录数据库表 关键字记录表即 Keyword 数据表， 记录关键字信息， 包括关键字和输入次数， 具体结构如表 4 所示： 表 4

25、 Keyword 表 字段名称字段名称 ID keyword hot 数据类型数据类型 int varchar int 说明说明 编号 关键字 输入次数 主关键字主关键字 * 3.33.3 系统设计结构图系统设计结构图 系统设计结构如图 1 所示： 网站搜索 基 于 分类搜索 的 搜 索 引 擎 ASP 网站登录 网站管理 管理员登录 图 1 系统功能结构图 4 4 系统前台模块设计系统前台模块设计 4.14.1 网站搜索模块的实现网站搜索模块的实现 .1 功能描述功能描述 用户访问系统时，首先接触到的是首页面index.asp，它提供了到达5 个功 能模块的超链接，默认显示为

26、网站搜索模块。另外页面还提供一个表单 from， 让用户输入要搜索的关键字，当用户输入关键字单击搜索按钮后，表单中的数据 将被提交到 search.asp 文件中处理。在 search.asp 首先读取传递过来的数据， 第 5 页 共 21 页 然后判断该数据是否为空。如果不为空。则将数据分割为多个关键字， 然后在数 据库中查找匹配的记录，并在页面上显示。 .2 流程图流程图 在网站搜索模块中，数据流程如图 2 所示： 不为空 关键字 为空 数据是否为空 搜索并显示结果 图 2 网站搜索数据流程图 .3 界面设计界面设计 搜索模块的界面设计如图 3 所示： 图

27、3 搜索模块界面 .4 工作流程和代码设计工作流程和代码设计 输入关键字后，数据被提交到 search.asp 中，首先使用 Request 对象的 QueryString()方法读取表单传递过来的关键字，再判断关键字是否为空，若不 为空，将多个关键字进行处理后分开保存在一维数组中： keyword = replace(keyword, )用空格替换关键词中的字符 第 6 页 共 21 页 keyword = replace(keyword, ) keyword = replace(keyword, ) 用空格替换关键词中的字符 用空格替换关键词中的字符 keyword = r

28、eplace(keyword,，, ) 用空格替换关键词中的中文字符， keyword = replace(keyword, ) keyword=ltrim(rtrim(keyword) 用空格替换关键词中的英文字符, 去掉关键词左边和右边的空格。函数 LTrim 去掉字符串左边空格，函数RTrim 去掉字符串右边空格 keywordlist=split(keyword) 将用户输入的关键词用空格分成多个关 键词并保存在一维数组 keywordlist 中 然后在循环写出查询的 spl 语句： if path= or sort_path=/0/ then search_sql=verify=0

29、 and (_ history.back(); else if email= then response.writewindow.alert(电子邮箱不能为空 );_ history.back(); 如果二者都不为空，则从数据库中查询 email 列的值为输入电子邮箱的记 录。如果存在记录，则判断输入的用户名是否正确，如果不正确，返回到登录页 面。如果全部正确，则登录成功，保存联系人登录的电子邮箱和 id，并将页面 转到 jion_edit_ok.asp 修改页面。进行网站登录信息的修改。 5 5 系统后台模块设计系统后台模块设计 5.15.1 网站管理模块的实现网站管理模块的实现 前台页面可

30、以看成是对数据库中表的查询，读入，而后台则是对数据库表中 的信息进行修改，添加，删除，从而改变前台的显示信息。后台由管理员通过管 理员 id 和密码登录进行操作。 .1 功能描述功能描述 管理员登录之后，首先进入的就是网站管理模块，该模块管理员能够对已审 核的网站进行修改和删除操作。网站管理模块的界面如图 7： 第 13 页 共 21 页 图 7 网站管理界面图 .2 工作流程和代码设计工作流程和代码设计 进入该界面时，程序首先从数据库中查询 verify=0 的记录，然后将所有的 记录分页显示在页面上。当管理员单击某个网站对应的“删除”超连接，就可以 将该网站

31、及其所有信息从数据库中删除。执行删除文件的部分代码如下： if session(admin)= then response.writewindow.alert(你目前还没登录，请先登录！);_ location.replace(index.asp); end if If Request(action)=delete Then delid=replace(request(id),)获得要删除记录的 id，Replace 过程将获得的 id 字符串中的用空字符替换 id 为空 则给出提示 response.write alert(操作失败，没有选择合适参数，请单击确 返回到网站管理 if deli

32、d= or isnull(delid) then要删除的记录 定返回！); response.redirect main.asp 第 14 页 共 21 页 界面 response.end id 存在else 执行数据库中的删除操作，删除数据库中id 列的值在 delid 数组中的记录 conn.Execute(delete * from web where ID in ( response.redirect main.asp 5.25.2 网站审核网站审核 网站审核模块与网站管理模块非常相似。不同的地方在于，网站审核模块显 示的所有网站均为未审核网站，已经审核了的网站将不会在此页面显示。而网

33、站 管理模块显示的是已审核网站，网站审核模块查询数据库的代码如下： Set rs=server,createobject(“adodb.recordset”) rs.open”selectid,sort_id,title.url.verify.click.time.fromwebwhere verify=-1 order by id desc”.conn,1,1 5.35.3 分类管理模块分类管理模块 .1 分类编辑分类编辑 在分类显示界面的每个分类的下面，对应着一个“编辑”超连接，单击该超 连接，进入该分类的编辑界面， 分类编辑界面和分类添加界面相同，二者的界面 是由同一个文

34、件生成，进入某一分类的界面，则在界面上显示该分类保存在数据 库中的信息。当用户输入修改后的信息， 单击确定按扭，所有的数据将被提交到 sort_ok.asp 文件中处理，部分处理代码如下： case edit action 的值为 edit 是否首页显示 上级 ID show=request.form(show) sort_id=request.form(sort_id) set rs=server.createobject(adodb.recordset)创建 RecordSet 对象 从数据库中查询 id 列的值为 request.form(id)的记录，将结果保存在 rs 中 rs.op

35、en select * from sort where id=location.replace(sort_manage.asp); else response.writewindow.alert(分类修改成功 );location.replace(sort.asp?sort_id= end If .2 分类添加分类添加 在分类显示界面的最下方，有一个“添加分类”超连接。单击该超连接，能 够添加当前分类的下一层分类。界面中包含表单forms，用来输入要添加的分类 信息。表单中定义的分类名称文本域为 sort。首页显示为一个下拉列表 show。 可以选择是否要在首页显示，默认为否，

36、上级 id 文本域为 sort_id。操作文本 域为 action。它为只读型，当操作为添加时，文本域中显示“add” 。表单中还 定义了一个隐藏域 id，用来保存当前分类的 id。其页面显示如图 8 所示： 图 8 分类信息界面图 当输入要添加的分类信息并单击“确定”按钮后，表单中的数据被提交到 sort_ok.asp 文件中处理。在 sort_ok.asp 文件中，首先判断用户是否登录，如 果登录，则读取操作 action 的值，如果 action 的值为 add，则执行添加处理。 第 16 页 共 21 页 分类添加的部分代码如下： action = request(action)h s

37、elect case action case add 读取 action 的值 select 条件语句 action 的值为 add 是否首页显示 上级 ID show=request.form(show) sort_id=request.form(sort_id) set rs=server.createobject(adodb.recordset)创建 RecordSet 对象 从数据库中查询 id 为空的记录，将结果保存在rs 中 rs.open select * from sort where id is null,conn,1,3 rs.addnew 添加新记录 分类名称rs(sor

38、t)=request.form(sort) if show= then rs(show)=0 首页显示，0 为首页不显示，1 为首页显示 else rs(show)=show end If if sort_id= then rs(sort_id)=0 上级 ID 的值，为空表示最上层分类 else rs(sort_id)=sort_id end Ifrs(sort_id)=sort_id end If rs.update rs.close 更新数据库 关闭 RecordSet 对象 Set rs=nothing if sort_id= or sort_id = 0 then 判断 sort_i

39、d 的值，并根据 sort_id 的值返回到不同的界面 response.writewindow.alert(分类添加成功);_ location.replace(sort_manage.asp); else response.write window.alert(分类添加成功);_ location.replace(sort.asp?sort_id= end If 第 17 页 共 21 页 .3 分类删除分类删除 删除操作也是在 sort_ok.asp 文件中执行的。在 sort_ok.asp 文件中，如果 读取 action 的值为 delete， 则执行删除操作， 在代

40、码中， 首先读取 id 和 sort_id 的值，然后执行 del（）过程将所有相关分类删除，最后根据sort_id 的值将页 面转到相关页。其中 del（）过程是一个递归过程，其基本思想是：首先判断该 分类是否是最下级分类，如果是，则直接删除改分类，完成操作。如果不是最下 级分类， 则查询该分类的下级分类， 对每一下级分类， 执行与该分类同样的操作， 即首先根据情况处理。 最后直到所有的下级分类以及下级分类的下级分类等都删 除掉，然后再将该分类删除。del（）的具体代码如下： Function Del(sort_id,id) Set drs = Server.CreateObject(ADODB.RecordSet) drs.Open Select * from sort where sort_id=&id,conn,1,3 If drs.EOF or drs.BOF Then 不存在满足条件的记录， 即该分类是最下级分类 conn.Execute(delete * from sort where ID=&id) 删除该分类 Exit Function 跳出 Function 过程 Else 还存在下级分类 循环处理每一个下级分类Do Whil