基于.NET3.5的网络信息采集系统的设计思想和工作原理

1、一论文发表专家一 駆餌中国学术期刊网 n要】现代社会是一个信息社会，掌握必要地信息是发现问题、解决问题地前 提如何汇集网络信息资源呢？需要建立网络信息采集系统，将分散在不同机构地居民健康 数据整合为一个逻辑完整地信息整体，对于实现城乡一体化地医疗服务水平和质最,提高居 民对基层医疗机构地信任度，实现城市卫生资料地高效利用等方面具有笊要地社会意义文 章从对net3.5地介绍谈起,然后分别就基T.net 3.5地网络信息采集系统地设计思想和工作 原理进行说明（关键词】.nets 5网络信息采集系统；设计思想；工作原理【abstract modem society is an infoiTnatio

2、n society, to acquire tlie necessaiy information is tlie premise to discover and solve problems how to assemble a network of mfonnation resources? the need to establish a network mfonnation collection system, will be scattered in different institutions of the residents0 healtli data into a logical a

3、nd complete information as a whole, the level and quality of urban and rural health care seivices to improve the trust of the residents of the prnnaiy healtli care mstitutions, and urban health efficient use of mfonnation has an linpoitant social significance from the introduction nets 5 about, then

4、, respechvely, based on design ideas and works of the net 3 5 web-based mfonnation acquisition system is descnbed.【keywords 】.nets. 5 network mfomiation collection system design idea works0 前言网络信息采集系统是指通过对网络各类信息汇集、分类、整合、筛选等技术处理,再形成 对网络热点、动态、网民意见等实时统计报表地软件系统平台.网络信息采集系统可以提 供信息汇集服务，机构及工作人员可以充分利用汁算机网络自动

5、信息采集功能來收集相关 信息，系统根据用户信息需求,设定主题目标，使用人工参与和自动信息采集相结介地方法 完成信息收集1net3 5概述3 5地特性.net 3.5主要特性.1）可以实现深度整合语肓级地数据集成査询（hnq）与数据处理2） 可以借助asp ajax创建更高效、更具交互性、更有个性地网络体验，并支持大多增 行地浏览器3） 支持ajax、json、rest、pox、rss、atom等新型网络协议,以及一些新地ws标准，用于 构建wcf服务4） 全面提供wwf、wcf、wpf I具支持，包括新地工作流服务技术5） 在基类库Qcl）中添加了很多新地类，町以更好地满足人多数客户地需求1.

6、2以nets 5技术框架为基础地系统总体框架2基于net 3.5地网络信息釆集系统地设计思想21网络信息釆集系统地设计思路各种网络信息采集系统地详细设计思想町能不太一样，但足基本地设计思路是一致地，下 面就以通用地网络信息采集系统为例子，介绍一下网络信息采集系统设计地基本地步骤第一步：确定采集任务第二步：针对不同地目标数据源，进行不同地采集配豐，以确保能采集到数据.第三步：调度采集任务，与冃标站点同步更新，增量采集第四步：采集到数据结果,完成数据异构到同构地过程第五步：通过发布服务器，将数据发布到应用平台一论文发表专家一2.2网络信息采集系统地设计方案网络信息采集系统通过对热点问题和垂点领域比

7、较集中地网站信息，如网页、论坛、bbs 等，进行24小时监控，随时卜载最新地消息和意见卜载后完成对数据格式地转换及元数据 地标引对下載本地地信息，进行初步地过滤和预处理.对热点问题和重要领域实施监控，前提是必须通过人际公建立舆情监控地知识库川來 抬导智能分析地过程对热点问题地智能分析，首先基于传统基于向量空间地特征分析技术 上，对采集地内容做分类、聚类和摘要分析，对信息完成初步地再组织然后在监控知识库地 指导卜进行基于舆情地语义分析，使管理者看到地民情民意更有效，更符合现实最后将釆 集地信息数据，分别推送到不同地职能部门,供相关部门制定对策使用.网络信息采集系统是利用搜索引擎技术和网络信息挖掘

8、技术，通过网页内容地自动采集 处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析，实现各单位对自己 相关网络舆情监替管理地需要,最终形成舆情简报、舆情专报、分析报告、移动快报，为决 策层全面掌握舆情动态，做出正确舆论引导，提供分析依据网络信息采集系统足针对在一定地社会空间内制绕中介性社会爭件地发生、发展和变化, 民众对社会管理者产牛 和持有地社会政治态度于网络匕表达岀来意愿集合而进行地计算 机监测地系统统称“网络舆情“是较多群众关于社会中各种现象、问题所表达地信念、态度、盘见和情绪等 表现地总和网络舆情形成迅速，对社会影响巨人,加强互联网信息监管地同时，组织力量开 展信息汇集整理和分

9、析，对于及时应对网络突发地公共爭件和全面拿握社情民意很有意义2.3网络信息采集系统地总体设计2）系统地功能需求设计（1）网络信息采集系统地设计采用元搜索与信息雷达技术智能信息抽取技术主要是针对特殊客户进行特定领域地信 息采集其主要包括以卜功能：热点识别能力、自动分类、聚类分析、倾向性分析与统计、 主题跟踪、信息自动摘要功能、截取证据、趙势分析及相关信息地采集、突发事件分析及 相关信息地采集、报警系统、统计报告.2）搜索引擎数据管理系统地设计搜索引擎数据管理功能主要包括以卜功能：对收集到涪息进行预处理；对搜索引擎数据 集进行阶段性地数据维护：支持系统多用户分级管理系统，包括用户逐级进行审核功能：

10、 支持信息服务：最新报道、热点新闻、分类阅读、业务査询、统计数据、舆情简报、信息 检索等服务；信息文档转换技术：町以对信息进行传统文件格式转换如doc、excel、access、 rss等文件生成，可生成报表3基于net 3.5地网络信息采集系统地应用工作原理3 1系统地应用目标第一,自定义监察范I札町按行业、按地域、按信息发布时间等方式釆集信息内容.第二，自定义采集信息地级别第三,自定义监察信息方式，手工与自动采集相结介.第四，自动预警、报警，追査信息来源与散布范怜1第五，自定义实现対文本数据、图片、视频及影像等务种数据地有效海最存储.第六，自定义或自动扫瞄管辖段地网站.第七，自动重点跟踪异

11、常内容变动频繁她网站或信息來源第八,自动保留计算机无法判别地意识形态内容进行汇总反馈第九，实现信息判别地自我学习和信息库自动升级.论文发表专家一32系统地应用对象1）门户网站可以做到：每天自动采集指定网站（町达几百个，上千个）地最新内容（可以做到每天自 动从上个网络媒体采集上万条新闻信息）；每天自动采集信息（文本数据、视频、图片及 影像等）.2） 新闻媒体可以做到：每天定时自动采集指定网站地新闻内容；扩人内容来源与数最，轻松整合不同 地区与行业地新闻，形成专题；采集行业内地专业文章、论坛帖子,并进行整合.3） 企业可以做到：实时而准确地采集国内外新闻，行业新闻，技术文章：实时而准确地采集竞争

12、对手以及供应商地新闻、人事、产品、价格等信息；实时而准确地采集公共信源地商业情 报（同彳J产品价格、竞争对手地用户反馈、行业新闻）：实时而准确地黑集本企业地甜牌 以及竟争对地品牌在各人搜索引擎中地结果；实时而准确地采集各人行业论坛中地信息, 从中了解消费者地需求与反馈，从而发现市场趋势与商业机会：准确地从网络公共信息中 采集销售线索，潜在客户地资料；准确地从网络公共信息中采集本行业上万种产品地产品 信息（描述、价格等），图片和技术文档.4） 政府机关与军队町以做到：实时跟踪、采集与政府工作相关地国内外及地方新闻，政策法规，经济，产业等 信息；解决与因特网隔离地旋要部门对于因特网地信息需求问题：

13、解决政府主网站对各地 级子网站地信息采集与整合问题5） 广告与市场研究机构可以做到：快速而大量地获取公共信息中地商业名录资料：快速而人量地获取目标网站 地各种原始信息（例如blog与bbs中地信息）到数据库中.6） 科学与技术研究单位町以做到：实时跟踪、采集相关地国内外科技信息与新闻：整合分布在各个网站网页上 地科研数据，例如美国国家卫生研究院地生物科技信息中心（ncbi）公布地地人量基因相关 数据以及本地文本数据地抽取3.3系统地应用工作原理1） 热点识别地实现可以根据新闻出处权威度、评论数量、发言时间密集程度等参数,识别出给定时间段内 地热门话题2） 倾向性分析与统计地实现对信息地阐述地观

14、点、主旨进行倾向性分析以提供参考分析依据，分析地依据町根据信 息地转载量、评论地回言信息时间密集度來判别信息地发展倾向3）主题跟踪地实现主题跟踪主要是指针对热点话题进彳j信息跟踪，并对其进行倾向性与趁势分析跟踪地只 体内容包括：信息來源、转敦量、转载地址、地域分布、信息发布者等相关信息元素其 建立在倾向性与趁势分析地基础上.4） 信息自动摘要功能地实现能够根据文档内容口动抽取文档摘要信息，这些摘要能够准确代表文章内容主题和屮心 思想用户无需查看全部文章内容，通过该智能摘要即可快速了解文章人总与核心内容，提 高用户信息利用效率而且该智能摘要町以根据用户需求调整不同长度，满足不同地需求 主要包括文

15、本信息摘要与网页信息摘要两个方面5) 趋势分析地实现应卷一论文发表专家一中国学木期刊网H通过图表展示监控词汇和时间地分布关系以及趋势分析，包括地域信息分布.以提供阶段 性地分析如信息传播地区域分布、转载量与转载网站类型等6)报警系统地实现报警系统主要是针对舆情分析引擎系统地热点信息与突发事件进行监听分析，然后再根 据信息地语料库与报警监控信息库进行分析，以确保信息地舆论健康发展.7)统计报告地实现根据舆情分析引擎处理后地结果库生成报告，用户可通过浏览器浏览,提供信息检索功能, 根据指定条件对热点话题、倾向性进行查询，并浏览信息地几体内容，提供决策支持.4结束语基net3 5地网络信息釆集系统地设计，可以使该系统通过灵活地规则从任何类型地网 站进行信息地釆集,如数据地存