版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
---py^pi^erdashboardUAMdV抓取过程抓取是一个循环的过程,抓取工具从WebDB中生成了一个Fetchlist集合;抽取工具根据Fetchlist从网络上下载网页内容;工具程序根据抽取工具发现的新链接更新WebDB,然后再生成新的Fetchlist,周而复始。这个抓取循环在Nutch中经常指:generate/fetch/update循环。一般来说同一域名下的URL链接会被合成到同一个Fetchlist。这样做的考虑是:当同时使用多个工具抓取的时候,不会产生重复抓取的现象。Nutch遵循RobotsExclusionProtocol,可以用robots.txt定义保护私有网页数据不被抓去。上面这个抓取工具的组合是Nutch的最外层的,也可以直接使用更底层的工具,自己组合这些底层工具的执行顺序达到同样的结果。这是Nutch的优势。具体工作过程如下:•创建一个新的WebDB(admindb-create);把开始抓取的跟URL放入WebDb(inject);从WebDb的新segment中生成Fetchlist(generate);根据Fetchlist列表抓取网页的内容(fetch);根据抓取回来的网页链接URL更新WebDB(updatedb);重复上面c-e步骤直到到达指定的抓取层数;硬件配置方案主机、存储资源本项目硬件配置包括数据库服务器2台、应用服务器2台,具体配置如下;主机名称CPU(个)内存⑹存储⑹操作系统描述HR-APP-A4850RedHat6.5应用主机,需要安装Tomcat7.0.73和JDK1.7HR-APP-B4850RedHat6.5应用主机,需要安装Tomcat7.0.73和JDK1.7HR-DB-A16323515oracle数据库主机,利旧HR-DB-B1632oracle数据库主机,利旧软件资源1)数据库:Oracle11g2)操作系统:RedHat6.53)应用服务器:Tomcat7.0.73、JDK1.74)WEB服务器:Nginx1.10.3(公用)资源估算存储主机存储(G)估算依据HR-APP-A32门户与应用脚本1G
系统缓存:2GTomcat日志:4G临时数据接口存储:8G数据集成平台与启动缓存:4G系统冗余比例:40%总存储要求:(1+2+4+8+4)/(1-40%)=1.66GHR-APP-B32同上HR-DB-AHR-DB-B3515Oracle11g安装空间:60G系统表空间:200G应用表空间:2200G系统冗余比例:30%总存储要求:(60+200+1600)/(1-30%)=3514.29GCPU与内存满足日常运行要求即可。建议配置如下:应用服务器:4Cpu
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 电子厂对干部培训
- 金属活动性顺序表
- 办公室自动化培训
- 甘肃省平凉市陕西师范大学平凉实验中学2024-2025学年八年级上学期阶段训练数学试卷(无答案)
- 全球圆形锂电池结构件市场竞争格局及发展策略研究报告2024-2030年
- T-ZFDSA 16-2024 砂仁牛肉制作标准
- 广东汕头潮阳多校2024--2025学年上学期七年数学期中试卷
- 天津市和平区2024-2025学年九年级上学期期中考试英语试题
- 开创新品类-企业管理出版社
- 厦门旅行中的栖息地
- 犯罪学全套教学课件
- RPA初级考试试题附答案
- 房产税税收政策解析课件
- 2021年国开电大职业与人生形考任务二答案
- 语文 名著阅读 《 儒林外史》课件
- 浅埋暗挖法施工课件
- 办文办会办事及公文写作-课件
- 夜校班成人国语考试试卷考卷
- 胰腺癌诊治的热点和难点问题
- BRCGS食品安全全球标准第9版管理手册及全套程序文件
- 2021-2022学年教科版科学四年级(上册)3.2用气球驱动小车(课件)
评论
0/150
提交评论