下载本文档
版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
direct串模块背功能:sobar、clickurl进行保护,保证建库。防止重要页面被模块上下上游数据:sobar数据、invlink数据、siterate数据、pv.detail数据、SE/VIPurl数据、click数据产出:vip-urlvip-下游:小时库和天级块流程Vip-Vip-Vip-刷sobarsobar过siterate据过Pv.detail据过invlink据过SE/VIP据过sobar历数据过合并数click历数据过具体流程说Sobar数据过滤:sobar数据进行刷选,点击数Invlink数据过滤:刷选出反链数>=11SobarinvlinkSiterate数据过滤:urlsiteratePv.detail数据过滤:urlpv.detailrubbish_err_typ|rubbish_is_rubbish|pv.rankSobar历史数据过滤:21sobar历史数据,刷选出累计点击数>=30urlClick历史数据过滤:21click历史数据,刷选出累计点击数>=1050urlSE/VIP库数据过滤:SE/VIP刷选Vip-url的刷选if((sobar>=101&&invlink>=11)||(sobar>=2&&invlink>=21)){if(siterate>=4){if((err["err:"err_type]!=1)&&(is_rubbish==0)&&(pv_rank>=1)&&(linkdepthtrue<=6)){printurl,invlink,}}}Vip-index的刷选if((sobar>=30&&click>=1050)||(click>=1050&&invlink>=30))printurl,invlink,sobar,}灌库流程候选url->url过滤->robots封禁过滤->死链过滤并获取page内容->过滤小时库(通过回
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年03月湖北华中师大一附中教师招考聘用笔试历年典型考题及全考点剖析附答案解析
- 2024年上海客运从业资格证模拟考试0题
- 2024年商洛申请客运从业资格证考试题和答案
- 2024年酒精测试仪合作协议书
- 2024年永磁式步进电机项目建议书
- 2024年无机颜料:碳黑合作协议书
- 《 网页中文简繁体即时翻译插件的设计与实现》范文
- 2024年混凝土搅拌运输车合作协议书
- 西藏2015年监理工程师《合同管理》:合同的变更考试题
- 解除劳动合同的经济补偿金-1
- 钢结构抗风性能设计与规范研究
- Unit1 A New Start Starting out 教学设计-2024-2025学年高中英语外研版(2019)必修第一册
- 2024-2030年中国信息安全行业市场发展分析及发展潜力与投资研究报告
- 2024年山东省春季高考数学试卷试题真题(含答案)
- 《物联网工程导论》课程标准
- (正式版)HGT 22820-2024 化工安全仪表系统工程设计规范
- 急诊科五年发展规划(共7页)
- 【北美购房网】美国租房合同样本(中英文)
- 酶水解法生产低乳糖奶的工艺与检测课件
- 电力企业标准目录
- 九年级下册音乐期末试题及答案(湘艺版)
评论
0/150
提交评论