搜索下拉框的采集方法

1、 搜索下拉框的采集方法 电商二部 张浩玉第1页2.Fiddler1 目 录第2页Excellent Solution And Euipment For Mine1.网页中找到真实网址网页中找到真实网址1 1.在网页中找到真实网址第3页Excellent Solution And Euipment For Mine 通常采集关键词的办法是直接对要采集的部分审查元素或者查看源代码找到对应部分前后唯一的代码进行前后截取。但是经过试验这种办法并不适用于必应和阿里巴巴的搜索下拉框。 我们要做的就是找到下拉框部分存在的真实网址，下面介绍两种方法，如果大家在使用过程中发现任何不对的地方，请及时提出，以免影响

2、大家的工作，谢谢！ 第4页Excellent Solution And Euipment For Mine 首先介绍第一种，找到打开必应浏览器，在搜索框中搜索一个产品词汇，比如：rod mill，点击搜索，出现如下界面，注意：使用时先不要将下拉框点击出来，也就是不要点击rod mill后边的空白部分。 1.在网页中找到真实网址第5页Excellent Solution And Euipment For Mine接着按F12，找到其中的Network(从左往右数第四个): 1.在网页中找到真实网址第6页Excellent Solution And Euipment For Mine 1.在网页中

3、找到真实网址这时候需要点击rod mill后边的空白部分，使其出现下拉框，也就是我们需要采集的部分，这时候我们会看到，在下方会出现一个http:/ Solution And Euipment For Mine 1.在网页中找到真实网址点击http:/ Solution And Euipment For Mine 1.在网页中找到真实网址下面找几种不同的产品查找网址中的规律，方便批量采集rod mill http:/ crusherhttp:/ 我们可以发现，不同的地方有这几处： “bq=” “qry=” 以及后边的编码部分首先我像往常一样，删除后边的编码部分，可是这时候发现页面会没有内容，所以

4、后边的部分，先不删除，而且经过测试，不同的产品后边使用相同的编码都能出现下拉框中的词，所以这一部分可以现在看来是可以通用的，大家如果出现问题，请及时提出哦网址测试的经过就不一一列举了，总之经过反复测试：我们只需更改 “qry=“后边的单词（如果大家发现更好更简单的办法请及时提出来哦）便能得到我们想要的结果。接着就是合成网址，下面的步骤跟一般的采集方法就是一样的了，找到唯一的标签。第9页Excellent Solution And Euipment For Mine 2.Fiddler下面是安利阶段：FidderFiddler是一个http协议调试代理工具，它能够记录并检查所有你的电脑和互联网之

5、间的http通讯，设置断点，查看所有的“进出”Fiddler的数据（指cookie,html,js,css等文件，这些都可以让你胡乱修改的意思）。 Fiddler 要比其他的网络调试器要更加简单，因为它不仅仅暴露http通讯还提供了一个用户友好的格式。下面是使用这个软件找到真实网址的方法：（1）使这个软件处于零状态，关闭左下角capturing功能，单击即可。抓包工具 fiddler2setup_英文原版.exe第10页Excellent Solution And Euipment For Mine 2.Fiddler（2）以阿里巴巴为例子，打开阿里巴巴网站，搜索一个产品，比如 jaw cru

6、sher，这时候在此点击左下角的位置，使其开始工作，然后点击jaw crusher 后边的空白部分，使其出现下拉框，这时候fidder会抓取数据，出现下图：第11页Excellent Solution And Euipment For Mine 2.Fiddler（3）这时候我们会看到，第一个网址中，出现了keywords字样，点击这个网址，点击右边Inspectors中的Raw，我们可以看到首行出现一个网址，也就是GET后边的网址第12页Excellent Solution And Euipment For Mine 2.Fiddler（4）打开这个网址,我们会看到一页代码，我们想要的关键词就在他们中间，找下拉框中的词进行搜索，我们可以发现他们是由唯一的标签进行包裹的。接着就是关于批量采集，经测试，我们只需要换掉，http:/ 这个网站中，keyword后边的单词即可（大家发现不对的地方请及时提出啊。我这是自己总结的，可能测试不到位，大家谅解，谢谢大家！），最后就是合成网址的过程，与一般的采集方式是一样的。PS：此软件也适用于必应。第13页Excellent Solution And Euipment For