《各平台数据采集及方法》课件-企业产品相关评价采集

企业产品相关评价采集企业产品相关评价的采集

本实例采集网站为“苏宁易购”手机列表页，筛选标题中包含“免息”两个字的内容并单击，进入详情页后采集标题、价格、评价人、评价内容、来自客户端、评价时间、有用数、回复数等信息。步骤1：新建自定义采集任务

翻页设置。在自定义采集模式下的浏览器窗口中对网页进行翻页操作，直至出现“下一页”按钮，单击该按钮，在“操作提示”面板中单击“循环点击单个链接”选项，如图所示。对网页进行翻页操作过程中，系统会自动设置“Ajax超时”选项。步骤2：输入实例网址并保存网址步骤3企业产品相关评价的采集步骤4

滚动页面设置。此时，发现苏宁列表详情页后续商品必须翻到指定位置后才会进行加载，需要设置滚动页面。任务中，需设置滚动翻页的步骤有两处，分别为“打开网页”和“点击翻页”操作。“打开网页”步骤设置“滚动页面”是为了让网页打开完成后滚动到下方加载完第一页所有数据，“点击翻页”步骤设置“滚动页面”是为了让第一页以后的每一页都可以把数据加载完。具体操作方法是，选择“点击翻页”模块后会有虚框包围，在设置界面中选中“滚动页面”右侧的“页面加载完成后向下滚动”复选框，根据该网页加载方式设置“滚动次数”为5次，“每次间隔”为1秒，“滚动方式”为“直接滚动到底部”。注意该任务的“打开网页”模块及“要点击的元素”下的“自动重试”需取消勾选，因为该网页使用Ajax加载方式，Ajax加载方式和自动重试不要同时选择。企业产品相关评价的采集步骤5

详情页设置。单击进入详情页设置界面，在浏览器窗口中确定商品全部加载完，连续单击两个商品标题，确定所有标题均被选中，单击“操作提示”面板中的“循环点击每个链接”选项，可在流程图中出现循环框和“点击元素”模块。企业产品相关评价的采集步骤6

筛选包含“免息”字样标题。该步骤需要使用判断条件功能，从工具栏中拖动“判断条件”至循环框中的“点击元素”模块内，判断条件筛选设置如图所示。将“点击元素”模块拖至左侧的“条件分支”中，并在右侧选择“当前循环项包含文本”单选项，在“包含文本”输入框中输入“免息”。该步骤实现对每个标题进行判断，只有包含“免息”文字的标题才会打开详情页。企业产品相关评价的采集步骤7

加载评价内容。单击详情页中的“评价”选项后，单击“操作提示”面板中的“点击该链接”选项，在上方的流程图中生成“点击元素”模块，如图所示，并已自动设置Ajax加载。企业产品相关评价的采集步骤8

评价翻页。翻动浏览器窗口，找到评价翻页内容，单击“下一页”按钮，在“操作提示”面板中单击“循环点击下一页”选项，流程图中生成“循环翻页”模块，修改“Ajax超时”的时间为2秒，如图所示，作用是加载所有评价。企业产品相关评价的采集步骤9

循环提取字段。选择两条评价内容，系统会自动选择该页的所有评价，单击“操作提示”面板中的“采集以下元素文本”选项，删除生成的“提取数据”模块中的字段，添加标题、价格、评价人、评价内容、来自客户端、评价时间、有用数、回复数及页面网址字段，添加方式为将鼠标指针移动到所需内容，待内容变蓝后单击，选择“采集该元素的文本”选项即可。企业产品相关评价的采集步骤9

注意该步骤需要选择当前评价内容，当前评价内容会以红线边框包围，如图所示，需要在红线边框内容里选择提取字段。如果希望调整红线边框的位置，可在循环提取中选择对应内容后，单击“提取数据”模块，即可改变红线边框的位置。企业产品相关评价的采集步骤10

格式化数据。格式化数据的目的是将提取内容中无用的部分去除，包括来自客户端字段的“来自：”、有用数以及回复数的“（）”。格式化数据的操作方式如图所示。选中需要格式化的字段，单击下方的“自定义数据字段”按钮，在弹出的界面中选择“格式化数据”选项，进入格式化界面，单击“添加步骤”按钮，在打开的“请选择一个操作”对话框中选择“替换”或“正则表达式替换”选项，将“来自：”“（”“）”替换为空，即进行删除。企业产品相关评价的采集步骤11

开始采集。单击左上方的“开始采集”按钮，在弹出的“运行任务”对话框中单击“启动本地采集”按钮进行采集。企业产品相关评价的采集步骤12

数据导出。采集完成后单击下方的“导出数据”按钮，在弹出的