网络爬虫原理与实战课件

网络爬虫原理与实战

网络爬虫原理与实战

123133美女图片抓取实例如何解析HTML网络爬虫基本原理23133美女图片抓取实例如何解析HTML网络爬虫基本原理23网络爬虫基本原理

请求资源HttpPost/Get

解析HTMLJsoup获取资源图片.下个资源下载资源HttpClient3网络爬虫基本原理请求资源HttpPost/Get解34Java中的JQuery=JSoupgetElementById(Stringid)用id获得元素getElementsByTag(Stringtag)用标签获得元素getElementsByClass(StringclassName)用class获得元素getElementsByAttribute(Stringkey)用属性获得元素

用下面方法获得元素的数据：attr(Stringkey)获得元素的数据attr(Stringkey,Stringvalue)t设置元素数据attributes()获得所以属性id(),className()classNames()获得idclass得值text()获得文本值text(Stringvalue)设置文本值html()获取htmlhtml(Stringvalue)设置htmlouterHtml()获得内部html

tagname操作tagns|tagns或tag#id用id获得元素.class用class获得元素[attribute]属性获得元素[^attr]:以attr开头的属性[attr=value]属性值为value[attr^=value],[attr$=value],[attr*=value][attr~=regex]正则*:所以的标签选择组合el#idel和id定位el.classe1和class定位el[attr]e1和属性定位ancestorchildancestor下面的childJsoup官方网站/相关学习资/topic/1010581/topic/1010582/neverend06/blog/item/1e9acb25114cf3144d088df2.html4Java中的JQuery=JSoupgetEleme45简单的测试另存个简单的HTML做测试Fileinput=newFile("/example.html");Documentdoc=Jsoup.parse(input,"UTF-8");//取得class=big的img对象Elementselements=doc.select("img[class=big]");//取得class=big的img对象elements=doc.getElementsByClass("big");//取得ID=img001的对象Elementelement=doc.getElementById("img001");5简单的测试另存个简单的HTML做测试56让我们来抓取一个帖子中的几张图片/thread-35975-1-1.html1.发送请求返回帖子HTML2.分析帖子HTML中的图片链接3.通过HttpClient取得图片输出流4.保存输出流为图片6让我们来抓取一个帖子中的几张图片http://bbs.we67/forum-3-1.html1.发送请求返回论坛HTML2.分析论坛HTML中的每个帖子3.取得帖子链接，发送请求返回帖子HTML5.分析帖子HTML中有哪些图片.6.取得图片链接，通过HttpClient取得图片输出流7.保存输出流为图片7/forum-3-78如何提升抓取速度1.多线程并发下载图片,你带宽够吗？2.分