Php发送Http请求,抓取网页数据方法

Php发送Http请求，抓取网页数据方法php发送Http请求，抓取网页数据方法（cURL,file_get_contents,snoopy）curl（）、file_get_contents（）、snoopy.class.php这三个远程页面抓取或采集中用到的工具，他们功能相当，到底有是么优缺点呢，下面逐一介绍：snoopy.class.phpsnoopy是用fsockopen自开发的一个类，效率比较高且不需要服务器特定配置支持在普通虚拟主机中即可使用，但是经常出问题。官方下载网址：/projectsSnoopy是一个php类，用来模拟浏览器的功能，可以获取网页内容，发送表单。Snoopy的特点：1、 抓取网页的内容fetch2、 抓取网页的文本内容（去除HTML标签）fetchtext3、 抓取网页的链接，表单fetchlinksfetchform4、 支持代理主机5、 支持基本的用户名/密码验证6、支持设置user_agent,referer（来路），cookies和headercontent（头文件）7、 支持浏览器重定向，并能控制重定向深度8、 能把网页中的链接扩展成高质量的url（默认）9、 提交数据并且获取返回值10、 支持跟踪HTML框架11、 支持重定向的时候传递cookies要求php4以上就可以了，由于本身是php一个类，无需扩支持，服务器不支持curl时候的最好选择。附：snoopy中文手册：/view/a2110c2al92e45361066f53a.html使用示例：/code-snippet/2480/php-usage-Snoopy-class-php-do-http-get-post-requestsnoopy的缺陷与CURL的强大：/showT047T.shtmlfile_get_contents()file_get_contents是fsockopen功能的简单打包，效率稍低些，但是抓取成功率很高，所以在snoopy出问题的时候我一般那他来。5.0.0添加了对context的支持，有了context,他也可以发送header信息，自定义用户agent,referer,cookies都不在话下。5.1.0添加了offset和maxlen参数，可以只读文件的一部分内容。curl()curl一般用来抓取网页，第二种就是get或者post数据，第三种应用就是实现PHP的多线程任务。功能最强大，几乎可以模拟浏览器的各个方面，几乎可以以假乱真。效率也很高，支持多线程，不过需要开启下curl扩展。cURL是一个利用URL语法规定来传输文件和数据的工具，支持很多协议，女口HTTP、FTP、TELNET等。PHP也支持cURL库，我们常常用来远程页面抓取和采集。也支持断点续传Range的代码：$ch=curl_init();curl_setopt($ch,CURLOPT_URL,'http://www.spiegel.de/');curl_setopt($ch,CURLOPT_RANGE,'0-500');curl_setopt($ch,CURLOPT_BINARYTRANSFER,1);curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);$result=curl_exec($ch);curl_close($ch);echo$result;/***Butasnotedbeforeiftheserverdoesn'thonorthisheaderbutsendsthewholefilecurlwilldownloadallofit.E.g.ignorestheheader.Butyoucan(inaddition)setawritefunctioncallbackandaborttherequestwhenmoredataisreceived,e.g.*php5.3+only*usefunctionwritefn($ch,$chunk){...}forearlierversions*/$writefn=function($ch,$chunk){static$data='';static$limit=500;//500bytes,it'sonlyatest$len=strlen($data)+strlen($chunk);if($len>=$limit){$data.=substr($chunk,0,$limit-strlen($data));echostrlen($data),'',$data;return-1;}$data.=$chunk;returnstrlen($chunk);};$ch=curl_init();curl_setopt($ch,CURLOPT_URL,'/');curl_setopt($ch,CURLOPT_RANGE,'0-500');curl_setopt($ch,CURLOPT_B