php爬虫PHP收集爬虫之CURL进修

这个时候有人就要发问了：为什么你特么不用file_get_contents?

curl的性能比它好，而且可以完成更多繁芜的操作，不仅仅只是获取页面数据。

下面先分别先容一些常用的函数。

php爬虫PHP收集爬虫之CURL进修 PHP

curl_init 初始化一个curl对话curl_setopt 设置curl参数，即传输选项curl_exec 实行要求curl_close 关闭一个curl对话

紧张是上面四个

curl_errno 返回末了一次缺点码,php已经定义了诸多缺点列举编码curl_errror 返回一个保护当前会话最近一次缺点的字符串

下面直接上实例吧，干系阐明都在注释里面

1. 在网络高下载一个网页并把内容中的“百度”更换为“屌丝”之后输出

<?php/ 实例描述：在网络高下载一个网页并把内容中的“百度”更换为“屌丝”之后输出 /$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, \"大众http://www.baidu.com\公众); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 实行之后不直接打印出来$output=curl_exec($curlobj); // 实行curl_close($curlobj); // 关闭cURLecho str_replace(\"大众百度\公众,\公众屌丝\"大众,$output);?>1234567891011

2. 通过调用WebService查询北京确当前景象

<?php/ 实例描述：通过调用WebService查询北京确当前景象 /$data = 'theCityName=北京';$curlobj = curl_init(); curl_setopt($curlobj, CURLOPT_URL, \"大众http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName\公众); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(\"大众application/x-www-form-urlencoded; charset=utf-8\"大众, \公众Content-length: \公众.strlen($data) )); $rtn = curl_exec($curlobj); if(!curl_errno($curlobj)){ // $info = curl_getinfo($curlobj); // print_r($info); echo $rtn; } else { echo 'Curl error: ' . curl_error($curlobj);}curl_close($curlobj);?>123456789101112131415161718192021222324

3. 仿照须要登录的网址并抓取网页的内容

<?php/ 实例描述：仿照须要登录的网址并抓取网页的内容 /$data=array('username' => 'promonkey', 'password' => '1q2w3e', 'remember'=>1);$data='username=zjzhoufy@126.com&password=1q2w3e&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, \"大众http://www.imooc.com/user/login\公众); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 实行之后不直接打印出来// Cookie干系设置，这部分设置须要在所有会话开始之前设置date_default_timezone_set('PRC'); // 利用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); // 这样能够让cURL支持页面链接跳转curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(\公众application/x-www-form-urlencoded; charset=utf-8\"大众, \"大众Content-length: \"大众.strlen($data) )); curl_exec($curlobj); // 实行curl_setopt($curlobj, CURLOPT_URL, \"大众http://www.imooc.com/space/index\"大众);curl_setopt($curlobj, CURLOPT_POST, 0); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(\"大众Content-type: text/xml\公众 )); $output=curl_exec($curlobj); // 实行curl_close($curlobj); // 关闭cURLecho $output;?>1234567891011121314151617181920212223242526272829303132

4. 登录网站的信息抓取并下载个人空间页面 + 自定义实现页面链接跳转抓取

<?php/ 实例描述：登录网站的信息抓取并下载个人空间页面自定义实现页面链接跳转抓取 /$data='username=demo_peter@126.com&password=123qwe&remember=1';$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, \公众http://www.imooc.com/user/login\"大众); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 实行之后不直接打印出来// Cookie干系设置，这部分设置须要在所有会话开始之前设置date_default_timezone_set('PRC'); // 利用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_COOKIESESSION, TRUE); curl_setopt($curlobj, CURLOPT_HEADER, 0); // 注释掉这行，由于这个设置必须关闭安全模式以及关闭open_basedir，对做事器安全不利//curl_setopt($curlobj, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($curlobj, CURLOPT_POST, 1); curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(\"大众application/x-www-form-urlencoded; charset=utf-8\"大众, \"大众Content-length: \"大众.strlen($data) )); curl_exec($curlobj); // 实行curl_setopt($curlobj, CURLOPT_URL, \"大众http://www.imooc.com/space/index\"大众);curl_setopt($curlobj, CURLOPT_POST, 0); curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(\"大众Content-type: text/xml\公众 )); $output=curl_redir_exec($curlobj); // 实行curl_close($curlobj); // 关闭cURLecho $output;/ 自定义实现页面链接跳转抓取 /function curl_redir_exec($ch,$debug=\"大众\公众) { static $curl_loops = 0; static $curl_max_loops = 20; if ($curl_loops++ >= $curl_max_loops) { $curl_loops = 0; return FALSE; } curl_setopt($ch, CURLOPT_HEADER, true); // 开启header才能够抓取到重定向到的新URL curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); $data = curl_exec($ch); // 分割返回的内容 $h_len = curl_getinfo($ch, CURLINFO_HEADER_SIZE); $header = substr($data,0,$h_len); $data = substr($data,$h_len - 1); $http_code = curl_getinfo($ch, CURLINFO_HTTP_CODE); if ($http_code == 301 || $http_code == 302) { $matches = array(); preg_match('/Location:(.?)\n/', $header, $matches); $url = @parse_url(trim(array_pop($matches))); // print_r($url); if (!$url) { //couldn't process the url to redirect to $curl_loops = 0; return $data; } $last_url = parse_url(curl_getinfo($ch, CURLINFO_EFFECTIVE_URL)); if (!isset($url['scheme'])) $url['scheme'] = $last_url['scheme']; if (!isset($url['host'])) $url['host'] = $last_url['host']; if (!isset($url['path'])) $url['path'] = $last_url['path']; $new_url = $url['scheme'] . '://' . $url['host'] . $url['path'] . (isset($url['query'])?'?'.$url['query']:''); curl_setopt($ch, CURLOPT_URL, $new_url); return curl_redir_exec($ch); } else { $curl_loops=0; return $data; } } ?>1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283

从FTP做事器下载一个文件到本地

<?php/ 实例描述：把本地文件上传到FTP做事器上 /$curlobj = curl_init(); $localfile = 'ftp01.php';$fp = fopen($localfile, 'r');curl_setopt($curlobj, CURLOPT_URL, \"大众ftp://192.168.1.100/ftp01_uploaded.php\"大众); curl_setopt($curlobj, CURLOPT_HEADER, 0); curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curlobj, CURLOPT_TIMEOUT, 300); // times out after 300scurl_setopt($curlobj, CURLOPT_USERPWD, \公众peter.zhou:123456\"大众);//FTP用户名：密码//上传和下载紧张是下面子三个参数不一样curl_setopt($curlobj, CURLOPT_UPLOAD, 1);curl_setopt($curlobj, CURLOPT_INFILE, $fp);curl_setopt($curlobj, CURLOPT_INFILESIZE, filesize($localfile));$rtn = curl_exec($curlobj); fclose($fp); if(!curl_errno($curlobj)){ echo \"大众Uploaded successfully.\公众; } else { echo 'Curl error: ' . curl_error($curlobj);}curl_close($curlobj);?>123456789101112131415161718192021222324252627

6.下载网络上面的一个HTTPS的资源

<?php/ 实例描述：下载网络上面的一个HTTPS的资源 /$curlobj = curl_init(); // 初始化curl_setopt($curlobj, CURLOPT_URL, \公众https://ajax.aspnetcdn.com/ajax/jquery.validate/1.12.0/jquery.validate.js\"大众); // 设置访问网页的URLcurl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 实行之后不直接打印出来// 设置HTTPS支持date_default_timezone_set('PRC'); // 利用Cookie时，必须先设置时区curl_setopt($curlobj, CURLOPT_SSL_VERIFYPEER, 0); // 对认证证书来源的检讨从证书中检讨SSL加密算法是否存在curl_setopt($curlobj, CURLOPT_SSL_VERIFYHOST, 2); // $output=curl_exec($curlobj); // 实行curl_close($curlobj); // 关闭cURLecho $output;?>1234567891011121314151617原生PHP仿照http要求

有时候为了大略仿照一个http要求，这样就去用curl有点摧残浪费蹂躏，实在php自身已经可以实现这个功能，

须要在做事器端仿照 POST/GET 等要求，也便是在 PHP 程序中去实现仿照，改怎么做到呢？或者说，在 PHP 程序里，给你一个数组，如何将这个数组 POST/GET 到其余一个地址呢？当然，利用 CURL 很随意马虎办到，那么如果不该用 CURL 库，又该怎么办呢？实在，在 PHP 里已经有干系的函数实现了，这个函数便是接下来要讲的 stream_context_create()。

直接 show you the code，这是最好的方法：

$data = array( 'foo'=>'bar', 'baz'=>'boom', 'site'=>'www.nowamagic.net', 'name'=>'nowa magic'); $data = http_build_query($data); //$postdata = http_build_query($data);$options = array( 'http' => array( 'method' => 'POST', 'header' => 'Content-type:application/x-www-form-urlencoded', 'content' => $data //'timeout' => 60 60 // 超时时间（单位:s） ));$url = \"大众http://www.nowamagic.net/test2.php\"大众;$context = stream_context_create($options);$result = file_get_contents($url, false, $context);echo $result;http://www.nowamagic.net/test2.php 的代码为：$data = $_POST;echo '<pre>';print_r( $data );echo '</pre>';123456789101112131415161718192021222324252627282930

运行结果为：

Array( [foo] => bar [baz] => boom [site] => www.nowamagic.net [name] => nowa magic)1234567

一些要点讲解：

以上程序用到了 http_build_query() 函数，布局URL字符串。
stream_context_create() 是用来创建打开文件的高下文件选项的，比如用POST访问，利用代理，发送header等。
便是创建一个流，再举一个例子吧：

$context = stream_context_create(array( 'http' => array( 'method' => 'POST', 'header' => sprintf(\"大众Authorization: Basic %s\r\n\"大众, base64_encode($username.':'.$password)). \"大众Content-type: application/x-www-form-urlencoded\r\n\公众, 'content' => http_build_query(array('status' => $message)), 'timeout' => 5, ), )); $ret = file_get_contents('http://twitter.com/statuses/update.xml', false, $context); 12345678910stream_context_create创建的高下文选项即可用于流(stream)，也可用于文件系统(file system)。
对付像 file_get_contents、file_put_contents、readfile直策应用文件名操作而没有文件句柄的函数来说更有用。
stream_context_create增加header头只是一部份功能，还可以定义代理、超时等。
这使得访问web的功能不弱于curl。
stream_context_create() 浸染：创建并返回一个文本数据流并运用各种选项，可用于fopen(),file_get_contents()等过程的超时设置、代理做事器、要求办法、头信息设置的分外过程。
stream_context_create 还能通过增加 timeout 选项办理file_get_contents超时处理：

$opts = array( 'http'=>array( 'method'=>\公众GET\"大众, 'timeout'=>60, ));//创建数据流高下文$context = stream_context_create($opts);$html =file_get_contents('http://www.nowamagic.net', false, $context);//fopen输出文件指针处的所有剩余数据://fpassthru($fp); //fclose()前利用