PHPcURL应用

八、 多线程采集

对于大量采集工作，为了提高采集效率，使用PHP cURL提供的多线程采集是必不可少的。手册上提供的多线程采集例子好像都不太好用，我刚开始也从里面测试了几个例子，但是发现都是执行卡死，根本无法执行完成，前几天突然又测试了一下，然后发现curl_multi_info_read函数下面的Example #1是可以执行的，它的内容在$res上，但是没有打印出来，而且雅虎的请求比较慢，会卡住，前面两个链接都能正常返回。
不过，还好当时的例子不好用，然后我经过搜索找到了一个很厉害的项目，CurlMulti ，它对PHP cURL Multi 进行了一个良性扩展的封装，能够很好地提供采集支持。
关于CurlMulti的使用我就不多介绍，官网上面提供了demo，使用过程有技术难题可以直接加入Q群讨论，作者@Ares 和其他的采集大牛都会提供技术解答帮助。
下面是PHP cURL Multi的一个简单示例：

 $url) {
    $conn[$i] = curl_init($url);
    curl_setopt($conn[$i], CURLOPT_RETURNTRANSFER, 1);  //不直接输出结果
    curl_multi_add_handle($mh, $conn[$i]);
}

$active = null;
$res = array();
do {
    $status = curl_multi_exec($mh, $active);
    $info = curl_multi_info_read($mh);
    if (false !== $info) {
        //采集信息处理
        $res[] = array(
            &＃39;content&＃39;   => curl_multi_getcontent($info[&＃39;handle&＃39;]),
            &＃39;info&＃39;      => $info,
        );
        curl_close($info[&＃39;handle&＃39;]);
    }
} while ($status === CURLM_CALL_MULTI_PERFORM || $active);

curl_multi_close($mh);

var_dump($res);

九、302跳转（301跳转）

对于一些应用，比如模拟登录，如果遇上302跳转，会导致COOKIE丢失而使得模拟登录失败，请求现象如图（六）所示：

这个时候，可以使用：

curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);

关于CURLOPT_FOLLOWLOCATION，手册说明是：

启用时会将服务器服务器返回的"Location: "放在header中递归的返回给服务器，使用CURLOPT_MAXREDIRS可以限定递归返回的数量。

我个人理解，通俗点讲就是后面的跳转会继续跟踪访问，而且COOKIE在header里面被保留了下来。

十、模拟上传文件

在PHP手册的curl_setopt函数中，关于CURLOPT_POSTFIELDS有如下描述：

全部数据使用HTTP协议中的"POST"操作来发送。要发送文件，在文件名前面加上@前缀并使用完整路径。这个参数可以通过urlencoded后的字符串类似&＃39;para1=val1¶2=val2&...&＃39;或使用一个以字段名为键值，字段数据为值的数组。如果value是一个数组，Content-Type头将会被设置成multipart/form-data。

对于上传文件，这句话包含两个信息：

1. 要上传文件，post的数据参数必须使用数组，使得Content-Type头将会被设置成multipart/form-data。
2. 要上传文件，在文件名前面加上@前缀并使用完整路径。

因此，模拟文件上传可以按照如下实现：

//上传D盘下的test.jpg文件，文件必须存在，否则curl处理失败且没有任何提示
$data = array(&＃39;name&＃39; => &＃39;Foo&＃39;, &＃39;file&＃39; => &＃39;@d:/test.jpg&＃39;);

$ch = curl_init(&＃39;http://localhost/upload.php&＃39;);
curl_setopt($ch, CURLOPT_POST, 1);
curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
curl_exec($ch);

本地测试的时候，在upload.php文件中打印出\\(_POST和\$_FILES即可验证是否上传成功，如下： " _POST);
print_r($_FILES);

输出结果类似：

Array ( [name] => Foo ) Array ( [file] => Array ( [name] => test.jpg [type] => application/octet-stream [tmp_name] => D:\xampp\tmp\php2EA0.tmp [error] => 0 [size] => 139999 ) )

关于CURLOPT_POSTFIELDS的赋值，另外补充一句描述：

传递一个数组到CURLOPT_POSTFIELDS，cURL会把数据编码成 multipart/form-data，而然传递一个URL-encoded字符串时，数据会被编码成 application/x-www-form-urlencoded。

即：

curl_setopt(\(ch, CURLOPT_POSTFIELDS, &＃39;param1=val1¶m2=val2&...&＃39;); 和 curl_setopt(\)ch, CURLOPT_POSTFIELDS, array('param1' => 'val1', 'param2' => 'val2', ...));

相当于html的form表单中：

和

"
的区别。

总结

PHP cURL是一个很强大的采集工具，curl_setopt里面还有很多参数，读者可以抽空整体看一遍，虽然平时未必用得上，但是至少做到心里有底，知道都有哪些参数，必要时还能找出来使用。
采集是一项大工程，使用过程中遇到的问题还会不少，但是只要学会分析和资料搜索，一切都会迎刃而解的，大家加油！哈哈~~