cURL multi批处理实现及避免cURL multi造成CPU负载过高问题
=============================
cURL multi这些函数时,目的显然应该是要同时请求多个url,而不是一个一个依次请求,否则不如自己循环去调curl_exec好了。
http://php.net/manual/en/function.curl-multi-exec.php
http://php.net/manual/zh/function.curl-multi-exec.php
这只返回错误关于整个多堆栈。 有可能还有 发生的问题对个别情况,即使这个函数返回
CURLM_OK
。Note:
This only returns errors regarding the whole multi stack. There might still have occurred problems on individual transfers even when this function returns CURLM_OK
.
==================================================================
http://www.phpddt.com/php/curl_multi.html
简单的cURL处理如下:
- $ch = curl_init();
- curl_setopt($ch, CURLOPT_URL, 'http://www.phpddt.com');
- curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
- $con = curl_exec($ch);
- curl_close($ch);
cURL还提供了批量处理会话,下面是 cURL批量处理相关函数:
- curl_multi_init — 返回一个新cURL批处理句柄
- curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄
- curl_multi_exec — 解析一个cURL批处理句柄
- curl_multi_getcontent — 如果设置了CURLOPT_RETURNTRANSFER,则返回获取的输出的文本流
- curl_multi_select — 等待所有cURL批处理中的活动连接
- curl_multi_info_read — 获取当前解析的cURL的相关传输信息
- curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
- curl_multi_close — 关闭一组cURL句柄
看下面使用
curl multi批处理的例子:
上面这段程序重点是执行批处理的那段,普通的处理:
会造成CPU Loading过高,因为$active要等全部url数据接受完毕才变成false,所以这里用到了 curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,没有执行数据就会sleep,如此就会避免CPU Loading 100%了。
参考资料:
(1) PHP手册关于cURL教程
(2) curl预定义常量
- <?php
- /**
- * cURL multi批量处理
- *
- * @author mckee
- * @link http://www.phpddt.com
- *
- */
-
- $url_array = array(
- 'http://www.phpddt.com/',
- 'http://www.phpddt.com/php/627.html',
- 'http://www.phpddt.com/php/258.html'
- );
-
- $handles = $contents = array();
-
- //初始化curl multi对象
- $mh = curl_multi_init();
-
- //添加curl 批处理会话
- foreach($url_array as $key => $url)
- {
- $handles[$key] = curl_init($url);
- curl_setopt($handles[$key], CURLOPT_RETURNTRANSFER, 1);
- curl_setopt($handles[$key], CURLOPT_TIMEOUT, 10);
-
- curl_multi_add_handle($mh, $handles[$key]);
- }
-
- //======================执行批处理句柄=================================
- $active = null;
- do {
- $mrc = curl_multi_exec($mh, $active);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
-
-
- while ($active and $mrc == CURLM_OK) {
-
- if(curl_multi_select($mh) === -1){
- usleep(100);
- }
- do {
- $mrc = curl_multi_exec($mh, $active);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
-
- }
- //====================================================================
-
- //获取批处理内容
- foreach($handles as $i => $ch)
- {
- $content = curl_multi_getcontent($ch);
- $contents[$i] = curl_errno($ch) == 0 ? $content : '';
- }
-
- //移除批处理句柄
- foreach($handles as $ch)
- {
- curl_multi_remove_handle($mh, $ch);
- }
-
- //关闭批处理句柄
- curl_multi_close($mh);
-
- print_r($contents);
上面这段程序重点是执行批处理的那段,普通的处理:
- do { $n=curl_multi_exec($mh,$active); } while ($active);
会造成CPU Loading过高,因为$active要等全部url数据接受完毕才变成false,所以这里用到了 curl_multi_exec的返回值判断是否还有数据,当有数据的时候就不停调用curl_multi_exec,没有执行数据就会sleep,如此就会避免CPU Loading 100%了。
参考资料:
(1) PHP手册关于cURL教程
(2) curl预定义常量