多进程爬站

最新推荐文章于 2024-04-21 22:58:15 发布
最新推荐文章于 2024-04-21 22:58:15 发布
阅读量217 收藏
点赞数
分类专栏： php 文章标签： 爬取 curl php
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zyddj123/article/details/110306291
版权

爬取和解析分离，先将数据爬取到文件系统，方便留存，再解析保留有效数据。

  1. 爬取，登录验证码图片识别采用百度识别。
    发送curl类
<?php
class PhpCurl
{
    public $cookie = '';

    /**
     * 发送post请求
     *
     * @param [type] $url
     * @param array $params
     * @param integer $isShowHeader
     * @return void
     */
    function post_curl($url, $params = [], $isShowHeader = 0,$isJson=false,$header=[])
    {
        $ret = [];
        $ch = curl_init();
        
        curl_setopt($ch, CURLOPT_HEADER, $isShowHeader);
        curl_setopt($ch, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_1);
        curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36');
        curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30);
        curl_setopt($ch, CURLOPT_TIMEOUT, 10);
        curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
        curl_setopt($ch, CURLINFO_HEADER_OUT, true);
        curl_setopt($ch, CURLOPT_POST, true);
        if($isJson){
            curl_setopt($ch, CURLOPT_POSTFIELDS, json_encode($params));
        }else{
            curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($params));
        }
        curl_setopt($ch, CURLOPT_URL, $url);
        // 设置请求头
        if(!empty($header)) curl_setopt($ch, CURLOPT_HTTPHEADER, $header);

        curl_setopt($ch, CURLOPT_COOKIE, $this->cookie);
        $response = curl_exec($ch);
        $info = curl_getinfo($ch);
        // $info1 = curl_getinfo($ch, CURLINFO_HEADER_OUT);
        // var_dump($info1);
        curl_close($ch);
        // echo '状态码'.$info['http_code'].'--'.$url.PHP_EOL;
        // echo 'cookie:'.$this->cookie.PHP_EOL;
        $ret['code'] = $info['http_code'];
        $ret['data'] = $response;
        return $ret;
    }

    function get_curl($url)
    {
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_HEADER, 0);
        curl_setopt($curl, CURLOPT_TIMEOUT, 10);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
        curl_setopt($curl, CURLINFO_HEADER_OUT, true);
        curl_setopt($curl, CURLOPT_COOKIE, $this->cookie);
        $data = curl_exec($curl);
        $info = curl_getinfo($curl);
        curl_close($curl);
        $ret['code'] = $info['http_code'];
        $ret['data'] = $data;
        return $ret;
    }
}

爬取站点继承自curl，创建有效的共享cookie池，数据库存储有效的JSESSIONID的cookie，发送爬取请求之前，获取未被占用的cookie，并标记为使用状态。

<?php
include_once realpath(__DIR__.'/../PhpCurl.php'); 
include_once realpath(__DIR__.'/../VerifyCode.php');
/**
 * 运维监控系统的登录逻辑类
 */
class PCYW extends PhpCurl
{
    public $db = null;
    public $count = 0;
    public $maxCount = 30;
    // const COOKIE_FILE = '../cookie/cookie';
    const TABLE_COOKIE = 'T_CURL_COOKIE';
    const SITE_FLAG = 'XXXXX';

    public function __construct($db)
    {
        $this->db = $db;
    }
    /**
     * 生成cookie
     *
     * @param [type] $url
     * @return void
     */
    private function start($url)
    {
        $re = $this->post_curl($url, [], 1);
        list($header, $body) = explode("\r\n\r\n", $re['data']);
        preg_match("/set\-cookie:([^\r\n]*)/i", $header, $matches);
        $cookie = explode(';', $matches[1])[0];
        $this->cookie = trim($cookie);
        return $re;
    }

    private function verifyCode($url)
    {
        $re = $this->post_curl($url);
        return $re['data'] ? $re['data'] : false;
    }

    /**
     * 登录 获取cookie
     *
     * @return void
     */
    public function login()
    {
        if($this->cookie!=''){
            $this->delCurlCookie($this->cookie);
        }
        if ($this->count > $this->maxCount) return false;
        $this->count++;
        $verifyImgName = './verifyImage/code' . rand(1, 99999) . '.jpg';  //验证码图片路径
        $loginIspUrl = 'http://ip:port/baf/jsp/uiframe/login.jsp'; //登录页url
        $loginUrl = 'http://ip:port/jf/login/checkLogin'; //登录操作url
        $codeUrl = 'http://ip:port/servlet/ValidateCodeServlet'; //验证码url

        $this->start($loginIspUrl);
        $imgSource = $this->verifyCode($codeUrl);    //获取验证码图片
        $im = imagecreatefromstring($imgSource);
        imagejpeg($im, $verifyImgName);
        imagedestroy($im);

        $code = VerifyCode::Do($verifyImgName);     //识别验证码图片
        @unlink($verifyImgName);
        if (strlen($code) != 4) {
            return $this->login();
        }
        $re = $this->post_curl($loginUrl, [
            'loginName' => 'XXXX',
            'password' => 'XXXXXXXXXXXXXXXXXX',
            'picCode' => $code
        ]);
        $qwe = json_decode($re['data'], true);
        if ($re['data'] && !is_null($qwe) && isset($qwe['status']) && $qwe['status'] == '1') {
            $this->setCurlCookie();
            // echo '登陆成'.PHP_EOL;
            // echo 'cookieLogin:'. $this->cookie.PHP_EOL;
            return true;
        } else {
            // echo '登陆失败,chongshi '.PHP_EOL;
            sleep(1);
            return $this->login();
        }
    }

    // 不使用文件系统存储cookie 是因为多个脚本同时启动的时候 要加锁 麻烦！ 所以选用数据库（自带锁。。）
    function getCurlCookie()
    {
        // $cok = file_get_contents(self::COOKIE_FILE);
        // $arr = explode(PHP_EOL,$cok);
        // foreach ($arr as $key => $value) {
        //     $a = json_decode($value,true);
        //     if(is_null($a)) return '';
        //     if(isset($a['using'])&&$a['using']==false){
        //         return $a['cookie'];
        //     }
        // }
        $res = $this->db->selectOne(self::TABLE_COOKIE,['USING'=>'0','SITE_FLAG'=>self::SITE_FLAG]);
        if($res){
            return $res['JS'];
        }else{
            return '';
        }
    }

    function setCurlCookie()
    {
        // $fpcontent = json_encode([
        //     'cookie'=>$this->cookie,
        //     'using'=>true
        // ]);
        // file_put_contents(self::COOKIE_FILE,$fpcontent.PHP_EOL,FILE_APPEND);
        $this->db->insert(self::TABLE_COOKIE,[
            'JS'=>$this->cookie,
            'USING'=>'1',
            'SITE_FLAG'=>self::SITE_FLAG
        ]);
        return true;
    }

    function updateCurlCookie($cookie,$using)
    {
        // $cok = file_get_contents(self::COOKIE_FILE);
        // $arr = explode(PHP_EOL,$cok);
        // $new = [];
        // foreach ($arr as $key => $value) {
        //     $a = json_decode($value,true);
        //     if(is_null($a)) continue;
        //     if(isset($a['cookie'])&&$a['cookie']==$cookie){
        //         $a['using'] = $using;
        //     }
        //     array_push($new,json_encode($a));
        // }
        // file_put_contents(self::COOKIE_FILE,implode(PHP_EOL,$new));
        $using = $using?'1':'0';
        $res = $this->db->selectOne(self::TABLE_COOKIE,['JS'=>$cookie,'SITE_FLAG'=>self::SITE_FLAG]);
        if($res){
            $this->db->update(self::TABLE_COOKIE,['SID'=>$res['SID']],['USING'=>$using]);
        }
        return true;
    }

    function delCurlCookie($cookie)
    {
        // $cok = file_get_contents(self::COOKIE_FILE);
        // $arr = explode(PHP_EOL,$cok);
        // foreach ($arr as $key => $value) {
        //     $a = json_decode($value,true);
        //     if(is_null($a)) return '';
        //     if(isset($a['cookie'])&&$a['cookie']==$cookie){
        //         unset($arr[$key]);
        //         file_put_contents(self::COOKIE_FILE,implode(PHP_EOL,$arr));
        //         return true;
        //     }
        // }
        $st = $this->db->delete(self::TABLE_COOKIE,['JS'=>$cookie,'SITE_FLAG'=>self::SITE_FLAG]);
        return true;
    }

    function __destruct()
    {
        $this->updateCurlCookie($this->cookie,false);
    }
}

爬取数据方法 基类

<?php 
include_once './md.php';
/**
 * 爬取数据方法 基类
 */
class FuncBase
{
    public $md = null;

    public function __construct($num)
    {
        $this->md = new md($num);
    }
	
	/**
	 * 递归创建文件夹
	 * /
    function createDir($dir){  
        return  is_dir($dir) or $this->createDir(dirname($dir)) and  mkdir($dir,0777);
    }
	/**
	 * 带颜色的进度条  
	 * 总数
	 * 当前
	 * /
    function progress($total, $current)
    {
        if (0 == $total) return;
        if ($current > $total) $current = $total;
        $percent = $current / $total * 100;
        $percent_current = floor($percent / 2);
        $percent_remain = 100 / 2 - $percent_current;
        echo "\033[?25l\033[42m" . str_pad(' ', $percent_current) . "\033[0m"
            . ($percent_remain ? "\033[41m" . str_pad(' ', $percent_remain) . "\033[0m" : "")
            . " \033[32m" . sprintf('%.2f', $percent) . "%\033[0m\r";
        if ($current == $total) echo PHP_EOL;
    }
}

运维监控系统的爬取数据方法 实现 类

<?php
include_once realpath(__DIR__.'/../PC/PCYW.php');
include_once realpath(__DIR__.'/../FuncBase.php');
use voku\helper\HtmlDomParser;

/**
 *  运维监控系统爬取数据 方法实现 类
 */
class YWFunc extends FuncBase
{
    public $curl = null;
    public $db =  null;
    public $j_id = '';
    const ERROR_DIR = './error';

    function __construct($db, $num = 4)
    {
        parent::__construct($num);
        $this->db = $db;
        $this->curl = new PCYW($this->db);

        //ping
        $cookie = $this->curl->getCurlCookie();
        $this->curl->cookie = $cookie;
        $this->curl->updateCurlCookie($cookie,true);
        $this->sendCurl('http://ip:port/baf/jsp/bulletin/viewBulletin.xhtml', [], 'get');
        $url = 'http://ip:port/business/resMge/pwMge/performanceMge/perfdata.xhtml';
        $res1 = $this->sendCurl($url, [], 'get');
        preg_match("/id=\"javax.faces.ViewState\" value=\"(\w+)\"/", $res1['data'], $matchArr);
        $this->j_id = $matchArr[1];
        // echo 'cookie: '.$this->curl->cookie.PHP_EOL;
        // echo '状态码：'.$res1['code'].'------j_id：'.$this->j_id.PHP_EOL;
    }

    function reTry($retry, $fn)
    {
        if ($retry > 0) {
            $st = call_user_func($fn, $retry);
            // if(!$st){
            //     $f = fopen('./qwer.txt','a');
            //     fwrite($f,$retry.PHP_EOL);
            //     fclose($f);
            //     $this->reTry($retry-1,$fn);
            // }
        }
    }
	
	function getMonitorData()
	{
		// ...
	}

}

多进程实现

<?php

/**
 * 启动多个进程脚本
 */
class md
{
    public $max = 5;
    private $current = 0;
    private $quitProcess = 0;
    private $allProcess = [];
    private $endFn = null;
    private $key = '';
    public function __construct(int $max = 3)
    {
        $this->max = $max;
        $this->key = posix_getpid();
    }
    /**
     * 启动
     *
     * @param callable $fn
     * @return void
     */
    public function start(callable $fn): void
    {
        // if($this->max==1){
        //     call_user_func($fn,0);
        //     return ;
        // }
        
        //监听子进程退出信号
        pcntl_signal(SIGCHLD, function ($sig) {
            while (($pid = pcntl_waitpid(-1, $status, false)) > 0) {
                // echo '有一个子进程退出了' . PHP_EOL;
                $this->quitProcess++;
                if ($this->quitProcess == $this->current) {
                    // echo "所有子进程全部退出,主进程结束" . PHP_EOL;
                    if (is_callable($this->endFn)) {
                        call_user_func($this->endFn);
                    } else {
                        exit(0);
                    }
                }
            }
        });
        while (true) {
            pcntl_signal_dispatch();
            $pid = -1;
            if ($this->current < $this->max) {
                $pid = pcntl_fork();
            }
            if ($pid > 0) {
                //父进程
                $this->current++;
                $this->allProcess[] = $pid;
            } elseif ($pid === 0) {
                //子进程
                call_user_func($fn, $this->current);
                return;
            } else {
                sleep(2);
            }
        }
    }
    /**
     * 设置主进程结束处理函数
     *
     * @param callable $fn
     * @return void
     */
    public function onEnd(callable $fn): void
    {
        $this->endFn = $fn;
    }
}

// $t1 = new md(4);
// $t1->start(function ($i) {
//     sleep(rand(0, 10));
//     echo $i . PHP_EOL;
//     // echo posix_getpid() . PHP_EOL;
// });

验证码识别

<?php 
require_once realpath(__DIR__.'/../../server/lib/baidu_api/text/AipOcr.php'); //百度识别
class VerifyCode{
	
    static $Db = null;
    const APP_ID = 'XXXXXX';
    const API_KEY = 'XXXXXX';
    const SECRET_KEY = 'XXXXXXX';
    
    static $API = null;
    static function Do($file){
        static::GetApi();
        $image = file_get_contents($file);
        $a = static::$API->basicAccurate($image);
        return $a['words_result'][0]['words'];
    }

    static function GetApi(){
        if( is_null(static::$API) ) static::$API = new AipOcr(static::APP_ID, static::API_KEY, static::SECRET_KEY);
    }
}
  1. 解析 HtmlDomParser
清晨一场梦
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
扒站工具推荐
叉叉敌的博客
03-12 1万+
文章目录背景推荐程序小结 背景 网络爬行（也称为网络抓取）在当今的许多领域得到广泛应用。它的目标是从任何网站获取新的或更新的数据并存储数据以便于访问。Web爬虫工具越来越为人所知，因为Web爬虫简化并自动化了整个爬网过程，使每个人都可以轻松访问Web数据资源。使用网络爬虫工具可以让人们免于重复打字或复制粘贴，我们可以期待一个结构良好且包罗万象的数据收集。此外，这些网络爬虫工具使用户能够以有条不紊和...
爬虫: 多进程分布式数据爬取
12-21
多进程的使用可以参见 分类目录——多进程 ，这里就直接操作不在进行过多的说明 这里以 把我的CSDN上的20条博客 访问一遍为例，来比照单纯串行和多进程并行的执行效率 首先，获取我所有博客的URL（当然只用20条做...
网站爬取文件小工具爬站利器
04-12
网站爬取文件小工具，可以爬取网站js文件、css文件、html文件、字体文件等等, 网站爬取文件小工具，可以爬取网站js文件、css文件、html文件、字体文件等等
网站爬虫(全站爬取)案例以及原理 适合新手
最新发布
Orangeyezzer的博客
04-21 793
本次案例选用的网站是由崔先生(崔庆才)所维护的网站，今天的案例是也是网站中的一部分。
爬虫介绍02：爬取第一个站点
DaoDao的博客
05-23 4862
这篇文章讲了如果编写一个爬虫，以及编写爬虫过程总用到的外部工具和模块。通过文章，我们可以了解关于网站、User Agent、Sitemap、爬取延迟和其它的爬取策略等内容。
爬站利器-teleport ultra
热门推荐
牧小农
01-10 3万+
一、前言 昨天应该公司需要，想要爬取一个网站的静态资源，但是用代码写，一个一个爬很累，就算完成了估计也要一点时间，于是想着看看有没有一款工具能够完成我的任务，于是乎发现了一个很好用的工具-teleport ultra。 下载地址：https://pan.baidu.com/s/1lDN47o6GeR4uKFB9xOqGUQ 下载完成之后 第一步：打开这个软件 如图打开之后的界面 第二步 点击fi...
php多进程异步抓取,异步请求-php多进程发HTTP请求，如何保证一秒内不超过5个请求...
weixin_28807529的博客
03-11 94
最近需要使用一个外部接口，开始没有想到用curl_multi_init，就用了多进程，尝试了pcntl和swoole_process，效果都很好。但是外部接口有一个限制，一秒内不能超过5个请求，这种情况在多进程下要怎么控制呢？需要考虑curl会有较大延迟(接口的服务在国外)。考虑到一个进程请求完在延迟的过程中，别的请求不能等待，需要异步进行，保证最大效率。同时还要控制一秒内的请求次数。第一感觉是，...
python爬虫之多线程、多进程爬虫
02-24
多线程对爬虫的效率提高是非凡的，当我们使用python的多线程有几点是需要我们知道的：1.Python的多线程并不如java的多线程，其差异在于当python解释器开始执行任务时，受制于GIL(全局解释所)，Python的线程被限制到...
qt例程14.多进程爬虫.7z
07-19
多进程爬虫"是一个重要的实践案例，它展示了如何使用Qt库结合多进程技术来实现高效的网页数据抓取。Qt是一个跨平台的C++图形用户界面应用程序开发框架，而多进程爬虫则是一种并行处理策略，能够提升爬虫的抓取速度和...
单线程多线程多进程爬虫实例
12-01
分别使用单线程，多线程，多进程爬取网站图片，python3.7实测可用，其他版本没有试过，存放文件的路径请根据需要进行更改。无意中发现的小网站，悠着点，别给爬崩了。参考了很多大神分享的代码，非常感谢，有问题...
php多进程异步抓取,PHP多进程编程(五) 多进程抓取网页的演示
weixin_34921325的博客
03-11 86
function read_title($url){$url_info = parse_url($url);if (!isset($url_info['host']) || !isset($url_info['scheme'])) {return false;}$host = $url_info['host'];$port = isset($url_info['port']) ? $url_inf...
在线扒站源码_趴网站源码_html爬站_js11227.com_在线扒站源码_在线扒源码_
10-02
WGET在线扒站源码，可以在线把html网页保存下载
一键爬站神器
08-29
类似于爬虫，输入网址即可以爬取自己想要的网站，非常的方便
新款简约PHP在线扒站小工具源码 两套在线扒扒站web源码.zip
03-06
这款仿站小工具源码也很简单，只有一个单页html，比较适合自用，开发，或者集成到你的工具站，用来扒一些带演示付费的素材模板还是比较好的，刚刚纯洁试了，源码可用。
Teleport_Ultra爬站神器
02-15
强大的网站爬取工具，简单高效，爬你所想，让你为所欲为，想干啥就干啥
php 爬虫 多线程,PHP使用swoole实现多线程爬虫
weixin_42499067的博客
03-10 262
在swoole中,php可以借助其启动子进程的方式,实现php的多进程：
php 多进程 爬虫,网页爬虫 - python的多进程怎么配合requests
weixin_28931735的博客
04-13 89
这是单进程顺序执行的代码：import requests,time,os,randomdef img_down(url):with open("{}".format(str(random.random())+os.path.basename(url)),"wb") as fob:fob.write(requests.get(url).content)urllist=[]with open("url...
PHP定时任务:轮询爬取多个API接口并将内容自动录入mysql数据库的解决方案
漏刻有时数据可视化大屏（PHP&ECHARTS智能化开源软件系统）
05-16 658
项目需求 多个API接口，并且每个API接口的都有多个id需要读取； 每个API都设置读取启动开关和定时更新的时间间隔； 读取API后，将对应的内如自动录入到mysql数据库； 读取各个API并予以循环 /* * * isLock,是否开启报表任务,0关闭,1开启; * */ //读取报表列表，判断是否开启报表任务; $isLock = "";//开关 $sysTimeSpan = "";//系统间隔; $groupsId = "";//组id $report_id = ""
分享php，swoole多进程，消息队列，协程，爬取数据案例demo
cxhblog的博客
09-02 772
执行环境想必不用我多说了，有问题留言 <?php /** * Created by PhpStorm. * User: Administrator * Date: 2020/9/1 0001 * Time: 22:16 */ $citys = ['luohuqu','futianqu','nanshanqu','yantianqu','baoanqu','longgangqu','longhuaqu','guangmingqu', 'pingshanqu','dapengx
python多进程爬虫
05-17
Python 提供了 `multiprocessing` 模块来实现多进程爬虫。下面是一个简单的示例代码： ```python import multiprocessing import requests def spider(url): response = requests.get(url) print(response.text)...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值