教你创建一个免费的代理IP池（txt存储版本）

最新推荐文章于 2024-08-01 11:53:57 发布
最新推荐文章于 2024-08-01 11:53:57 发布
阅读量2.2k 收藏 12
点赞数 5
分类专栏： python爬虫 文章标签： 爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjlwdqca/article/details/119942836
版权
本文介绍了如何构建一个免费的代理IP池，用于爬虫防止IP被封。首先，从云代理、快代理和98代理等网站爬取免费IP，然后使用requests库验证IP的有效性，将可用IP存入valid.txt。最后，使用有效IP池进行目标网站的访问。整个过程涉及多线程控制和代理IP的时效管理。
摘要由CSDN通过智能技术生成

教你创建一个免费的代理IP池（txt存储版本）

很多人可能会为爬虫被ban，IP被封等反爬机制苦恼，接下来我就教给大家如何白嫖做一个代理IP池。

准备工作

首先是准备工作，因为是第一个版本，因此我打算先用txt存储爬取到的ip，下面是用到的一些变量。

# UA池
user_agents = [
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60',
		'Opera/8.0 (Windows NT 5.1; U; en)',
		'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
		'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 ',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
		'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
		'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
		'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
		'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
		'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
		'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
		'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0) ',
	]

# 写入所有代理
proxyList = open('proxy.txt')
# 写入可用代理ip
validList= open('valid.txt')

# 控制线程
lock = threading.Lock()

获取所有代理IP地址

肯定免费代理IP有很多是不能用的，但是我们依然需要获取到所有的代理IP，再做下一步的筛选。
本次作者选择了云代理，快代理，98代理三个网站的免费代理IP，进行了爬取，代码见下：

def getProxy():
    starttime = time.time()
    # 爬取云代理ip
    # http://www.ip3366.net/free
    getCloudProxy()

    # 爬取98代理
    # https: // www.89ip.cn / index_10.html
    get89Proxy()

    # 爬取快代理
    # https://www.kuaidaili.com/free/inha/1/
    # https://www.kuaidaili.com/free/intr/1/
    getQuickProxy()

    endtime = time.time()
    print(f"爬取代理花费{endtime-starttime}s")

def getCloudProxy():
    print("爬取云代理IP中--------")
    num = 0
    import time
    # 打开我们创建的txt文件
    proxyFile = open('proxy.txt', 'a')
    for page in range(1, 8):
        for stype in range(1, 3):
            time.sleep(random.randint(1, 3))
            print(f"正在抓取{stype}的第{page}页数据")
            # 数据地址
            url = f'http://www.ip3366.net/free/?stype={stype}&page={page}'
            # 设置随机请求头
            headers = {
                'User-Agent': random.choice(user_agents)}
            # 发送请求
            response = requests.get(url=url, headers=headers)
            # 自适应编码
            response.encoding = response.apparent_encoding
            html_data = response.text
            # 解析数据
            selector = parsel.Selector(html_data)
            trs = selector.xpath('//table/tbody/tr')
            for tr in trs:
                ip = tr.xpath('./td[1]/text()').get()  # ip
                port = tr.xpath('./td[2]/text()').get()  # 端口
                protocol = tr.xpath('./td[4]/text()').get()  # 协议

                # 将获取到的数据按照规定格式写入txt文本中1
                proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))
                num += 1
    print(f"爬取云代理IP{num}条")

def getQuickProxy():
    print("爬取快代理中------")
    num = 0
    import time
    # 打开我们创建的txt文件
    proxyFile = open('proxy.txt', 'a')
    for page in range(1, 3):
        for type in ['inha', 'intr']:

            time.sleep(random.randint(1, 3))
            print(f"正在抓取类型{type}第{page}页数据")
            # 数据地址
            url = f'https://www.kuaidaili.com/free/{type}/{page}/'
            # 设置随机请求头
            headers = {
                'User-Agent': random.choice(user_agents)
            }
            # 发送请求
            response = requests.get(url=url, headers=headers)
            # 自适应编码
            response.encoding = response.apparent_encoding
            html_data = response.text
            # 解析数据
            selector = parsel.Selector(html_data)
            trs = selector.xpath('//table/tbody/tr')
            for tr in trs:
                ip = tr.xpath('./td[1]/text()').get().strip()  # ip
                port = tr.xpath('./td[2]/text()').get().strip()  # 端口
                protocol = tr.xpath('./td[4]/text()').get().strip()  #协议
                # 将获取到的数据按照规定格式写入txt文本中1
                proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))
                num += 1
    print(f"爬取快代理IP{num}条")


def get89Proxy():
    print("爬取89代理IP中--------")
    num = 0
    import time
    # 打开我们创建的txt文件
    proxyFile = open('proxy.txt', 'a')
    for page in range(1, 156):
        time.sleep(random.randint(1, 3))
        print(f"正在抓取第{page}页数据")
        # 数据地址
        url = f'https://www.89ip.cn/index_{page}.html'
        # 设置随机请求头
        headers = {
            'User-Agent': random.choice(user_agents)
        }
        # 发送请求
        response = requests.get(url=url, headers=headers)
        # 自适应编码
        response.encoding = response.apparent_encoding
        html_data = response.text
        # 解析数据
        selector = parsel.Selector(html_data)
        trs = selector.xpath('//table/tbody/tr')
        for tr in trs:
            ip = tr.xpath('./td[1]/text()').get().strip()  # ip
            port = tr.xpath('./td[2]/text()').get().strip()  # 端口
            protocol = 'HTTP' # 默认协议HTTP
            # 将获取到的数据按照规定格式写入txt文本中1
            proxyFile.write('%s|%s|%s\n' % (ip, port, protocol))
            num += 1
    print(f"爬取89代理IP{num}条")

验证ip有效性

对于获得的所有免费代理IP，对他们进行验证，方法就是使用requests对百度网站进行访问，如何得到的返回码code为200，说明访问成功，即为可用有效IP，代码见下：

def verifyProxyList():
    '''
    验证ip有效性并存入valid.txt
    :return:
    '''

    valid = open('valid.txt', 'a')
    while True:
        lock.acquire()
        # 读取存放ip的文件
        ipinfo = proxyList.readline().strip()
        lock.release()
        # 读到最后一行
        if len(ipinfo) == 0:
            break
        line = ipinfo.strip().split('|')
        ip = line[0]
        port = line[1]
        realip = ip + ':' + port
        # print(realip)
        # 得到验证码
        code = verifyProxy(realip)
        # 验证通过
        if code == 200:
            lock.acquire()
            print("---Success:" + ip + ":" + port)
            valid.write(ipinfo + "\n")
            lock.release()
        else:
            pass
            # print("---Failure:" + ip + ":" + port)
def verifyProxy(ip):
    '''
    验证代理的有效性
    '''
    # 设置随机请求头
    headers = {
        'User-Agent': random.choice(user_agents)
    }
    url = "http://www.baidu.com"
    # 填写代理地址
    proxy = {'http': ip}
    try:
        code = requests.get(url=url, proxies=proxy, timeout=2, headers = headers).status_code
        print(code)
        return code
    except Exception as e:
        return e

测试有效IP

最后当然是测试板块啦，使用我们的有效代理IP池对目标网站进行访问，得到网站的内容，但是免费代理IP时效很短，需要控制好获取IP和使用IP的时间间隔，代码见下：


def useProxy():
    lock.acquire()

    ips = []
    # 获取可用ip池
    # 获取IP列表
    valid = open('/Users/shangyuhu/PycharmProjects/recruitProject/ProxyIP/valid.txt')
    while True:
        # 读取存放ip的文件
        ipinfo = valid.readline().strip()
        # 读到最后一行
        if len(ipinfo) == 0:
            break
        line = ipinfo.strip().split('|')
        ip = line[0]
        port = line[1]
        realip = ip + ':' + port
        ips.append(realip)
    print(ips)
    # 要抓取的目标网站地址
    targetUrl = "https://news.qq.com/"
    for i in range(10):
        # 随机使用ip爬虫
        proxyip = random.choice(ips)
        # print(proxyip)
        try:
            response = requests.get(url=targetUrl, proxies={"http": proxyip, "https": proxyip},
                                    verify=False, timeout=15)
        except Exception as e:
            continue
        # 自适应编码
        response.encoding = response.apparent_encoding
        html_data = response.text
        print(html_data)
    # 用完了
    lock.release()

函数调用


if __name__ == '__main__':
    # 清空代理列表和有效代理列表
    proxy = open('proxy.txt', 'w')
    proxy.write("")
    proxy.close()
    valid = open('valid.txt', 'w')
    valid.write("")
    valid.close()
    # 获取代理IP
    getProxy()

    starttime = time.time()
    # 验证ip有效性
    all_thread = []
    for i in range(30):
        t = threading.Thread(target=verifyProxyList)
        all_thread.append(t)
        t.start()

    for t in all_thread:
        t.join()

    endtime = time.time()
    print(f"验证代理IP花费时间{endtime-starttime}s")

    useProxy()
    proxy.close()
    valid.close()

总结

1.白嫖的肯定不如花钱的，使用效果肯定没有花钱来的舒服。
2.可以使用缓存或者数据库进行存储
3.线程的调用需要控制好

全部代码

全部代码
在这里插入图片描述

zjlwdqca
关注
专栏目录
爬虫爬取免费代理ip，验证代理ip有效性，保存到本地txt，建立代理池
jexsen的博客
03-04 1769
爬虫爬取免费代理ip，验证代理ip有效性，保存到本地txt，建立代理池 使用多线程+队列+正则匹配，对免费代理ip网站和查询自身ip网站（验证代理ip是否有效）发送请求，如果代理ip为有效，保存至本地txt文件中，建立自己的私人有效代理ip池。 源码： #!/usr/bin/env python # -*- coding: utf-8 -*- import requests import threading from queue import Queue import re from bs4 import
Python搭建代理IP池实现存储IP的方法
09-18
在Python中搭建代理IP池，主要是为了管理和存储大量的代理IP，以便在进行网络请求时能够切换不同的IP，提高网络访问的效率和匿名性...通过这样的方式，可以有效地管理和维护一个高质量的代理IP池，满足网络请求的需求。
【py spider】读取代理ip文件的几个函数 | 代理ip获取 | TXT
痛苦的时候装出幸福相，这不是那么难做到的事
04-14 260
代理ip的时候有三种方式 买到一批代理ip号后，利用卖者网站给的id访问卖者网站，返回一个ip号 卖家网站发一个TXT文件,放一批ip号 下载卖家的软件，会更改本地的ip 我使用的是第二种，黑洞ip的 import requests import os import random # 全局ip池 ips = [] # 当前代理 current_proxy = '' def ips_init(): # 读取ip代理 global ips ips = [] f
代理IP库.txt
05-22
6万2千多条国外代理IP，自用于测试。每一条都是亲测可用的。
什么是代理IP_如何建立代理IP池？
最新发布
科技改变人类，技术成就未来
08-01 1万+
日常浏览互联网时，是否遇到过访问某些网站（如GitHub）非常缓慢？是否遇到过某些网站（如OpenAPI）停止服务？这些问题有时就可以通过使用代理IP来解决。那么，什么是代理IP呢？这篇文章将以通俗易懂的语言，解释关于代理IP的一切，包含概念、作用、代理IP池，以及如何使用它们。
IP.txt 快proxy代理IP
05-07
形如8.8.8.8:8888，一行一个；自写python爬虫抓取，亲测可用
免费代理IP地址大全.rar
05-23
一、源码特点    采用winform进行开发,利用webrequest技术，请求远程html，拉取源码，再解析成要用的格式。二、功能介绍    本源码是一个免费代理IP地址大全源码,适用于新手学习，欢迎下载。三、注意事项    1、开发环境为Visual Studio 2010，使用.net 4.0开发。
抓取代理IP，然后保存成txt
weixin_30525825的博客
06-14 495
#!/usr/bin/env python# coding=utf-8#针对 www.xicidaili.comimport reimport randomimport sysimport timeimport datetimeimport threadingfrom random import choiceimport requestsimport bs4import stringfile=op...
Python搭建代理IP池实现获取IP的方法
09-18
本文将探讨如何使用Python来创建这样一个代理IP池，并通过获取和验证代理IP来确保其可用性。 首先，我们需要理解代理IP的基本作用。当进行网络爬虫时，如果频繁地从同一IP地址访问某个网站，可能会触发网站的反爬...
自建代理IP池管理系统
06-10
4. **IP池管理**：建立一个数据库来存储和管理代理IP，包括IP地址、类型（高匿名、匿名、透明）、速度、稳定性等属性。同时，应有策略性地分配和轮换IP，避免过度使用。 5. **API设计**：设计RESTful API接口，让...
Python搭建代理IP池实现接口设置与整体调度
09-18
在Python编程中，搭建代理IP池是一项实用的技术，尤其在需要频繁进行网络请求并避免被目标服务器封锁时。本文将深入探讨如何使用Python实现这一功能，包括接口设置、整体调度以及关键模块的实现。 首先，我们需要...
ip代理池（33W+）
08-17
33W条代理ip， 亲测有效（目前）， 不保证以后会一直生效， 一共33W条支持http,https,socks 欢迎来踩
mysql-proxy(mysql代理).txt
05-31
mysql-proxy(mysql代理).txt 主要是配置 linux 环境下mysql的代理设置功能
proxy_params（nginx反代优化配置）.txt
12-11
如果配置反代不成功，或者SSL反代报错出现跨域问题，请尝试是有本文档的优化配置。 centos7+nginx1.16测试http、https反代均无报错
最新IP地址库（全国+全球）TXT
01-15
最新的全国+全球的IP地址库，解压后近30MB的TXT，也有MYSQL版,不过不在此下载，你可以重新搜索。
节点池
01-31
信息 项目已放弃，请检查
python编写的爬虫代理ip池.zip
03-03
python编写的爬虫代理ip池.zip 运行环境 python3 和mysql数据库 下载使用 下载源码 git clone .git 或者在下载zip文件 安装依赖 pip install -i https://pypi.douban.com/simple/ -r requments.txt 创建数据库 ...
c++设计模式之Proxy代理模式.txt
idea的博客
12-27 333
main()，西门庆 IKindWomen，接口 CWangPo，代理 CPanJinLian，实际执行者之一 CJiaShi，实际执行者之二 说明：代理和实际执行者派生于共同的接口，代理拥有实际执行者的实例。代理的每一个函数（接口的实现函数），直接调用实际执行者的对应接口函数。 注意：代理只是简单的装载，然后调用实际执行者的函数。
抓取免费代理IP
weixin_42603784的博客
02-21 2936
很多网站都是会有反爬机制的会检测到我们的IP,我们不停的访问是会被检测到我们的IP的然后就会给我们封掉了,那么我们就要有自己IP代理池了,当然有钱的话可以花钱去买代理IP很好用的,我们也可以去爬一些免费的代理IP然后使用哦在写代码前简单介绍下一个工具 xpath的使用方法和个人的一些小技巧.我正则表达式不太好,爬虫正则就是一个很让人头疼的问题,那么有了xpath你一定会爱上他的,特别是我们可以在谷...
scrapy代理ip池
08-09
例如，你可以创建一个名为ProxyMiddleware的中间件类，并在其中实现process_request方法，从代理IP池中随机选择一个代理IP，并将其设置为请求的代理。 ```python class ProxyMiddleware(object): def process_...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值