Python爬虫速度很慢？并发编程了解一下吧

文章目录

• 前言

• 基础知识

• GIL

• 多线程

• 创建Thread 对象

• 自定义类继承 Thread

私信小编01即可获取大量Python学习资源

前言

网络爬虫程序是一种智能 IO 密集型（页面请求，文件读取）程序，会阻塞程序的运行消耗大量时间，而 Python 提供多种并发编程方式，能够在一定程度上提升 IO 密集型程序的执行效率低。在开始之前你要先了解以下概念！

基础知识

并发：一段时间内发生某些事情。在单核 CPU 中，执行多个任务是以并发的方式运行的，由于只有一个核心处理器，CPU 把一个时间段划分成几个时间区间，各个任务只会在自己的时间区间执行，如果在自己的时间阶段没有完成任务，就会切换到下一个任务，由于各个时间段很短，切换频繁，所以给人的感觉是“同时”运行。

并行：同一时刻进行发生某些事情。在多核 CPU 中，是能够实现真正“同时”运行的，当一个 CPU 执行某个进程时，其他的 CPU 可以执行其他进程，两个进程互不抢占 CPU 资源。

同步</