使用aiohttp异步爬取小说

最新推荐文章于 2022-10-25 16:19:09 发布
VIP文章 最新推荐文章于 2022-10-25 16:19:09 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 爬虫 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zz001357/article/details/104555907
版权

       哈喽，在这个寂寞的下午来看看这篇很水的文章《使用aiohttp爬取小说》

       首先，简单说下同步和异步。个人理解蛤，举个例子

       同步就是，你去买泡面，买完得等商家算钱，算完钱了，你才能离开店铺。

       异步就是，晚上吃个泡面，先烧个水，那么在等水开的时候，就可以撕泡面的包装，酱料包，然后等到水开了泡就是了

苦逼单身dog，只有泡面…

                                                                             

       先简单说下协程的使用，协程是轻量型的线程，减少了上下文切换的消耗，然后巴拉巴拉巴拉……….这不是我们的重点，我们的这篇文章主要是使用aiohttp

       来看看一个简单使用协程的例子。输出  hello 丑到吓哭小女孩

       使用协程

最低0.47元/天 解锁文章
左手Python右手Go
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
python 基于aiohttp的异步爬虫实战
linmeiyun的博客
09-13 1198
接下来我们会详细介绍aiohttp库的用法和爬取实战。aiohttp 是一个支持异步请求的库，它和 asyncio 配合使用，可以使我们非常方便地实现异步请求操作。asyncio模块，其内部实现了对TCP、UDP、SSL协议的异步操作，但是对于HTTP请求，就需要aiohttp实现了。aiohttp分为两部分，一部分是Client，一部分是Server。下面来说说aiohttp客户端部分的用法。以上就是借助协程async和异步aiohttp两个主要模块完成异步爬虫的内容，
异步爬取小说---三寸人间
RayMand168的博客
04-23 389
思路 1.先写同步代码，遇到多个url时，创建异步任务。 2.保存到txt文件 导包 import requests from lxml import etree import asyncio import aiohttp, aiofiles import os 得到url列表 async def get_urls(url, headers): resp = requests.get(url=url, headers=headers) resp.encoding = 'utf-8'
异步爬小说
冷巷(✘_✘)的博客
10-01 1180
因为是数据包，所以直接用json输出，然后定位到title的位置，以获取title和cid。异步的最好案例应该是爬这种多页面的或者多级的东西，所以直接整小说。对于第一个url就是获取所有章数的，就是如下所示了。因为每个cid对应每一章节，所以开始上异步。仔细看一下data那一行的数据，可以改成。点一个章节进去，然后又看一下包。看到了内容，url也复制一下。随便点一本小说，然后打开调试。发现有%22这玩意，直接去掉。然后保存这个包的url地址。然后对第一个url进行请求。找到加载章节的数据包。
异步下载小说《诡秘之主》
lingyuncelia的博客
05-20 472
import time start_time=time.time() import requests from lxml import etree from concurrent.futures import ThreadPoolExecutor,ProcessPoolExecutor import os url1="https://www.soshuw.com/GuiMiZhiZhu/" x1='//*[@id="novel50348"]/dl/dd/a/@href' x2='//*[@id="novel
c#同步异步调用和异步回调
zhangx
05-11 7821
前言：由于项目需求，对主线程的效率要求非常高，导致主线程中一些耗时的操作必须使用特殊手段进行处理。因此，多方求索，找到最适合的方法：异步回调。当耗时的方法异步处理后，主线程不会的等待当前方法执行，而是继续向下执行。但是本方法需要在执行结束后才可以执行一些操作，只是用单纯的异步操作不能达到目的，因此，使用异步回调，当耗时方法执行结束后会自动执行回调函数。注：使用异步的时候，要尤其注意线程安全问题，当...
京东爬虫异步爬取
04-09
京东爬虫异步爬取 aiohttp,asyncio,bs4,多进程提取数据
Python实现的异步代理爬虫及代理池
01-20
使用python asyncio实现了一个异步代理池，根据规则爬取代理网站上的免费代理，在验证其有效后存入redis中，定期扩展代理的数量并检验池中代理的有效性，移除失效的代理。同时用aiohttp实现了一个server，其他的程序...
基于Python爬取链家网上北、上、广租房信息
最新发布
10-24
链家房屋信息抓取（超详细适合新手练习附源码） ...import aiohttp # 异步网络请求模块 import requests # 导入网络请求模块 from lxml import etree # 导入lxml解析html的模块 import pandas # 导入pandas模块
leetcode题库-LeetCode_Helper:Python实现的LeetCode仓库美化程序。爬取LeetCode-cnAC的题目描述
06-29
异步下载题目描述，高速并发导出文件 支持增量更新，当 LeetCode-cn 有新内容（题目/提交的代码）时，可以选择增量形式更新 使用 使用 git clone 或直接下载本仓库代码至本地 本项目需要用到第三方库 requests 和 ...
百度地图毕业设计源码-ToutiaoBaikeSpider:头条百科-原互动百科单词条格式化信息爬取
06-06
异步格式化信息爬取 异步主要针对单个词语对应多个词条的情况，比如李强，王伟这种词 使用方式 安装依赖 pip install requests pip install aiohttp 运行 toutiaobaike_spider.py 文件,会在控制台打印该词条信息 ...
使用aiohttp 抓取起点小说网
replat-xin
06-14 539
推荐陈佬的博客：https://www.cnblogs.com/c-x-a/p/10208179.html 这个问题具体的解决就是去掉for前面的async 应该是超时了
使用异步爬虫爬取网络小说
qq_73804934的博客
10-25 637
因为aiohttp的读取如果是html的话直接就和requests的使用一模一样，如果是非文本信息则是。这个重点在于aiohttp的使用，它保存文件的格式有很多种，如果要保存非文本信息需要用。这个主要用于读取非文本信息方便后期储存。下面就是关于协程爬取的案例。
爬虫（九十六）aiohttp 爬虫实战
人生代码 ---- 公众号
04-06 671
今天天气不太好啊，本来想着去爬山的，竟然早上起来就下了大雨，这下好了，只能在宿舍码字，下代码了，正好学习一下 aiohttp爬虫实战，也学习一下区块链的知识，顺便整理一下最近收藏的一...
小说下载_异步协程
zou407479250的博客
03-23 862
""" 88读书网——独本下载 例：https://www.88dus.com/xiaoshuo/97/97208/ async版本，使用aiohttp执行多个异步请求 """ from bs4 import BeautifulSoup import requests import os,time import sys import asyncio from aiohttp impor...
Python使用aiohttp和asyncio多线程下载文件
孤独的echo的博客
11-20 1545
@TOCPython使用aiohttp和asyncio多线程下载文件 安装 pip install aiohttp 如何使用 import aiohttp import asyncio def main(): urls = ['http://aaaaa', 'http://bbbbb'] loop = asyncio.get_event_loop() async def start(url_list, loop) ### async定一个异步方法 ### async with aiohttp.
Python3 爬虫教程 - aiohttp 的基本使用
xiaoganaiuk的博客
06-08 3137
前面介绍的 asyncio 模块内部实现了对 TCP、UDP、SSL 协议的异步操作，但是对于 HTTP 请求来说，我们就需要用到 aiohttp 来实现了。aiohttp 是一个基于 asyncio 的异步 HTTP 网络模块，它既提供了服务端，又提供了客户端。其中我们用服务端可以搭建一个支持异步处理的服务器，就是用来处理请求并返回响应的，类似于 Django、Flask、Tornado 等一些 Web 服务器。而客户端可以用来发起请求，类似于使用 requests 发起一个 HTTP 请求然后获得响应，
强大的异步爬虫 with aiohttp
学海无涯
06-13 7104
看到现在网络上大多讲的都是requests、scrapy，却没有说到爬虫中的神器：aiohttpaiohttp 介绍aiohttp是什么，官网上有这样一句话介绍：Async HTTP client/server for asyncio and Python，翻译过来就是 asyncio和Python的异步HTTP客户端/服务器主要特点是：支持客户端和HTTP服务器。无需使用Callback Hel...
python中的异步编程：asyncio 和aiohttp 的结合使用（aiohttp-requests、aiofiles）
西门大盗 捉虫专家
08-12 4608
asyncio asyncio 是用来编写并发代码的库，使用async/await语法。 asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务队列等等。 asyncio 往往是构建 IO 密集型和高层级结构化网络代码的最佳选择。 aiohttp aiohttp是一个为Python提供异步HTTP 客户端/服务端编程...
Python多线程爬取行行网电子书
人生苦短， 还不用Python？
08-29 1490
行行网电子书多线程爬取-撸代码 代码非常简单，有咱们前面的教程做铺垫，很少的代码就可以实现完整的功能了，最后把采集到的内容写到 csv 文件里面，(csv 是啥，你百度一下就知道了) 这段代码是IO密集操作 我们采用aiohttp模块编写。 第1步 拼接URL，开启线程。 import requests # 导入协程模块 import asyncio import aiohttp ''' 遇到不...
python 异步爬取梨视频
05-01
你可以使用 Python 的 asyncio 和 aiohttp 模块来实现异步爬取梨视频。这里给出一个简单的示例代码： ```python import asyncio import aiohttp async def fetch(session, url): async with session.get(url) as response: return await response.text() async def main(): async with aiohttp.ClientSession() as session: urls = ['http://www.pearvideo.com/category_5', 'http://www.pearvideo.com/category_6'] tasks = [asyncio.create_task(fetch(session, url)) for url in urls] htmls = await asyncio.gather(*tasks) for html in htmls: print(html) # 这里可以写解析代码，将视频信息提取出来 if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(main()) ``` 在这个示例中，我们首先定义了一个 `fetch` 函数，用于使用 aiohttp 发送异步请求并返回响应的 HTML 页面。然后在 `main` 函数中，我们创建了一个 aiohttp 的 `ClientSession` 对象，并使用 asyncio 的 `create_task` 函数创建了多个异步任务，最后使用 `asyncio.gather` 函数将这些任务一起执行，并将结果存储在 `htmls` 列表中。你可以在这里添加解析代码，将视频信息提取出来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值