![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python爬虫
昨夜风起_jzb
混迹测试圈多年,从游测到软测,从青年到中年...吾心不老
展开
-
python爬虫-多线程小说批量下载
# 增加了:1、使面向对象化 2、加入了异常判断,防止程序因报错中断 3、检查txt文件是否存在,如存在,跳过并下载下一个文件# 增加了:多线程,可同时download多个文件 2018.1.11import requestsfrom bs4 import BeautifulSoupimport timeimport osimport threadingclass Bo...原创 2018-05-09 11:52:54 · 2145 阅读 · 0 评论 -
python爬虫-爬妹子图
# 爬妹子图(对象化)import requestsfrom bs4 import BeautifulSoupimport osclass mzitu(): def __init__(self): self.headers = {'User-Agent': "Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/535....转载 2018-05-09 11:50:14 · 3033 阅读 · 1 评论 -
python爬虫-京东全网搜索
# 搜索京东商品 使用动态数据抓取import requestsfrom bs4 import BeautifulSoupimport reclass JD: def __init__(self): self.headers = { 'User-Agent': "Mozilla/5.0 (Windows NT 6.1; WOW64) ...原创 2018-05-09 11:55:51 · 2343 阅读 · 2 评论 -
小说下载_异步协程
"""88读书网——独本下载 例:https://www.88dus.com/xiaoshuo/97/97208/async版本,使用aiohttp执行多个异步请求"""from bs4 import BeautifulSoupimport requestsimport os,timeimport sysimport asynciofrom aiohttp impor...原创 2019-03-23 17:50:28 · 886 阅读 · 0 评论