![](https://img-blog.csdnimg.cn/e1a48cf4f03b4820882f8a0e2ab9990b.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
爬虫案例
文章平均质量分 86
自己随便写写爬虫案例,分享给有需要的朋友。
剑客阿良_ALiang
人都是孤独的,没有人逃脱的了,这就是他们的悲剧所在。——理查德·耶茨 《十一种孤独》
展开
-
(Scrapy框架)爬虫获取新冠疫情数据升级版 | 爬虫案例
之前我写了一篇使用Scrapy框架获取百度的新冠疫情数据:(Scrapy框架)爬虫获取百度新冠疫情数据 | 爬虫案例_阿良的博客-CSDN博客_scrapy爬虫案例后来有粉丝私信我,针对这个项目他需要全球每个国家的新冠数据,所以我在原来代码的基础上增加了一个spyder对全球各个国家的新冠数据做了爬虫。原创 2021-12-19 15:56:06 · 7262 阅读 · 41 评论 -
(Scrapy框架)爬虫获取百度新冠疫情数据 | 爬虫案例
闲来无聊,写了一个爬虫程序获取百度疫情数据。申明一下,研究而已。而且页面应该会进程做反爬处理,可能需要调整对应xpath。原创 2021-11-08 09:00:00 · 9759 阅读 · 56 评论 -
(Scrapy框架)爬虫2021年CSDN全站综合热榜标题热词 | 爬虫案例
目录前言环境部署实现过程创建项目定义Item实体关键词提取工具爬虫构造中间件代码构造制作自定义pipelinesettings配置执行主程序执行结果总结前言接着我的上一篇:如何爬取CSDN全站综合热榜标题,顺便统计关键词词频 | 爬虫案例_阿良的博客-CSDN博客我换成Scrapy架构也实现了一遍。获取页面源码底层原理是一样的,Scrapy架构更系统一些。下面我会把需要注意的问题,也说明一下。提供一下GitHub仓库地址:github本原创 2021-11-06 15:40:07 · 9072 阅读 · 0 评论 -
如何爬取CSDN全站综合热榜标题,顺便统计关键词词频 | 爬虫案例
目录前言环境爬虫代码关键词提取代码主程序代码总结前言最近在出差,发现住的宾馆居然有小强。所以出差无聊之际,写了点爬虫的代码玩玩,问就是应景。本篇文章主要是爬取CSDN全站综合热榜的100个标题,然后分词提取关键词,统计一下词频。我想了下,对于其他博主还是有用的,可以看看什么标题可以上热榜,就分享一下吧。顺便把我解决各类问题的方法,说一说。环境使用的IDE为:spyder(有看着界面不习惯的,忍一下,不关键)页面爬取使用chromedriver,至于原创 2021-11-05 09:00:00 · 9717 阅读 · 2 评论