这是我根据这个流程实现的代码，网址：LiuRoy/github_spider
运行结果
因为每个请求延时很高，爬虫运行效率很慢，访问了几千个请求之后拿到了部分数据，这是按照查看数降序排列的python项目：
这是按粉丝数降序排列的用户列表
运行缺陷
作为一个有追求的程序员，当然不能因为一点小成就满足，总结一下递归实现的几个缺陷：
因为是深度优先，当整个用户图很大的时候，单机递归可能造成内存溢出从而使程序崩溃&#x
本文介绍了如何使用Python编写爬虫抓取GitHub上的数据，包括按照查看数和粉丝数排序的项目和用户列表。在遇到单机递归内存溢出、请求延时长、数据下载速度慢以及访问失败的链接重试问题时，通过引入队列和RabbitMQ实现了广度优先遍历和多并发优化，支持中断后继续运行。详细展示了程序流程图和消息队列的配置方法。
最低0.47元/天 解锁文章
扫一扫
944
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
