![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 73
TyrantTG
https://github.com/taogeT
展开
-
直播网站LiveTV Mining,爬虫抓取数据 python3+scrapy
LiveTV Mining介绍此站点是为了实现爬虫、数据挖掘/分析等技术。目前主要是扫描斗鱼直播的数据进行统计,后续会加入其他直播网站(战旗、熊猫、itwich等)爬虫结果。站点是在个人兴趣指引下用业余时间写的项目,可能技术还欠缺火候。使用中有问题或更新建议,欢迎直接提issue Github 反馈给我。历程 2016-04-06 域名 http://www.zhengwentao.com 申请完毕原创 2016-04-07 10:41:24 · 4279 阅读 · 0 评论 -
直播项目阶段性总结-爬虫
爬虫总结 项目展示的数据都是由爬虫爬取的,在使用过程中出现了很多没有注意和意料之外的一些问题,特此总结一下提醒自己。 历程 爬虫开发的技术路线经过了好几个阶段,将一一总结: 原生写法urllib Requests + Gevent + Celery Scrapy + Redis 原生写法urllib 这个阶段是刚开始学习爬虫,对如何构造和理解爬虫以及相关库的用法都不熟悉...原创 2018-05-20 10:33:16 · 511 阅读 · 0 评论