爬虫项目名称及简介
一些项目名称涉及企业名词,小编用拼写代替
1、【WechatSogou】- weixin公众号爬虫。基于weixin公众号爬虫接口,可以扩展成其他搜索引擎的爬虫,返回结果是列表,每一项是公众号具体信息字典。
2、【DouBanSpider】- douban读书爬虫。可以爬下豆瓣读书所有图书,按评分排名依次存储,存储到Excel中,比如筛选评价人数>1000的高分段书籍;可依据不同的类别存储到Excel不同的分类 ,采用User Agent伪装为浏览器进行爬取,并加入随机延时来更好的模仿浏览器行为,避免爬虫被封。
3、【zhihu_spider】- zhihu爬虫。爬取zhihu用户信息以及人际关系,爬虫框架使用scrapy,爬取的数据存储使用mongo
4、【bilibili-user】- Bilibili用户爬虫。抓取用户id,昵称,性别,头像,等级,经验值,粉丝数,生日,地址,注册时间,签名,等级与经验值等。抓取之后生成13站用户数据Excel表格。
5、【SinaSpider】- xinlang微博爬虫。爬取xinlang微博用户的个人信息、微博信息、粉丝和关注。代码获取xinlang微博Cookie进行登录,可通过多账号登录来防止xinlang的反扒。主要使用 scrapy 爬虫框架。
6、【knowsecSpider2】-知道创宇爬虫项目。
7、【aiss-spider】-爱丝APP图片爬虫。
8、【SinaSpider】-动态IP解决新浪的反爬虫机制,快速抓取内容。
9、【csdn-spider】-爬取CSDN上的博客文章。
10、【ProxySpider】-爬取西刺上的代理IP,