zhoukuanyu的博客

转载 基于WebMagic写的一个csdn博客小爬虫

最近有点无聊，想研究一下爬虫，说到爬虫，很多人第一时间想到的是python。但是这次我选择了室友@antgan推荐的java爬虫框架WebMagic。该框架容易上手，可定制可扩展，非常适合想用java做爬虫的小伙伴们。先看一下官方教程，里面写得很详细，也有不少参考案例。 暂时还想不到有什么数据值得爬取，先拿csdn博客来练练手。  小爬虫能抓取指定用户的所有文章的关键信息，包括文章id