webmagic 学习(1)-- 基础流程

多少次都告诫自己要努力写代码 ,开发出自己的东西, 之前一直在看着别人的网站抓取数据, 很是羡慕啊, 都不知道还有爬虫这一说, 一直以来都是使用ssh 的定时启动。 我并不会很表达 ,就是发现webmagic 真的是一个很牛逼的工具。 好了,现在开始我现在的爬虫实战。 

1. 基础安装教程 。 

请到官网查看:   http://webmagic.io/ 


2. 编写的注意流程。

要实现一个最基本的爬虫 , 我环境搭建就花了一天搭建maven  。  其实很简单,就是实现PageProcessor  这个类的接口。

public class GithubRepoPageProcessor implements PageProcessor {

    // 部分一:抓取网站的相关配置,包括编码、抓取间隔、重试次数等
    private Site site = Site.me().setRetryTimes(3).setSleepTime(1000);

    @Override
    // process是定制爬虫逻辑的核心接口,在这里编写抽取逻辑
    public void process(Page page) {
        // 部分二:定义如何抽取页面信息,并保存下来
        page.putField("author", page.getUrl().regex("https://github\\.com/(\\w+)/.*").toString());
        page.putField("name", page.getHtml().xpath("//h1[@class='entry-title public']/strong/a/text()").toString());
        if (page.getResultItems().get("name") == null) {
            //skip this page
            page.setSkip(true);
        }
        page.putField("readme", page.getHtml().xpath("//div[@id='readme']/tidyText()"));

        // 部分三:从页面发现后续的url地址来抓取
        page.addTargetRequests(page.getHtml().links().regex("(https://github\\.com/\\w+/\\w+)").all());
    }

    @Override
    public Site getSite() {
        return site;
    }

    public static void main(String[] args) {

        Spider.create(new GithubRepoPageProcessor())
                //从"https://github.com/code4craft"开始抓
                .addUrl("https://github.com/code4craft")
                //开启5个线程抓取
                .thread(5)
                //启动爬虫
                .run();
    }
}

 @Override报错是jdk 编译器的问题, 如果碰到请选择 1.6的编译器。 1.5就会报错
 直接运行这个java类的话,会出现

SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".

SLF4J: Defaulting to no-operation (NOP) logger implementation

SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.

这个请直接 SLF4J 官网下载 SLF4J-nop.jar 或者maven里添加。


3.  仔细看完上面那个类之后, 控制台已经能很轻松抓取了。 我一直在理解 上面每一句代码的意思, 当然, 作为一个新手来说,这个有点太高端了。

在理解代码的路上我也走了很多的弯路, 完全不知道这个怎么回事, 

    正值表达式 的学习请查看 












评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值