分享一个Java爬虫实战，全网博文爬取

最新推荐文章于 2024-07-10 08:42:08 发布

不是太高的手

最新推荐文章于 2024-07-10 08:42:08 发布

阅读量334

点赞数

文章标签： html css nosql quartz 搜索引擎

本文链接：https://blog.csdn.net/zhulin2012/article/details/109192824

版权

点击▲关注 “爪哇笔记” 给公众号标星置顶

更多摄影技巧第一时间直达

简介

其实Java也可以做爬虫，虽然没有Python辣么强大，但是基本的功能还是没有问题的。本文将介绍一键爬取文章内容并保存入库。

一键爬取

配置文件引入：

 <!--HTML 转 MD 内置 jsoup-->
<dependency>
    <groupId>com.kotcrab.remark</groupId>
    <artifactId>remark</artifactId>
    <version>1.2.0</version>
</dependency>

创建爬虫基础配置表，用于匹配相关博客元素：

CREATE TABLE `app_blog_crawl` (
   `id` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '自增主键',
   `type` VARCHAR(255) NOT NULL COMMENT '类型',
   `url` VARCHAR(255) NOT NULL COMMENT '网址',
   `title` VARCHAR(255) NOT NULL COMMENT '标题元素',
   `content` VARCHAR(255) NOT NULL COMMENT '内容元素',
   `gmt_create` DATETIME NOT NULL COMMENT '创建时间',
   `gmt_modified` DATETIME NOT NULL COMMENT '修改时间',
   PRIMARY KEY (`id`)
 ) ENGINE=INNODB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8

后台抓取并把富文本转为MD格式：

/**
 * 爬取-爪哇笔记
 * 1）获取数据库配置
 * 2）根据数据库配置读取文章相关元素
 * 3）富文本转MD，并返回前端实体内容
 * 源码：https://gitee.com/52itstyle/SPTools
 * @param url
 * @return
 */
@RequestMapping("crawl")
public Result crawl(String url) {
    try {
        String domain = JsoupUtils.getDomain(url);
        String nativeSql = "SELECT * FROM app_blog_crawl WHERE url = ?";
        AppBlogCrawl crawl =
                dynamicQuery.nativeQuerySingleResult(AppBlogCrawl.class,nativeSql,new Object[]{domain});
        if(crawl!=null){
            Document document = JsoupUtils.getDocument(url);
            String title = document.select(crawl.getTitle()).text();
            String content = document.select(crawl.getContent()).html();
            Remark remark = new Remark();
            String markdown = remark.convertFragment(content);
            AppBlog blog = new AppBlog();
            blog.setTitle(title);
            blog.setContent(markdown);
            blog.setUrl(url);
            return Result.ok(blog);
        }else{
            return Result.error("目前暂不支持此网站抓取");
        }
    } catch (Exception e) {
        return Result.error("抓取异常");
    }
}

工具类：

/**
 * 工具类
 */
public class JsoupUtils {

    /**
     * 获取 document
     * @param url
     * @return
     * @throws IOException
     */
    public static Document getDocument(String url) throws IOException {
        Document document = Jsoup.connect(url)
                .timeout(100000)
                .ignoreContentType(true)
                .userAgent("Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36")
                .get();
        return document;
    }

    /**
     * 获取域名
     * @param url
     * @return
     */
    public static String getDomain(String url) {
        return url.split("/")[0]+"//"+url.split("/")[2];
    }
}