Java爬虫框框：SeimiCrawler v0.3.0发布

最新推荐文章于 2024-05-12 09:55:23 发布
最新推荐文章于 2024-05-12 09:55:23 发布
阅读量353 收藏
点赞数 1
文章标签： ajax抓取 java爬虫框架 SeimiCrawler seimiagent
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhegexiaohuozi/article/details/80122809
版权

Change log

v0.3.0

  • 内置支持SeimiAgent，完美解决动态页面渲染抓取问题
  • 修复自动跳转在某些情况存在的bug

简介

SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目，非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。

社区讨论

大家有什么问题或建议现在都可以选择通过下面的邮件列表讨论，首次发言前需先订阅并等待审核通过（主要用来屏蔽广告宣传等）
- 订阅:请发邮件到 seimicrawler+subscribe@googlegroups.com
- 发言:请发邮件到 seimicrawler@googlegroups.com
- 退订:请发邮件至 seimicrawler+unsubscribe@googlegroups.com

更多文档

目前可以参考demo工程中的样例，基本包含了主要的特性用法。更为细致的文档移步SeimiCrawler主页中进一步查看

项目源码

Github

无忌小伙
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
java无极树形结构_Java爬虫框架：SeimiCrawler——结构化解析与数据存储
weixin_32795109的博客
02-27 359
本文将介绍如何使用SeimiCrawler将页面中信息提取为结构化数据并存储到数据库中，这也是大家非常常见的使用场景。数据抓取将以抓取博客园的博客为例。建立基本数据结构为了演示，简单起见只建立一个用来存储博客标题和内容两个主要信息的表即可。表如下：CREATE TABLE `blog` (`id` int(11) NOT NULL AUTO_INCREMENT,`title` varchar(30...
java爬虫系列（二）——爬取动态网页
Mr_OOO的博客
01-01 1万+
准备工作 项目地址 网页解析工具地址 启动网页解析器 根据系统选择所需文件 指定端口号启动工具 项目配置 seimi.properties SeimiAgentDemo.java 分析原网页代码 Boot.java 同系列文章 准备工作 新手的话推荐使用seimiagent+seimicrawler的爬取方式，非常容易上手，轻松爬取动态网页，目测初步上手10分钟以内...
SeimiCrawler：一个简单，敏捷，分布式的支持SpringBoot的Java爬虫框架；一种敏捷的分布式爬虫框架
02-25
SeimiCrawler 一个敏捷，强大，独立的分布式爬虫框架。支持spring boot和redisson。 SeimiCrawler的目标是成为Java里最实用的爬虫框架，大家一起加油。 简介 SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上减少新手开发一个替代高且性能不差的爬虫系统的门生物学，以及提高开发爬虫系统的开发效率。在设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用适当的效率更高的XPath解析HTML，所以SeimiCrawlerHTML解析器是 （独立扩展项目，非jsoup自带），并解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。并结合完美解决复杂动态页面呈现抓取问题。
Java爬虫框架——SeimiCrawler
01-05 981
SeimiCrawler An agile,powerful,standalone,distributed crawler framework. SeimiCrawler的目标是成为Java世界最好用最实用的爬虫框架。 简介 SeimiCrawler是一个敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发...
高效敏捷的Java爬虫框架SeimiCrawler示例
weixin_30919429的博客
11-10 212
SeimiCrawler是一个强大的，高效敏捷的，支持分布式的爬虫开发框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发很大，同时融合了Java语言本身特点与Sp...
Missing artifact com.oracle:ojdbc14:jar:10.2.0.3.0-附件资源
03-05
Missing artifact com.oracle:ojdbc14:jar:10.2.0.3.0-附件资源
com.google.android:flexbox:0.3.0-alpha2依赖资源
03-28
要在主工程的gradle中添加版本信息或者自己在资源包中添加版本号，依赖此资源就可以实现FlexboxLayout与Recycleview的后续操作，我的主工程版本代码： ext { minSdkVersion = 9 targetSdkVersion = 25 ...
LoalaSam(网络爬虫程序)软件 v0.3.0 中文绿色免费版
04-17
1. **ChangeLog.txt**：这是软件更新日志文件，记录了LoalaSam从早期版本到v0.3.0的所有改进和修复，用户可以借此了解软件的发展历程和最新特性。 2. **LoalaSam.chm**：这通常是一个帮助文件，包含了软件的使用...
oracle数据驱动包：ojdbc14-10.2.0.3.0.jar
12-26
Oracle 数据驱动包 `ojdbc14-10.2.0.3.0.jar` 是 Oracle 公司为 Java 应用程序提供的一种用于连接 Oracle 数据库的关键组件。Oracle JDBC (Java Database Connectivity) 驱动允许 Java 程序通过 JDBC API 与 Oracle ...
探秘SeimiCrawler：强大的Java爬虫框架
最新发布
gitblog_00046的博客
05-12 357
探秘SeimiCrawler：强大的Java爬虫框架 项目地址:https://gitcode.com/zhegexiaohuozi/SeimiCrawler 一、项目介绍 SeimiCrawler是一款针对Java开发者设计的高效、易用、可分布式部署的爬虫框架。它的目标是简化爬虫开发过程，让开发者更多地关注业务逻辑，而非基础设施的搭建。SeimiCrawler受到了Scrapy的启发，结合了Ja...
SeimiCrawler(Java 爬虫框架) v1.3.0.zip
07-06
SeimiCrawler(Java 爬虫框架）更新 支持在Request对象中，通过header(map)来自定义本次请求的header，以及支持通过seimiCookies来自定义cookies，自定义cookies会直接进入cookiesStore，对同域下第二次请求依然有效 优化默认启动方式，改造cn.wanghaomiao.seimi.boot.Run支持CommandLineParser，可以使用 -c 和-p来传参，其中-c用来指定crawlernames，多个用','分隔，-p指定一个端口，可以选择性的启动一个内嵌的http服务，并开启使用内嵌http接口 maven-compiler-plugin打包插件升级为1.3.0，完善Linux下的脚本，并增加启动配置文件，可以到maven-compiler-plugin主页详细查看 默认下载器改为Apache Httpclient,备用为下载器OkHttp3实现 优化部分代码 demo日志默认全部输出至控制台 SeimiCrawler(Java 爬虫框架）简介 SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目，非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。并结合SeimiAgent彻底完美解决复杂动态页面渲染抓取问题。 SeimiCrawler(Java 爬虫框架)展示   相关阅读 同类推荐：站长常用源码
SeimiCrawler
04-06
SeimiCrawler An agile,powerful,standalone,distributed crawler framework. SeimiCrawler的目标是成为Java里最实用的爬虫框架，大家一起加油。 简介 SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率。在SeimiCrawler的世界里，绝大多数人只需关心去写抓取的业务逻辑就够了，其余的Seimi帮你搞定。设计思想上SeimiCrawler受Python的爬虫框架Scrapy启发，同时融合了Java语言本身特点与Spring的特性，并希望在国内更方便且普遍的使用更有效率的XPath解析HTML，所以SeimiCrawler默认的HTML解析器是JsoupXpath(独立扩展项目，非jsoup自带),默认解析提取HTML数据工作均使用XPath来完成（当然，数据处理亦可以自行选择其他解析器）。并结合SeimiAgent彻底完美解决复杂动态页面渲染抓取问题。 号外 2016.04.14 用于实现浏览器级动态页面渲染以及抓取的SeimiAgent已经发布。SeimiAgent基于Qtwebkit开发，主流浏览器内核(chrome，safari等)，可在服务器端后台运行，并通过http协议发布对外调用API，支持任何语言或框架从SeimiAgent获取服务，彻底的解决动态页面渲染抓取等问题。具体可以参考SeimiAgent主页。SeimiCrawler已经在v0.3.0中内置支持SeimiAgent的使用并添加了demo，具体请查看demo或是官方文档。 2016.01.05 专门为SeimiCrawler工程打包部署的maven-seimicrawler-plugin已经发布可用，详细请继续参阅maven-seimicrawler-plugin或是下文工程化打包部署章节。
SeimiCrawler文档离线版
09-18
•SeimiCrawler一个敏捷强大的Java爬虫框架 •1.简介 •2.需要 •3.快速开始 ◦3.1.maven依赖 ◦3.2.在SpringBoot中 ◦3.3.常规用法 •4.原理 ◦4.1.基本原理 ◦4.2.集群原理 •5.如何开发 ◦5.1.约定 ◦5.2.第一个爬虫规则类-crawler ◾5.2.1.注解@Crawler ◾5.2.2.实现startUrls() ◾5.2.3.实现start(Response response) ◾5.2.4.Response数据提取 ◾5.2.4.1.内部属性一览 ◾5.2.5.回调函数 ◾5.2.6.Request内部一览 ◾5.2.7.自定义UserAgent（可选） ◾5.2.8.启用cookies（可选） ◾5.2.9.启用proxy（可选） ◾5.2.10.设置delay（可选）* ◾5.2.11.设置请求URL白名单匹配规则 ◾5.2.12.设置请求URL黑名单匹配规则 ◾5.2.13.设置动态代理 ◾5.2.14.是否开启系统去重 ◾5.2.15.关于自动跳转 ◾5.2.16.异常请求处理 ◾5.2.17.SeimiAgent支持 ◾5.2.17.1.基本配置 ◾5.2.17.1.1.直接运行 ◾5.2.17.1.2.SpringBoot项目 ◾5.2.17.2.使用 ◾5.2.18.启动爬虫系统 ◾5.2.18.1.SpringBoot(推荐) ◾5.2.18.2.直接运行，独立启动 ◦5.3.工程化打包部署 ◾5.3.1.SpringBoot(推荐) ◾5.3.2.独立直接运行 ◦5.4.定时调度 ◦5.5.自动解析Bean ◾5.5.1.注解@Xpath ◾5.5.2.使用 ◦5.6.拦截器 ◾5.6.1.注解@Interceptor ◾5.6.2.接口SeimiInterceptor ◾5.6.3.拦截器样例 ◦5.7.关于SeimiQueue ◾5.7.1.配置使用DefaultRedisQueue ◾5.7.1.1.SpringBoot项目 ◾5.7.1.2.直接运行（非SpringBoot） ◾5.7.2.自行实现SeimiQueue ◾5.7.3.SeimiQueue样例 ◦5.8.集成主流数据持久化 ◾5.8.1.准备工作 ◾5.8.2.写一个DAO ◾5.8.3.开始使用DAO ◦5.9.分布式 ◦5.10.通过http服务接口操作 ◾5.10.1.Request必填参数 ◾5.10.2.SpringBoot（推荐） ◾5.10.3.直接运行 ◾5.10.3.1.发送抓取请求 ◾5.10.3.2.接口描述 ◾5.10.3.3.查看抓取状态 •6.常见问题汇总 ◦6.1.如何设置网络代理 ◦6.2.如何开启cookie ◦6.3.如何启用分布式模式 ◾6.3.1.参考 ◾6.3.2.特别注意 ◦6.4.如何设置复杂的起始请求 •7.社区讨论 •8.项目源码
SeimiCrawler一个敏捷的独立部署的支持分布式的Java爬虫框架
08-08
SeimiCrawler是一个敏捷的，独立部署的，支持分布式的Java爬虫框架，希望能在最大程度上降低新手开发一个可用性高且性能不差的爬虫系统的门槛，以及提升开发爬虫系统的开发效率
webCrawller:基于webcollerctor爬虫框架的java爬虫
04-29
webCrawller 基于webcollerctor爬虫框架的java爬虫示例
java爬虫系列（一）——爬虫入门
热门推荐
Mr_OOO的博客
12-31 2万+
爬虫框架介绍 Heritrix 优势 劣势 简单demo地址 crawler4j 优势 劣势 简单demo地址 WebMagic 优势 劣势 简单demo地址 快速入门 seimicrawler 项目地址 简单爬虫实现 导入项目 编写爬虫 启动爬虫 同系列文章 爬虫框架介绍 java爬虫框架非常多，比如较早的有Heritrix，轻量级的crawler4j...
Java分布式爬虫seimicrawler
清风哥哥的专栏
06-14 4570
最近在扒一些数据，原本使用jsoup，但是发觉这个框架爬取的效率不高，用起来也不是很方便，了解了一些爬虫框架之后，决定使用SeimiCrawler来爬取数据。 开发环境：ideal+mybatis+SeimiCrawler 环境配置，具体的不解释，做过Java开发的明白，直接上配置文件：注意：SeimiCrawler相关的配置必须以seimi开头； 全局配置：seimi.xml <?...
基于java的图片爬虫和音乐爬虫
Mervin
03-13 742
网络上有很多爬虫框架结构也多种多样但是基本结构就3个1下载器，2解析器，3处理器（基本所有爬虫都是在这个结构上扩展的）。所以不论是用其他人的爬虫框架还是自己的爬虫只要理解这3个结构就能很好的使用爬虫或开发爬虫。 1.以下用的是SeimiCrawler爬虫框架 简单实例 添加maven依赖(已经同步到中央maven库)： <dependency> <group...
三、爬虫辅助工具 SeimiAgent
panchang199266的博客
12-26 1208
（一）作用   简单点说，有些页面元素是靠js动态加载的，那么我们在使用爬虫时，无法直接取到这些动态加载的DOM元素。而使用 SeimiAgent 工具以后，它会在我们取DOM元素之前，预先将js动态加载的部分先加载出来，这样我们就可以向取普通DOM元素一样进行处理。 （二）安装 1、先去SeimiAgent官网下载最新的工具包 2、centos上操作 yum -y install gcc gcc...
RISC-V开源SBI接口分析：从v0.1.0到v0.3.0的扩展与改进
文档提到SBI的历史发展，最初版本是从v0.1.0到v0.3.0，其中v0.3.0是在v0.2.0的基础上增加了扩展功能。 值得注意的是，v0.1.0和v0.2.0版本之间存在显著差异，这可能是由于API设计的改变或者新功能的引入。v0.3.0的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值