昨天做页面的时候,有一个需求,大概要实现的功能就是用户输入一个网址url和一个xpath路径,根据这个xpath去用户给的url里解析,最后呈现出解析的结果,以达到用户判断自己写的xpath是否正确。
之前百度了一个网上的一种用htmlclean来解析的,我试了一下,效果还不错,也比较简单,毕竟人家是专门用来做解析的嘛。后面因为项目里用的爬虫框架是webmagic,想的是最好不要引用别的框架了,于是就用了webmagic来做了。
首先webmagic用来做html解析真的是太可惜了,号称是要做国产第一爬虫框架的webmagic,它的功能有多强大大家自行百度。
其实webmagic上手很简单,只需要写一个类来实现webmagic的PageProcessor接口,然后就可以用了。
import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.processor.PageProcessor;
public class WebMagic implements PageProcessor {