htmlparser 基础网页拔取

最新推荐文章于 2024-09-20 20:03:57 发布

zh_cinderella

最新推荐文章于 2024-09-20 20:03:57 发布

阅读量1k

点赞数 1

分类专栏： htmlparser 文章标签： htmlparser

本文链接：https://blog.csdn.net/zh_cinderella/article/details/42706243

版权

本文演示了如何使用htmlparser库从指定网页中提取应用的名称、版本、大小等信息，并进行下载操作。通过设置过滤器定位目标标签，解析并输出网页文本，最后将数据保存到数据库。

摘要由CSDN通过智能技术生成

拔取网页是http://mm.10086.cn/android/info/300008730468.html?from=www&fw=227062网页

打开网页网页的bug模式（F12）

找出你想要爬取的数据

代码

package com.baidu;

import org.htmlparser.Node;
import org.htmlparser.Parser;
import org.htmlparser.Tag;
import org.htmlparser.filters.AndFilter;
import org.htmlparser.filters.HasAttributeFilter;
import org.htmlparser.filters.HasChildFilter;
import org.htmlparser.filters.TagNameFilter;
import org.htmlparser.util.NodeList;
import org.htmlparser.util.ParserException;

import com.baidu.apply.bean.Apply;
import com.baidu.util.WebUtils;
import com.baidu.util.httpDownload;

public class HtmlParse {

public static void main(String[] args) throws ParserException {

Parser parse=new Parser("http://mm.10086.cn/android/info/300008730468.html?from=www&fw=227062");
parse.setEncoding("UTF-8");
//获取应用的名称
Apply apply=new Apply();
String appName="";

TagNameFilter nameFilter = new TagNameFilter("div");

AndFilter andFilter = new AndFilter(nameFilter, new HasAttributeFilter("class","mj_big_title font-f-yh"));

NodeList list= parse.parse(andFilter);

Tag tag=(Tag) list.elementAt(0);

System.out.println(tag.toPlainTextString());

//清零
parse.reset();