网络爬虫中Jsoup请求

jsoup 是一款Java 的HTML解析器,可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API,可通过DOM,CSS以及类似于jQuery的操作方法来取出和操作数据。下面是我写的一个案例欢迎大家参考:

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
/*
 * author:合肥工业大学 管院学院 钱洋 
 *1563178220@qq.com
 *博客地址:http://blog.csdn.net/qy20115549/
*/
public class JsoupTest {
    public static void main(String[] args) throws IOException {
        /*
         * 解析一个字符串
        */
        String html = "First parse"
                + "Parsed HTML into a doc.";
        Document doc = Jsoup.parse(html);
        System.out.println(doc);
        /*
         * 解析url
        */
        String url="http://www.tripadvisor.com/SearchForums?q=airbnb&x=18&y=10&pid=34633&s=+";
        Document doc1=Jsoup.connect(url).userAgent("bbb").timeout(50000).get();
        Elements ele=doc1.select("table[class=forumsearchresults]").select("tr[class~=firstpostrow?]");
        for (Element elem:ele) {
            String _id=elem.attr("id");
            String _url="http://www.tripadvisor.com"+elem.select("td[onclick~=setPID?]").select("a").
                    attr("href");
            String _content=elem.select("td[onclick~=setPID?]").select("a").text();
            System.out.println(_id+"===="+_url+"===="+_content);
        }
    }
}


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值