jsoup分页

package collect;


import java.io.IOException;


import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;


public class JsoupDemo {


public static void main(String[] args) throws IOException {
//要采集的网址
String url="http://hbqj.gov.cn:8888/child_site/jwjcj/lzyw/";
Document document = Jsoup.connect(url) 
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36") 
.get();
//获取审查页面的页数信息
String page=document.select(".pages.mt30.mb10 em").text();
//截取数据
//获取总的条数
int start=page.indexOf("共");
int end=page.indexOf("条");
Integer total_count=Integer.parseInt(page.substring(start+1, end));

//获取总页数
int start1=page.indexOf("/");
int end1=page.indexOf("页");
Integer total_page=Integer.parseInt(page.substring(start1+1, end1));

for(int current_page = 1; current_page <= total_page; current_page++){
   System.out.println("-------------------第" + current_page + "页开始-------------------------");
  if(current_page==1){
  getData(url);
  }else{
  getData(url+"index_"+current_page+".html");
  }   
   System.out.println("-------------------第" + current_page + "页结束-------------------------");
       }

}
public static void getData(String url) throws IOException{
Document document = Jsoup.connect(url) 
.userAgent("Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36") 
.get();
    Elements items=document.select(".container__wrap>div");
    Elements elements=document.select(".news__list>li");
for (Element element : elements) {
Elements titleElements=element.select("h4 a");
String title=titleElements.text();
String link=titleElements.attr("href").trim();

Elements dateElements=element.select("div:eq(1)");
String time=dateElements.text();
System.out.println(title);
System.out.println(link);
System.out.println(time);

}
}
}
使用Jsoup爬取分页数据的步骤如下: 1. 定义要爬取的网页地址和需要爬取的内容。 2. 使用Jsoup连接网页,获取网页内容。 3. 使用Jsoup解析网页内容,提取需要的数据。 4. 如果网页中存在多页数据,使用循环遍历所有网页,重复步骤2和步骤3。 5. 将提取的数据保存到本地或数据库中。 下面是一个示例代码,演示如何使用Jsoup爬取分页数据: ```java import java.io.IOException; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; public class PageCrawler { public static void main(String[] args) throws IOException { // 定义要爬取的网页地址和需要爬取的内容 String url = "https://example.com/page/1"; String cssSelector = ".list-item"; // 使用Jsoup连接网页,获取网页内容 Document doc = Jsoup.connect(url).get(); // 使用Jsoup解析网页内容,提取需要的数据 Elements items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } // 如果网页中存在多页数据,使用循环遍历所有网页 for (int i = 2; i <= 10; i++) { String nextUrl = "https://example.com/page/" + i; doc = Jsoup.connect(nextUrl).get(); items = doc.select(cssSelector); for (Element item : items) { // 处理每个数据项 String title = item.select(".title").text(); String description = item.select(".description").text(); System.out.println(title); System.out.println(description); System.out.println("------------"); } } // 将提取的数据保存到本地或数据库中 // ... } } ``` 在示例代码中,我们首先定义了要爬取的网页地址和需要爬取的内容。 然后,我们使用Jsoup连接网页,获取网页内容,并使用Jsoup解析网页内容,提取需要的数据。 如果网页中存在多页数据,我们使用循环遍历所有网页,重复步骤2和步骤3。 最后,我们可以将提取的数据保存到本地或数据库中。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值