Jsoup下载抖音文件限制1M的问题解决

1.最近有个朋友找我需要下载抖音文件,我研究了下,首先想到用的是用jsoup这个组件进行下载。

2.项目中一般都是用maven开发的 ,首先要引入jsoup的gav,还用到了commons-io组件。

 

		<dependency>
		    <groupId>org.jsoup</groupId>
		    <artifactId>jsoup</artifactId>
		    <version>1.11.2</version>
		</dependency>
		<dependency>
			<groupId>commons-io</groupId>
			<artifactId>commons-io</artifactId>
			<version>2.6</version>
		</dependency>

 

3.代码干货:

package com.vhd;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.IOException;

import org.apache.commons.io.FileUtils;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class DouYinUtil1 {

	private final static Logger log = LoggerFactory
			.getLogger(DouYinUtil.class);
	

	public static void getDouYinUrl(String douyinUrl,String fileName){
		try {
			String content = Jsoup.connect(douyinUrl).ignoreContentType(true).timeout(10000).execute().body();
			String downUrl = StringUtils.substringBetween(content, "playAddr: \"", "\",");
			if(StringUtils.isEmpty(downUrl)){
				return;
			}
			Response document = Jsoup.connect(downUrl).timeout(10000).execute();
			BufferedInputStream stream = document.bodyStream();
			File file = new File(fileName);
			FileUtils.copyInputStreamToFile(stream, file);
		} catch (IOException e) {
			e.printStackTrace();
			log.error("douyinUrl:{},error:{}",douyinUrl,e);
		}
	}
	
}

比如爬去这个链接下的视频,并把他下载到本地:

https://www.iesdouyin.com/share/video/6666114056509754635/?region=CN&mid=6651338676108430087&u_code=i016k282&titleType=title&utm_source=copy_link&utm_campaign=client_share&utm_medium=android&app=aweme&iid=65536108658&timestamp=1553130381

结果下载之后只有1M的大小.就研究了下jsouip这个组件,测试只有下载1M的文件:

		String url = "https://aweme.snssdk.com/aweme/v1/playwm/?video_id=v0300fd30000bi2c7ipdja5i7hebu8d0&line=0";
		System.out.println(Jsoup.connect(url).request().maxBodySize());

然后查看API文档:

https://jsoup.org/apidocs/org/jsoup/Connection.html

ConnectionmaxBodySize​(int bytes)

Set the maximum bytes to read from the (uncompressed) connection into the body, before the connection is closed, and the input truncated.

可以设置下载文件的大下.

然后在上面代码基础增加 了.maxBodySize(3000000)这个方法就可以限制1M大小的问题了。

package com.vhd;

import java.io.BufferedInputStream;
import java.io.File;
import java.io.IOException;

import org.apache.commons.io.FileUtils;
import org.apache.commons.lang3.StringUtils;
import org.jsoup.Connection.Response;
import org.jsoup.Jsoup;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

public class DouYinUtil {

	private final static Logger log = LoggerFactory
			.getLogger(DouYinUtil.class);
	

	public static void getDouYinUrl(String douyinUrl,String fileName){
		try {
			String content = Jsoup.connect(douyinUrl).ignoreContentType(true).timeout(10000).execute().body();
			String downUrl = StringUtils.substringBetween(content, "playAddr: \"", "\",");
			if(StringUtils.isEmpty(downUrl)){
				return;
			}
			Response document = Jsoup.connect(downUrl).maxBodySize(30000000).timeout(10000).execute();
			BufferedInputStream stream = document.bodyStream();
			File file = new File(fileName);
			FileUtils.copyInputStreamToFile(stream, file);
            //此方法建议可以使用下面copy大文件的方法性能会更好些
            //IOUtils.copyLarge(stream, new FileOutputStream("D:\\123.mp4"));
		} catch (IOException e) {
			e.printStackTrace();
			log.error("douyinUrl:{},error:{}",douyinUrl,e);
		}
	}
	
	public static void main(String[] args) {
		String url = "https://aweme.snssdk.com/aweme/v1/playwm/?video_id=v0300fd30000bi2c7ipdja5i7hebu8d0&line=0";
		System.out.println(Jsoup.connect(url).request().maxBodySize());
	}
}

以上帮朋友解决了下载抖音大文件的问题,也可以做成批量下载抖音,有兴趣可以尝试一下!

欢迎关注我的公众号,来一起学习:

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值