oss 普通上传和大文件分片上传
提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加
最近在用文件图片上传功能，发现大文件上传到oss，上传特慢不说有时候还不成功，于是就去看了一下阿里的官方文档，发现有一个断点续传和分片上传，于是就试了一下分片上传的功能，不得不说阿里的文档还是很齐全的，代码直接都能用，考虑到自己的实际情况可以稍加改动。
只要配置好yaml配置文件，复制代码即可使用！
提示：以下是本篇文章正文内容，下面案例可供参考
一、使用步骤
1.引入库
引入maven坐标：
<!--阿里云oss存储-->
<dependency>
<groupId>com.aliyun.oss</groupId>
<artifactId>aliyun-sdk-oss</artifactId>
</dependency>
1. yaml配置文件
oss:
#带有地域节点的请求地址
endpoint: xxx
#阿里云用户id
keyid: xxx
#阿里云用户密码
keysecret: xxx
#阿里云存储空间名
bucketname: xxx
#阿里服务器域名
fileHost: xxx
#文件上传路径
filePath: upload/
2. 使用步骤：
- controller代码：
@PostMapping("fileUpload")
public AjaxResult fileUpload(@RequestParam("file") MultipartFile file) {
OssData ossData = new OssData();
// 上传文件返回url
String url = ossUploadService.upload(file);
if (url != null) {
ossData.setUrl("https://"+bucketname+"."+endpoint+"/" + url);
ossData.setFileName(url);
return AjaxResult.success(ossData);
} else {
return AjaxResult.error("上传失败");
}
}
- service代码：
package com.ruoyi.web.controller.upload.oss;
import cn.hutool.core.date.DatePattern;
import com.aliyun.oss.ClientException;
import com.aliyun.oss.OSS;
import com.aliyun.oss.OSSClient;
import com.aliyun.oss.OSSException;
import com.aliyun.oss.model.*;
import com.ruoyi.common.utils.DateUtils;
import lombok.extern.log4j.Log4j2;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import javax.annotation.Resource;
import java.io.*;
import java.net.URL;
import java.util.*;
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.ThreadPoolExecutor;
import java.util.concurrent.TimeUnit;
/**
* @author ouj
*/
@Service
@Log4j2
public class OssUploadServiceImpl implements OssUploadService {
private final AliyunOSSUtil aliyunOSSUtil;
@Value("${oss.filePath}")
private String filePath;
@Value("${oss.bucketname}")
String bucketName;
@Resource
private OSSClient client;
@Override
public String upload(MultipartFile file) {
// 返回客户端文件系统中的原始文件名
String fileName = file.getOriginalFilename();
System.out.println(fileName);
try{
if (file != null) {
// 判定文件名是否为 ""
if (!"".equals(fileName.trim())) {
File newFile = new File(fileName);
FileOutputStream os = new FileOutputStream(newFile);
// 以字节数组的形式返回文件的内容,再输出到文件输出流中
os.write(file.getBytes());
os.close();
// 将接受的文件传输到给定的目标文件 file-->newFile
file.transferTo(newFile);
// 根据不同文件 类型/日期 生成不同的文件夹
String datePath = DateUtils.datePath();
String timeStamp = String.valueOf(System.currentTimeMillis());
fileName = timeStamp + fileName.substring(fileName.lastIndexOf("."));
String path;
if (fileName.endsWith(".jpg") || fileName.endsWith(".jpeg") || fileName.endsWith(".png")) {
// images
path = filePath + "images/" + datePath + "/" + fileName;
ObjectMetadata meta = new ObjectMetadata();
meta.setContentType("image/jpg");
PutObjectResult result = client.putObject(new PutObjectRequest(bucketName, path, newFile,meta));
newFile.delete();
if (result != null) {
log.info("------OSS文件上传成功------" + path);
return path;
}
} else {
path = filePath + "other/" + datePath + "/" + fileName;
log.info("fileName===="+fileName);
//获取文件大小（单位：mb）
long size = newFile.length()/1024/1024;
if(size>20){
//分片上传
String[] strings = uploadObject2OSS(client, newFile, bucketName, "", path, fileName);
if (strings != null) {
newFile.delete();
String ossUrl = strings[1];
// 保存路径url地址：http://zhiliaoappversion.oss-cn-beijing.aliyuncs.com/appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
// 设置URL过期时间为10年 3600L*1000*24*365*10
Date expiration = new Date(System.currentTimeMillis() + 3600L * 1000 * 24 * 365 * 10);
URL url = client.generatePresignedUrl(bucketName, ossUrl, expiration);
String path1 = url.getPath();
/*url.toString().replace("http://goovisd4.oss-cn-shenzhen.aliyuncs.com","");
String limitUrl = url.toString().substring(0, url.toString().lastIndexOf("?"));*/
// log.info("fileName比较path1:{}，{}",fileName,path1);
return path1;
}
}else {
//普通上传
PutObjectResult result = client.putObject(new PutObjectRequest(bucketName, path, newFile));
newFile.delete();
if (result != null) {
log.info("------OSS文件上传成功------" + path);
return path;
}
}
}
}
}
}catch (Exception e){
e.printStackTrace();
}
return null;
}
/**
* 上传图片至OSS 文件流
* 大文件，分片上传
* @param ossClient oss连接
* @param file 上传文件（文件全路径如：D:\\image\\cake.jpg）
* @param bucketName 桶名称
* @param folder 阿里云API的文件夹名称（父文件夹）
* @param format 阿里云API的文件夹名称（子文件夹）
* @param formats 文件名
* @return String 返回的唯一MD5数字签名
*/
public static String[] uploadObject2OSS(OSS ossClient, File file, String bucketName, String folder, String format, String formats) {
// 创建一个可重用固定线程数的线程池
ExecutorService executorService = Executors.newFixedThreadPool(5);
String[] resultArr = new String[2];
try {
// 分片上传
folder = folder + format;
// 文件名
String fileName = file.getName();
// 文件扩展名
String fileExtension = fileName.substring(fileName.lastIndexOf("."));
// 最终文件名：UUID + 文件扩展名
// fileName = formats + fileExtension;
// 上传路径 如：appversion/20200723/a3662009-897c-43ea-a6d8-466ab8310c6b.apk
// objectName表示上传文件到OSS时需要指定包含文件后缀在内的完整路径，例如abc/efg/123.jpg
String objectName = format;
log.info("上传到路径：" + format);
// 文件大小
long fileSize = file.length();
// 创建上传Object的Metadata
ObjectMetadata metadata = new ObjectMetadata();
// 指定该Object被下载时的网页的缓存行为
metadata.setCacheControl("no-cache");
// 指定该Object下设置Header
metadata.setHeader("Pragma", "no-cache");
// 指定该Object被下载时的内容编码格式
metadata.setContentEncoding("utf-8");
// 文件的MIME，定义文件的类型及网页编码，决定浏览器将以什么形式、什么编码读取文件。如果用户没有指定则根据Key或文件名的扩展名生成，
// 如果没有扩展名则填默认值application/octet-stream
metadata.setContentType(getContentType(fileExtension));
// 指定该Object被下载时的名称（指示MINME用户代理如何显示附加的文件，打开或下载，及文件名称）
metadata.setContentDisposition("filename/filesize=" + fileName + "/" + fileSize + "Byte.");
// 创建InitiateMultipartUploadRequest对象
InitiateMultipartUploadRequest request = new InitiateMultipartUploadRequest(bucketName, objectName, metadata);
// 初始化分片
InitiateMultipartUploadResult upresult = ossClient.initiateMultipartUpload(request);
// 返回uploadId，它是分片上传事件的唯一标识，您可以根据这个uploadId发起相关的操作，如取消分片上传、查询分片上传等
String uploadId = upresult.getUploadId();
// partETags是PartETag的集合。PartETag由分片的ETag和分片号组成
List<PartETag> partETags = Collections.synchronizedList(new ArrayList<>());
// 计算文件有多少个分片
final long partSize = 1 * 1024 * 1024L; // 1MB
long fileLength = file.length();
int partCount = (int) (fileLength / partSize);
if (fileLength % partSize != 0) {
partCount++;
}
if (partCount > 10000) {
throw new RuntimeException("分片总块数不能超过10000");
} else {
log.info("分片总块数：" + partCount);
}
// 遍历分片上传
for (int i = 0; i < partCount; i++) {
long startPos = i * partSize;
long curPartSize = (i + 1 == partCount) ? (fileLength - startPos) : partSize;
int partNumber = i + 1;
// 实现并启动线程
executorService.execute(new Runnable() {
@Override
public void run() {
InputStream inputStream = null;
try {
inputStream = new FileInputStream(file);
// 跳过已经上传的分片
inputStream.skip(startPos);
UploadPartRequest uploadPartRequest = new UploadPartRequest();
uploadPartRequest.setBucketName(bucketName);
uploadPartRequest.setKey(objectName);
uploadPartRequest.setUploadId(uploadId);
uploadPartRequest.setInputStream(inputStream);
// 设置分片大小。除了最后一个分片没有大小限制，其他的分片最小为100 KB。
uploadPartRequest.setPartSize(curPartSize);
// 设置分片号。每一个上传的分片都有一个分片号，取值范围是1~10000，如果超出这个范围，OSS将返回InvalidArgument的错误码。
uploadPartRequest.setPartNumber(partNumber);
// 每个分片不需要按顺序上传，甚至可以在不同客户端上传，OSS会按照分片号排序组成完整的文件。
UploadPartResult uploadPartResult = ossClient.uploadPart(uploadPartRequest);
//每次上传分片之后，OSS的返回结果会包含一个PartETag。PartETag将被保存到PartETags中。
synchronized (partETags) {
partETags.add(uploadPartResult.getPartETag());
}
} catch (IOException e) {
e.printStackTrace();
} finally {
if (inputStream != null) {
try {
inputStream.close();
} catch (IOException e) {
log.error(e.getMessage());
}
}
}
}
});
}
// 等待所有的分片完成
// shutdown方法：通知各个任务（Runnable）的运行结束
executorService.shutdown();
while (!executorService.isTerminated()) {
try {
// 指定的时间内所有的任务都结束的时候，返回true，反之返回false，返回false还有执行完的任务
executorService.awaitTermination(5, TimeUnit.SECONDS);
} catch (InterruptedException e) {
log.error(e.getMessage());
}
}
// 立即关闭所有执行中的线程
// executorService.shutdownNow();
// 验证是否所有的分片都完成
if (partETags.size() != partCount) {
throw new IllegalStateException("文件的某些部分上传失败！");
} else {
log.info("文件上传成功：" + file.getName());
}
// 完成分片上传 进行排序。partETags必须按分片号升序排列
Collections.sort(partETags, new Comparator<PartETag>() {
@Override
public int compare(PartETag o1, PartETag o2) {
return o1.getPartNumber() - o2.getPartNumber();
}
});
// 创建CompleteMultipartUploadRequest对象
// 在执行完成分片上传操作时，需要提供所有有效的partETags。OSS收到提交的partETags后，会逐一验证每个分片的有效性。当所有的数据分片验证通过后，OSS将把这些分片组合成一个完整的文件
CompleteMultipartUploadRequest completeMultipartUploadRequest = new CompleteMultipartUploadRequest(bucketName, objectName, uploadId, partETags);
// 设置文件访问权限
// completeMultipartUploadRequest.setObjectACL(CannedAccessControlList.PublicRead);
// 完成上传
CompleteMultipartUploadResult completeMultipartUploadResult = ossClient.completeMultipartUpload(completeMultipartUploadRequest);
if (completeMultipartUploadResult != null) {
// 解析结果
resultArr[0] = completeMultipartUploadResult.getETag();
resultArr[1] = objectName;
return resultArr;
}
} catch (Exception e) {
e.printStackTrace();
log.error("上传阿里云OSS服务器异常." + e.getMessage(), e);
} finally {
// 关闭OSSClient,由于我这里是直接导入的所以就不关闭
// ossClient.shutdown();
}
return null;
}
/**
* 通过文件名判断并获取OSS服务文件上传时文件的contentType
*
* @param fileExtension 文件名扩展名
* @return 文件的contentType
*/
public static String getContentType(String fileExtension) {
// 文件的后缀名
if (".bmp".equalsIgnoreCase(fileExtension)) {
return "image/bmp";
}
if (".gif".equalsIgnoreCase(fileExtension)) {
return "image/gif";
}
if (".jpeg".equalsIgnoreCase(fileExtension) || ".jpg".equalsIgnoreCase(fileExtension)
|| ".png".equalsIgnoreCase(fileExtension)) {
return "image/jpeg";
}
if (".html".equalsIgnoreCase(fileExtension)) {
return "text/html";
}
if (".txt".equalsIgnoreCase(fileExtension)) {
return "text/plain";
}
if (".vsd".equalsIgnoreCase(fileExtension)) {
return "application/vnd.visio";
}
if (".ppt".equalsIgnoreCase(fileExtension) || "pptx".equalsIgnoreCase(fileExtension)) {
return "application/vnd.ms-powerpoint";
}
if (".doc".equalsIgnoreCase(fileExtension) || "docx".equalsIgnoreCase(fileExtension)) {
return "application/msword";
}
if (".xml".equalsIgnoreCase(fileExtension)) {
return "text/xml";
}
if (".mp4".equalsIgnoreCase(fileExtension)) {
return "video/mp4";
}
// android
if (".apk".equalsIgnoreCase(fileExtension)) {
return "application/vnd.android.package-archive";
}
// ios
if (".ipa".equals(fileExtension)) {
return "application/vnd.iphone";
}
// 默认返回类型
return "application/octet-stream";
}
}
2. 结果如下：
12:09:16.416 [http-nio-8080-exec-72] INFO c.r.w.c.u.o.OssUploadServiceImpl - [upload,86] - fileName====1664165356416.apk
12:09:16.417 [http-nio-8080-exec-72] INFO c.r.w.c.u.o.OssUploadServiceImpl - [uploadObject2OSS,157] - 上传到路径：upload/other/2022/09/26/1664165356416.apk
12:09:19.561 [http-nio-8080-exec-72] INFO c.r.w.c.u.o.OssUploadServiceImpl - [uploadObject2OSS,191] - 分片总块数：89
12:11:53.918 [http-nio-8080-exec-72] INFO c.r.w.c.u.o.OssUploadServiceImpl - [uploadObject2OSS,255] - 文件上传成功：GOOVISD4Launcher_debug_v1.0.0_20220923135414 - 副本.apk
总结
100m以内大概在5分钟内完成，700m以内可能要10-20分钟内完成。
290
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
