多文件上传、excel多文件导入(大量数据)

问题:多个excel文件导入(上传)


思路:由于文件选择只能单个文件选择,那么可以将excel文件一个一个上传到本地或服务器,将路径保存至数据库中,后台使用队列进行操作,即上传第一个文件时便在后台开启一条线程,注意是只开启一条如果多条会导致死锁等各种问题,开启线程后,将陆续上传的文件加入队列中,只要队列中有数据就不结束线程,直到队列中的数据全部执行完也就是前端上传的文件全部导入到数据库中就结束线程。前端提供进度条。即能上传大量数据又不影响前端页面的操作,只需查看进度条即可知道数据上传量。

效果图片:



后台实现代码:

1、将上传的文件一个个加入队列中

首先将所有上传文件存到本地或者服务器,将路径存储到数据库

String filePath = fileService.upload(FileInfo.FileType.file, file, true, null);
ImportLog importLog = importLogService.putDownTask(total, file.getOriginalFilename(), filePath);
importSubject.addTask(importLog);


再讲一个个存到数据库中的文件路径放到队列中。addTask();方法如下

@Resource(name = "productImportSubscriber")
private ImportSubscriber importSubscriber;
@Resource(name = "taskExecutor")
private ThreadPoolTaskExecutor threadPool;


@Resource(name = "importEvent")
private ImportEvent importEvent;

public void addTask(ImportLog importLog) {
    importSubscriber.add(importLog);
    if (!importEvent.isRunning()) {
        threadPool.execute(new Runnable() {
            @Override
            public void run() {
                importSubscriber.start();
            }
        });
    }
}
判断isRunning是否在启动,所有每次只有一个文件在导入,并不会出现其他资源争抢的情况。

/**
 * 观察者接口
 */
public interface ImportSubscriber {

    Boolean start();

    void add(ImportLog importLog);
}
 
实现ImportSubscriber接口:
 
public static Queue<ImportLog> queue = new LinkedList<>();
 
 
@Override
public Boolean start() {
    importData();//此处就可以处理不同系统的业务逻辑,比如导入数据
    return true;
}

@Override
public void add(ImportLog importLog) {
    queue.add(importLog);
}
到这里多文件导入就结束了,从全局看,这种方式只是比较巧妙了运用了队列。比如如果你要导入一个excel文件,有100W+的数据,那么前端
会非常慢,导致那个页面除了一直导入以外什么事也做不了,那么用户体验就非常差,而这里是先将文件存储起来,
在后台慢慢执行,而前端只是给了一个进度条,可以告知用户什么时候能导入完。

  • 1
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值