JAVA使用POI如何导出百万级别数据

经常使用Excel的人应该都能知道excel2007及以上版本可以轻松实现存储百万级别的数据，但是系统中的大量数据如何能够快速准确的导入到excel中这好像是个难题，对于一般的web系统，我们为了解决成本，基本都是使用的入门级web服务器tomcat，jdk在32为系统中支持的内存不能超过2个G，但是在64为中没有限制，但是在64位的系统中，性能并不是太好，所以为了解决上诉问题，我们要针对我们的代码来解决我们要解决的问题，在POI3.8之后新增加了一个类，SXSSFWorkbook，它可以控制excel数据占用的内存，他通过控制在内存中的行数来实现资源管理，当超过了设定的行数，他会自动刷新内存，将数据写如文件。但有人会说了，我用过这个类啊，他好像并不能完全解决，当数据量超过一定后还是会内存溢出的，而且时间还很长。对你只是用了这个类，但是你并没有针对你的需求进行相应的设计，仅仅是用了，所以接下来我要说的问题就是，如果通过SXSSFWorkbook以及相应的写入设计来实现百万级别的数据快速写入。

我先举个例子，以前我们数据库中存在大量的数据，我们要查询，怎么办？我们在没有经过设计的时候是这样来处理的，写一个集合，然后执行jdbc，将返回的结果赋值给list，然后在返回到页面上，但是当数据量大的时候，会出现数据无法返回，内存溢出的情况，于是我们在有限的时间和空间下，通过分页将数据一页一页的显示出来，这样可以避免了大数据量数据对内存的占用，也提高了用户的体验性，在我们要导出的百万数据也是一个道理，内存突发性占用，我们可以限制导出数据所占用的内存，我们建立一个容器，这个容器是一个list，list中开辟10000行的存储空间，每次存储10000行，用完了将内容清空，然后重复利用，这样就可以有效控制内存，所以我们的设计思路就基本形成了，所以分页数据导出共有以下3个步骤：

求数据库中待导出数据的行数根据行数求数据提取次数按次数将数据写入文件

通过以上步骤在效率和用户体验性上都有了很高的提高，接下来上代码

[java]  view plain  copy

 

1. public void exportAmountExcelData(ValueDataDto valueDataDto,  
2.         String path) throws IOException {  
3.     SXSSFWorkbook wb = new SXSSFWorkbook(15);  
4.     Sheet sh = wb.createSheet();  
5.     Row row = sh.createRow(0);  
6.     // --------------------------------------------------  
7.     Cell cel0 = row.createCell(0);  
8.     cel0.setCellValue("1");  
9.     Cell cel2 = row.createCell(1);  
10.     cel2.setCellValue("2");  
11.     Cell cel3 = row.createCell(2);  
12.     cel3.setCellValue("3");  
13.     Cell cel4 = row.createCell(3);  
14.        
15.     // ------------------定义表头----------------------------------------  
16.     List<valuedatabean> list = new ArrayList<valuedatabean>();  
17.     int page_size = 10000;// 数据库中存储的数据行数  
18.     int list_count = this.daoUtils.queryListCount(this.valueDataDao  
19.             .queryExportSQL(valueDataDto).get("count_sql"));  
20.     int export_times = list_count % page_size > 0 ? list_count / page_size  
21.             + 1 : list_count / page_size;  
22.     for (int j = 0; j < export_times; j++) {  
23.         list = this.valueDataDao.queryPageList(this.valueDataDao  
24.                 .queryExportSQL(valueDataDto).get("list_sql"), j + 1,  
25.                 page_size);  
26.         int len = list.size() < page_size ? list.size() : page_size;  
27.         for (int i = 0; i < len; i++) {  
28.             Row row_value = sh.createRow(j * page_size + i + 1);  
29.             Cell cel0_value = row_value.createCell(0);  
30.             cel0_value.setCellValue(list.get(i).getaa());  
31.             Cell cel2_value = row_value.createCell(1);  
32.             cel2_value.setCellValue(list.get(i).getaa());  
33.             Cell cel3_value = row_value.createCell(2);  
34.             cel3_value.setCellValue(list.get(i).getaa_person());  
35.         }  
36.         list.clear();  
37.     }  
38.    
39.     FileOutputStream fileOut = new FileOutputStream(path);  
40.     wb.write(fileOut);  
41.     fileOut.close();  
42.     wb.dispose();  
43. }</valuedatabean></valuedatabean>