合理使用导出csv、excel方式

合理使用导出csv、excel方式

  • 结果集不大,并且格式固定,可用poi、jxl等方式
  • 结果集无法估算大小,甚至有可能导致程序内存溢出,建议就直接用流的方式。将数据分页查询,再一页一页的写进流里,例子如下:

使用的jar包:

<dependency>
    <groupId>net.sf.opencsv</groupId>
    <artifactId>opencsv</artifactId>
    <version>2.3</version>
</dependency>

通用cvs导出方法
相关代码段:

/**
     * 输出CSV
     * @param response
     * @param pageInfo 分页参数
     * @param manager manager实例
     * @param methodName manager对应方法
     * @param cols 列名
     * @throws IOException
     */
    protected void writeCSV(HttpServletResponse response, PageInfo pageInfo, Object manager, String methodName, List<String[]> cols) throws IOException {
        try {
            response.setContentType("application/octet-stream");
            response.setCharacterEncoding("GBK");
            CSVWriter csvWriter = new CSVWriter(response.getWriter(), ',');

            Class cla = manager.getClass();
            Method m = cla.getDeclaredMethod(methodName, PageInfo.class);

            // 查出总记录数、列名
            int pageSize = pageInfo.getPageSize(); // 分页大小
            pageInfo.setPageNumber(1);
            pageInfo.setPageSize(1);
            Page page = (Page) m.invoke(manager, pageInfo);
            int totalNum = page.getTotalNumberOfElements(); // 总记录
            int lastPageNum = totalNum / pageSize +1; // 页数

            // 写列名到输出流 
            List<Object> objects = (List<Object>) page.getThisPageElements();
            if(null == objects || objects.size() < 1){
                return;
            }
            // 如果没有传入列名 默认用字段名
            if (cols == null) {
                cols = new ArrayList<String[]>();
                String[] strs = ObjectUtils.getFiledName(objects.get(0));
                cols.add(strs);
            } 
            csvWriter.writeAll(cols);

            // 将i页的记录写到输出流
            pageInfo.setPageSize(pageSize);
            List<String[]> strs = new ArrayList<String[]>();
            for (int i = 1; i <= lastPageNum; i++) {
                pageInfo.setPageNumber(i);
                page = (Page) m.invoke(manager, pageInfo);
                List<Object> objs = (List<Object>) page.getThisPageElements();
                strs = ObjectUtils.listObj2Strs(objs);
                csvWriter.writeAll(strs);
            }

            // 关闭输出流
            csvWriter.flush();
            csvWriter.close();
        } catch (Exception e) {
            log.error(e);
        }
    }

输出的csv:

idpkeypvaluedescription
402828c44105be98014105c2f8ab0002test1test2测试
ff8080814830f0af0148340d662c4fd2test1test2测试
ff80808147812b9c014781a6af952557test1test2测试
ff8080814834bd24014837070fdd32cftest1test2测试
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Java中进行大批量导出Excel时,可能会遇到内存溢出的问题。这是因为Excel文件通常占用较大的内存空间,当数据量较大时,可能会超过JVM所分配的内存限制。 为了解决这个问题,可以采取以下几种方法: 1. 分批次导出:将要导出的数据分成多个批次进行导出,每次导出一部分数据,以减少内存占用。可以根据数据的大小和服务器的内存情况来确定每个批次的大小。 2. 使用XSSFWorkbook替代HSSFWorkbook:HSSFWorkbook是用于处理Excel 97-2003格式的库,而XSSFWorkbook则是处理Excel 2007及更高版本的库。后者的内存占用要比前者低,因此可以考虑将工作簿对象由HSSFWorkbook替换为XSSFWorkbook。 3. 使用SXSSFWorkbook:SXSSFWorkbook是Apache POI提供的一种特殊的工作簿对象,它可以将数据直接写入磁盘而不是内存,从而大大降低内存占用。使用SXSSFWorkbook需要注意的是,导出Excel文件不能被随机访问,只能顺序读取。 4. 增加JVM内存限制:可以通过增加JVM的堆内存限制来解决内存溢出问题。可以通过修改JVM启动参数中的-Xmx和-Xms来增加堆内存限制。但是这种方法需要根据服务器的硬件资源和其他应用的内存需求进行合理的配置和调优。 5. 使用CSV格式代替Excel:如果Excel格式并不是必须要求,可以考虑将数据导出CSV格式。CSV格式的文件较小,占用较少的内存,并且可以直接用文本编辑器打开和编辑。 以上是解决Java大批量导出Excel内存溢出问题的几种方法,可以根据具体情况选择适合的方法进行解决。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值