Java POI 打开大文件慢的优化方法?-灵析社区

七安前

Java POI 打开大文件时太慢了有没有优化的办法 打开一个大文件要很久,有没有优化的办法

阅读量:20

点赞量:0

问AI
一般这种可以通过并发来解决读取缓慢的问题 或者换个其他组件"(推荐)" 解决方案一:xlsx-streamer 采用分段缓存的方式加载数据到内存中,此种方式在创建Workbook对象时借助xlsx-streamer(StreamingReader) 来创建一个缓冲区域批量地读取文件 ,因此不会将整个文件实例化到对象当中 引入依赖: org.apache.poi poi-ooxml ${poi.version} com.monitorjbl xlsx-streamer 2.1.0 示例代码: /** * 大批量数据读取 十万级以上 * 思路:采用分段缓存加载数据,防止出现OOM的情况 * * @param file * @throws Exception */ public static void readLagerExcel(File file) throws Exception { InputStream inputStream = new FileInputStream(file); long start = System.currentTimeMillis(); try (Workbook workbook = StreamingReader.builder() .rowCacheSize(10 * 10) //缓存到内存中的行数,默认是10 .bufferSize(1024 * 4) //读取资源时,缓存到内存的字节大小,默认是1024 .open(inputStream)) { //打开资源,可以是InputStream或者是File,注意:只能打开.xlsx格式的文件 Sheet sheet = workbook.getSheetAt(0); log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start); //遍历所有的行 for (Row row : sheet) { System.out.println("开始遍历第" + row.getRowNum() + "行数据:"); //遍历所有的列 for (Cell cell : row) { System.out.print(cell.getStringCellValue() + " "); } System.out.println(" "); } //总数 System.out.println("读取结束行数:" + sheet.getLastRowNum()); } } 加载数据效果 40万级别数据近花费5.4秒 解决方案二:EasyExcel 使用EasyExcel解决大文件Excel内存溢出的问题,基于POI进行封装优化,可以在不考虑性能、内存的等因素的情况下,快速完成Excel的读、写等功能。 官网: https://easyexcel.opensource.alibaba.com/ github:https://github.com/alibaba/easyexcel 引入依赖 com.alibaba easyexcel 3.1.0 示例代码 仅做简单读取示例,详细文档api可参考:读Excel|EasyExcel /** * EasyExcel方式读取excel * * 读取并封装为对象 * * @param file */ public static void readExcelByEasyExcel(File file) { long start = System.currentTimeMillis(); List excelDataList = EasyExcel.read(file).head(ExcelData.class).sheet(0).doReadSync(); excelDataList.stream().forEach(x -> System.out.println(x.toString())); log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start); } /** * EasyExcel方式读取excel * * 不指定head类 * * @param file */ public static void readExcelByEasyExcel1(File file) { long start = System.currentTimeMillis(); List> listMap = EasyExcel.read(file).sheet(0).doReadSync(); listMap.stream().forEach(x -> System.out.println(JSON.toJSONString(x))); log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start); }