一般这种可以通过并发来解决读取缓慢的问题
或者换个其他组件"(推荐)"
解决方案一:xlsx-streamer
采用分段缓存的方式加载数据到内存中,此种方式在创建Workbook对象时借助xlsx-streamer(StreamingReader)
来创建一个缓冲区域批量地读取文件 ,因此不会将整个文件实例化到对象当中
引入依赖:
org.apache.poi
poi-ooxml
${poi.version}
com.monitorjbl
xlsx-streamer
2.1.0
示例代码:
/**
* 大批量数据读取 十万级以上
* 思路:采用分段缓存加载数据,防止出现OOM的情况
*
* @param file
* @throws Exception
*/
public static void readLagerExcel(File file) throws Exception {
InputStream inputStream = new FileInputStream(file);
long start = System.currentTimeMillis();
try (Workbook workbook = StreamingReader.builder()
.rowCacheSize(10 * 10) //缓存到内存中的行数,默认是10
.bufferSize(1024 * 4) //读取资源时,缓存到内存的字节大小,默认是1024
.open(inputStream)) { //打开资源,可以是InputStream或者是File,注意:只能打开.xlsx格式的文件
Sheet sheet = workbook.getSheetAt(0);
log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start);
//遍历所有的行
for (Row row : sheet) {
System.out.println("开始遍历第" + row.getRowNum() + "行数据:");
//遍历所有的列
for (Cell cell : row) {
System.out.print(cell.getStringCellValue() + " ");
}
System.out.println(" ");
}
//总数
System.out.println("读取结束行数:" + sheet.getLastRowNum());
}
}
加载数据效果
40万级别数据近花费5.4秒
解决方案二:EasyExcel
使用EasyExcel解决大文件Excel内存溢出的问题,基于POI进行封装优化,可以在不考虑性能、内存的等因素的情况下,快速完成Excel的读、写等功能。
官网: https://easyexcel.opensource.alibaba.com/
github:https://github.com/alibaba/easyexcel
引入依赖
com.alibaba
easyexcel
3.1.0
示例代码
仅做简单读取示例,详细文档api可参考:读Excel|EasyExcel
/**
* EasyExcel方式读取excel
*
* 读取并封装为对象
*
* @param file
*/
public static void readExcelByEasyExcel(File file) {
long start = System.currentTimeMillis();
List excelDataList = EasyExcel.read(file).head(ExcelData.class).sheet(0).doReadSync();
excelDataList.stream().forEach(x -> System.out.println(x.toString()));
log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start);
}
/**
* EasyExcel方式读取excel
*
* 不指定head类
*
* @param file
*/
public static void readExcelByEasyExcel1(File file) {
long start = System.currentTimeMillis();
List> listMap = EasyExcel.read(file).sheet(0).doReadSync();
listMap.stream().forEach(x -> System.out.println(JSON.toJSONString(x)));
log.info("==读取excel完毕,耗时:{}毫秒,", System.currentTimeMillis() - start);
}