MybatisPlus查询百万数据的内存占用问题?-灵析社区

小飞侠007

我在表里添加了500W的测试数据,表中数据如下 ![image.png](https://wmprod.oss-cn-shanghai.aliyuncs.com/images/20241125/41cfff4273d6b7aa8381bcef5bbce355.png) 一次性读取 500w 数据到 JVM 内存中 必然会造成OOM现象,所以我分别试验了2个读取百万数据的方式,并用Junit分析内存占用 1. 分页多次查询,并进行深度分页优化 @Test void testPage(){ //查询出表中总记录数 Long total = orderMapper.selectCount(null); //每次分页读取的结果数 int fetchSize = 100000; // 分页优化参数,上次查询的最大ID int lastMaxId = 0; for (int i = 0; i orderLambdaQueryWrapper = new LambdaQueryWrapper(); orderLambdaQueryWrapper.gt(Order::getOrderId, lastMaxId); List records = orderMapper.selectPage(new Page(1, fetchSize), orderLambdaQueryWrapper).getRecords(); records.stream().forEach(System.out::println); //获取本次最大的Id lastMaxId = records.get(records.size() - 1).getOrderId(); } } ![image.png](https://wmprod.oss-cn-shanghai.aliyuncs.com/images/20241125/960b4723c7c7796e38512faa89f0582b.png) 2. Mybatis的流式查询 @Test void testStream() { orderMapper.selectList(Wrappers.emptyWrapper(), resultContext -> { // 依次得到每条业务记录 System.out.println("当前处理第" + resultContext.getResultCount() + "条记录."); Object order = resultContext.getResultObject(); System.out.println(order); //做自己的业务处理,比如分发任务 }); } ![image.png](https://wmprod.oss-cn-shanghai.aliyuncs.com/images/20241125/8cb43914a1637230b2dd0e8af8baa607.png) 我从网上看了许多博客,说流式查询可以很好避免OOM问题。 但是为什么在分析堆内存占用中,反而是 多次分页查询的内存占用更小,平均只有400MB 而流式查询却能高达平均1GB的占用? > > 关于如何开启流式查询是参考的MybatisPlus官网,MybatisPlus版本是也最新的。[https://baomidou.com/pages/1922u2/](https://link.segmentfault.com/?enc=HfCA4OwGKsgEPO85IcCWLA%3D%3D.RukAgmXhqHctfv9iSswumgaajs20fAqWApiCgHe4saFWwg8ezf7inhDp65Q%2B7L6v)

阅读量:16

点赞量:0

问AI
因为流式查询也不是一条一条的流,而是一次获取一批数据,处理完了再获取下一批 原理和分页类似但是效率比分页高,因为分页需要‘跳过’前面的记录,而流不需要 如果需要优化的话,找到 fetch size 之类的东西配小一点就行