mybatis使用流式查询避免查询大批量数据导致OOM内存溢出
ztj100 2025-01-08 18:45 17 浏览 0 评论
Mybatis提供了一般查询和流式查询模式，先说一下怎么配置
1、一般查询
2、流式查询
测试场景
mysql中循环插入100,000条数据
IDEA运行时堆内存设置为初始分配堆内存20m，最大堆内存30m。如下
先使用一般查询测试：
可以发现这里GC占用大量时间为了释放很小的空间，这是一种保护机制。由于堆内存太小，导致需要频繁的GC垃圾回收。官方给出的解释：超过98%的时间用来做GC并且回收了不到2%的堆内存时抛出的异常。
大概意思就是Mybatis一次性将所有的数据查出，放到当前JVM的堆内存中，堆内存不够用了
再来看看流式查询是什么结果
OK，程序运行正常，没有发生OOM。
可见大批量数据用流式查询确实能防止OOM的发生
但是，原理是什么呢？
可以看到Mapper文件中配置参数有一个
resultSetType="FORWARD_ONLY"我们在访问数据库的时候，在读取返回结果的时候，可能要前后移动指针，比如我们先计算有多少条信息，这是我们就需要把指针移到最后来计算，然后再把指针移到最前面，逐条读取，有时我们只需要逐条读取就可以了。还有就是有只我们只需要读取数据，为了不破坏数据，我们可采用只读模式，有时我们需要望数据库里添加记录，这是我们就要采用可更新数据库的模式。
对于DB层，三种查询模式的参数如下所示
ResultSet.TYPE_FORWORD_ONLY 结果集的游标只能向下滚动。
ResultSet. TYPE_SCROLL_INSENSITIVE 结果集的游标可以上下移动，当数据库变化时，当前结果集不变。
ResultSet.TYPE_SCROLL_SENSITIVE 返回可滚动的结果集，当数据库变化时，当前结果集同步改变。
相关推荐
- Whoosh，纯python编写轻量级搜索工具
-
引言在许多应用程序中，搜索功能是至关重要的。Whoosh是一个纯Python编写的轻量级搜索引擎库，可以帮助我们快速构建搜索功能。无论是在网站、博客还是本地应用程序中，Whoosh都能提供高效的全文搜...
- 如何用Python实现二分搜索算法（python二分法查找代码）
-
如何用Python实现二分搜索算法二分搜索（BinarySearch）是一种高效的查找算法，适用于在有序数组中快速定位目标值。其核心思想是通过不断缩小搜索范围，每次将问题规模减半，时间复杂度为(O...
- 路径扫描 -- dirsearch（路径查找器怎么使用）
-
外表干净是尊重别人，内心干净是尊重自己，干净，在今天这个时代，应该是一种极高的赞美和珍贵。。。----网易云热评一、软件介绍Dirsearch是一种命令行工具，可以强制获取web服务器中的目录和文件...
- 78行Python代码帮你复现微信撤回消息!
-
来源：悟空智能科技本文约700字，建议阅读5分钟。本文基于python的微信开源库itchat，教你如何收集私聊撤回的信息。...
- 从零开始学习 Python!2《进阶知识》 Python进阶之路
-
欢迎来到Python学习的进阶篇章！如果你说已经掌握了基础语法，那么这篇就是你开启高手之路的大门。我们将一起探讨面向对象编程...
- 白帽黑客如何通过dirsearch脚本工具扫描和收集网站敏感文件
-
一、背景介绍...
- Python之txt数据预定替换word预定义定位标记生成word报告(四)
-
续接Python之txt数据预定替换word预定义定位标记生成word报告（一）https://mp.toutiao.com/profile_v4/graphic/preview?pgc_id=748...
- Python——字符串和正则表达式中的反斜杠('\')问题详解
-
在本篇文章里小编给大家整理的是关于Python字符串和正则表达式中的反斜杠('\')问题以及相关知识点，有需要的朋友们可以学习下。在Python普通字符串中在Python中，我们用'\'来转义某些普通...
- Python re模块:正则表达式综合指南
-
Python...
- python之re模块（python re模块sub）
-
re模块一.re模块的介绍1.什么是正则表达式"定义:正则表达式是一种对字符和特殊字符操作的一种逻辑公式，从特定的字符中，用正则表达字符来过滤的逻辑。(也是一种文本模式；)2、正则表达式可以帮助我们...
- MySQL、PostgreSQL、SQL Server 数据库导入导出实操全解
-
在数字化时代，数据是关键资产，数据库的导入导出操作则是连接数据与应用场景的桥梁。以下是常见数据库导入导出的实用方法及代码，包含更多细节和特殊情况处理，助你应对各种实际场景。一、MySQL数据库...
- Zabbix监控系统系列之六:监控 mysql
-
zabbix监控mysql1、监控规划在创建监控项之前要尽量考虑清楚要监控什么，怎么监控，监控数据如何存储，监控数据如何展现，如何处理报警等。要进行监控的系统规划需要对Zabbix很了解，这里只是...
- mysql系列之一文详解Navicat工具的使用(二)
-
本章内容是系列内容的第二部分，主要介绍Navicat工具的使用。若查看第一部分请见：...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- Whoosh，纯python编写轻量级搜索工具
- 如何用Python实现二分搜索算法（python二分法查找代码）
- 路径扫描 -- dirsearch（路径查找器怎么使用）
- 78行Python代码帮你复现微信撤回消息!
- 从零开始学习 Python!2《进阶知识》 Python进阶之路
- 白帽黑客如何通过dirsearch脚本工具扫描和收集网站敏感文件
- Python之txt数据预定替换word预定义定位标记生成word报告(四)
- 假期苦短，我用Python!这有个自动回复拜年信息的小程序
- Python——字符串和正则表达式中的反斜杠('\')问题详解
- Python re模块:正则表达式综合指南
- 标签列表
-
- idea eval reset (50)
- vue dispatch (70)
- update canceled (42)
- order by asc (53)
- spring gateway (67)
- 简单代码编程 贪吃蛇 (40)
- transforms.resize (33)
- redisson trylock (35)
- 卸载node (35)
- np.reshape (33)
- torch.arange (34)
- node卸载 (33)
- npm 源 (35)
- vue3 deep (35)
- win10 ssh (35)
- exceptionininitializererror (33)
- vue foreach (34)
- idea设置编码为utf8 (35)
- vue 数组添加元素 (34)
- std find (34)
- tablefield注解用途 (35)
- python str转json (34)
- java websocket客户端 (34)
- tensor.view (34)
- java jackson (34)