©2020-2024 ioDraw All rights reserved,
Privacy Policy
<>前言
流式查询指的是查询成功后不是返回一个集合，而是返回一个迭代器，应用每次从迭代器取一条查询结果。流式查询的好处是能降低内存的使用。
如果没有使用流式查询，我们想要从数据库取1000万条记录而又没有足够的内存时，就不得不分页查询，而分页查询效率取决于表设计，如果设计得不好是，就无法高效的分页查询。因此流式查询是一个数据库访问框架必须具备的功能。
流式查询的过程当中，数据库连接是保持打开状态的，因此要注意的是：执行一个流式查询后，数据库访问框架就不负责关闭数据库连接了，需要应用在取完数据后自己关闭。
SpringBoot中应用
* UserMapper /** * 流式查询所有user * @return 返回的类型是游标类型 *
当查询百万级的数据的时候，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理。 */ Cursor<User>
selectAll2(); //返回的是游标对象类型
* UserMapper.xml
在Mapper映射文件的标签中加入fetchSize=100
。因为mybatis默认是把所有数据全部查询出后返回，这样容易造成OOM问题(内存溢出)，这时，我们设置一下fetchSize，设置每次查询出多少条数据，之后再执行next方法，读取下一批数据，这样每次查询出来一点，就处理一点，就不容易造成OOM问题了。
<!--加上fetchSize--> <select id="selectAll2" resultType="
com.age.batch.batchuser.entity.User" fetchSize="100"> select
id,username,age,sex,address from user</select>
* UserService /** * 流式查询所有user * @return */ Cursor<User> selectAdd2();
* UserServiceImpl /** * 流式查询所有user * @return */ @Override public Cursor<User>
selectAdd2() { return userMapper.selectAll2(); }
* controller @ApiOperation("流式查询所有user，测试查询时间") @GetMapping("/selectall2")
@Transactional
//注意要使用@Transactional注解来维持数据库连接，否则当recordMapper查询结束后数据库连接就会断开，Cursor就取不到数据了
public void selectAll2(){ Cursor<User> users = userService.selectAdd2(); users.
forEach(user -> System.out.println(user)); }
5000条数据，普通查询下的耗时为1366毫秒，流式查询下的耗时为76毫秒