IoTDB中setFetchSize分析

最新推荐文章于 2024-04-11 01:14:38 发布
最新推荐文章于 2024-04-11 01:14:38 发布
阅读量1k 收藏 1
点赞数
分类专栏： DB 物联网数据库IoTDB 文章标签： setFetchSize
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zjy660358/article/details/111250359
版权

测试环境

OS：win7

version：iotdb-0.10.1

 

情景1、50w条数据3个测量点

 

setFetchSize为20

 

setFetchSize为200

 

setFetchSize为2000

 

setFetchSize为10000（默认值）

 

setFetchSize为20000

 

情景2、100w条数据3个测量点

 

setFetchSize为20

 

setFetchSize为200

 

setFetchSize为2000

 

setFetchSize为10000（默认值）

 

setFetchSize为20000

 

情景3、5w条数据3个测量点

 

setFetchSize为20

 

setFetchSize为200

 

setFetchSize为2000

 

setFetchSize为10000

 

总结

fetchsize存放查询的数据的一个缓冲区，client和server二边都有
默认这块内存区域存放10000条数据，当从服务器查完往客户端传送时，每次传送10000条数据

情景3,总数据量5w，setFetchSize几种情况都差不多，也只有数据量大的时候，硬件条件比较好的时候，直接用默认，在硬件条件较差时候，1000也够用了

树欲静而风不止
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
JBOSS连接池调优—合理的设置fetchsize
01-16 1587
1. 什么是fetchsize？ 1.1 Oracle中的fetchsize 先来简单解释一下，当我们执行一个SQL查询语句的时候，需要在客户端和服务器端都打开一个游标，并且分别申请一块内存空间，作为存放查询的数据的一个缓冲区。这块内存区，存放多少条数据就由fetchsize来决定，同时每次网络包会传送fetchsize条记录到客户端。应该很容易理解，如果fetchsize设...
JDBC基础-setFetchSize方法
保持学习、思考和实践
06-11 1052
Tags：JDBC   在Statement和ResultSet接口中都有setFetchSize方法 void setFetchSize(int rows)                   throws SQLException 查看API文档 Statement接口中是这样解释的： 为 JDBC 驱动程序提供一个提示，它提示此 Statement 生成的 ResultS...
通过setFetchSize解决jdbc查询性能问题，附面试答案
最新发布
2401_84102653的博客
04-11 408
分享一些资料给大家，我觉得这些都是很有用的东西，大家也可以跟着来学习，查漏补缺。《Java高级面试》《Java高级架构知识》《算法知识》一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
PostgreSQL JDBC 源码分析之fetchSize
臭脚大仙
12-18 6657
JDBC的statement对象，有一个setFetchSize方法，参数是一个int值，其作用是，执行查询时，一次从服务器端拿多少行的数据到本地jdbc客户端这里来 还有一个方法:setMaxRows，这个方法，作用是JDBC最多返回多少行数据给调用者。举个例子： 一个表，有100行数据，sql语句为select * from table，fetchsize设置为20，maxrows设置为5
正确使用MySQL JDBC setFetchSize()方法解决JDBC处理大结果集 java.lang.OutOfMemoryEr
张伟的专栏
09-26 2129
MYSQL JDBC快速查询响应的方法，快速返回机制的实现 一直很纠结，Oracle的快速返回机制，虽然结果集很多，可是它能很快的显示第一个结果，虽然通过MYSQl的客户端可以做到，但是通过JDBC却不行。 今天用了1个多小时，终于搞定此问题，希望对广大Java朋友在处理数据库时有个参考。 来由：     通过命令行客户端加上-q参数，可以极快的响应一个查询
MySQL内核分析之setFetchSize特性
数据库技术
10-11 998
1、处理流程： 2、标记位 单批次返回时，如果数据集合很大，就需要多次返回，中间采用标记位 SERVER_MORE_RESULTS_EXISTS 从命令COM_STMT_EXECUTE切换到COM_STMT_FETCH需要设置标记位：SERVER_STATUS_CURSOR_EXISTS fetch命令字，最后一批次数据发送，需要设置标记位：SERVER_STATUS_LAST_ROW_SENT 3、验证代码： package com.sql; import java.sql.*; public c
java中ResultSet遍历数据操作
08-18
在 Java 中，我们可以使用 setFetchSize() 方法来设置 ResultSet 的 fetchSize 属性，这可以提高性能。但是，如果 fetchSize 不能被 count 整除时，在取最后一片数据时，rs.next() 也会执行很长时间。 例如： ```...
Spring中DAO被循环调用的时候数据不实时更新的解决方法
09-04
可以使用Spring的`JdbcTemplate`提供的`setFetchSize(1)`或者`Statement.setFetchSize(1)`来避免这种情况，或者使用`DateUtils`包中的`clearCache()`方法来清理查询缓存。 4. **调整事务隔离级别**： 虽然这不是最...
hibernate中实现真分页和假分页技术
07-13
results.setFetchSize(pageSize); results.position((pageNumber - 1) * pageSize); // 跳过前几页 List<User> userList = new ArrayList(pageSize); while (results.next()) { userList.add((User) results.get(0)...
JDBC连接优化
08-27
参数名称 外部配置建议值 上限 下限 默认值 描述各指标设计
通过setFetchSize解决jdbc查询性能问题
wx的博客
08-24 2501
记通过setFetchSize解决性能问题的方式题问题回顾原理探究 问题回顾 问题是这样的，这两天有个项目一直在实施阶段，然后项目上就反馈说，啊，你们东西怎么这么慢啊，这才刚开始啊…然后我就开始了排查： 通过logger记录的日志的各个阶段的耗时来看，目前性能瓶颈主要体现在JdbcTemplate.query上了 常规手段，先确认物理表中的数据量+查询语句+查询数据量+索引 确认了一圈，物理表里一共1.4W条记录，本次查询8200多条记录，一共耗时2.5秒左右 这就很离谱了，因为我们是内网环境重现问题，网
JDBC中的setFetchSize()
ZERO
05-20 9183
转载自：http://blog.csdn.net/seven_3306/article/details/9303879 在使用MySQL的JDBC时，如果查询结果集过大，使用一次查询，可能会出现Java.lang.OutOfMemoryError: Java heap space问题，因为DB服务器端一次将查询到的结果集全部发送到Java端保存在内存中而造成OOM。 MySQL JDB
jdbc setFetchSize 原来是
Talk Is Cheap
08-27 2123
setFetchSize的意 思是当调用rs.next时，ResultSet会一次性从服务器上取得多少行数据回来，这样在下次rs.next时，它可以直接从内存中获取出数据而不 需要网络交互，提高了效率。 这个设置可能会被某些JDBC驱动忽略的，而且设置过大也会造成内存的上升。
客户端数据接收方式setFetchSize
数据库技术
08-03 541
默认为从服务器一次取出所有数据放在客户端内存中，fetch size参数不起作用，当一条SQL返回数据量较大时可能会出现JVM OOM。 要一条SQL从服务器读取大量数据，不发生JVM OOM，可以采用以下方法之一： 1、当statement设置以下属性时，采用的是流数据接收方式，每次只从服务器接收部份数据，直到所有数据处理完毕，不会发生JVM OOM。 setResultSetType(ResultSet.TYPE_FORWARD_ONLY); setFetchSize(Int
JDBC setFetchSize原理
Fnlo的博客
05-27 1734
JDBC setFetchSize(int) ​ 以下研究基于pgjdbc42.2.5源码进行分析，对于JDBC的基本原理相通。 fetch是什么 ​ 对于数据库查询返回的结果集，有两种方式，一种是包含所有行的，另一种是游标(cursor)类型的结果集，用来被检索行，可以一次读取该查询结果的一些行，这样做的原因之一是包含大量行时避免内存不足。 ​ 对cursor的使用，可以通过fetch命令从游标中检索下一(N)行到目标中。 ​ 例如： FETCH cursor1 INTO rowvar; FETC
为单行查询设置JDBC Statement.setFetchSize()为1的方法指南
JAVAQXQ的博客
07-30 563
优化是一种棘手的野兽。有些事情在推理时似乎很有意义，但在实际测量中，看似更优化的事情实际上更糟糕，或者不相关。在这个案例中，一开始，我们似乎应该提示JDBC驱动我们只获取1行的意图。我不知道为什么JDBC驱动程序的表现比我不提示它的时候更差。也许它分配的缓冲区太小，不得不增加，而不是分配的缓冲区太大，但足够大。我过去也做过类似的基准测试，试图"优化"ArrayList或的初始大小。我几乎无法持续地超越默认值。有时，"改进"似乎确实改善了情况。有时，它又使事情变得更糟。...
PreparedStatement setFetchSize
06-09
`PreparedStatement` 是 Java JDBC API 中的一个接口，用于执行预编译的 SQL 语句。与 `Statement` 不同，`PreparedStatement` 可以在执行之前预编译 SQL 语句，从而提高查询效率。`PreparedStatement` 接口中也提供了 `setFetchSize` 方法，可以用来设置从结果集中获取数据的行数。 `PreparedStatement` 中的 `setFetchSize` 方法与 `Statement` 中的 `setFetchSize` 方法用法相同，用于控制 JDBC 驱动程序从数据库中获取结果集的行数。使用 `setFetchSize` 方法可以在处理大型结果集时减少网络和数据库开销，从而提高查询效率。 需要注意的是，与 `Statement` 不同的是，`PreparedStatement` 中的 `setFetchSize` 方法并不总是生效，具体情况取决于 JDBC 驱动程序的实现。在某些情况下，例如在使用某些连接池实现时，`setFetchSize` 方法可能被忽略。因此，在实际应用中，建议使用合适的技术和工具来评估和优化查询性能，而不仅仅依赖于 `setFetchSize` 的设置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值