通过接口获取大量数据,内存溢出的问题

今天一个网友问了我一个问题:

需要给这个接口中写义工xml串(4w条),人家接口返回0或者1
问题是:5千条正常传送,1w条就报内存溢出 .
报java.lang.OutOfMemoryError: Java heap space
错误.

建议解决方法:

1.设OutOfMemory的异常断点,看出错时jvm里的堆栈情况.

2.增大内存.(可是他说内存是2G的,服务器内存8G,依旧报错)

3.分页给数据.(可是他说不行,必须一次性给1W条以上的数据)

真心的建议还是从优化程序的设计入手.解决根本问题.最终他还是采纳了我的建议.


可能性:

a.有和全局的List在整个抽取中不被释放;
b.日志文件不是批次写入,而时所有都结束后一次写入,无论总文件有多大. 

问题就好比我们一顿饭多次点没有关系,天天这么吃就会张胖一样. 
所以程序中特别是全局或是static的东西要很是留意. 







  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
当使用RestTemplate获取第三方接口数据时发生OOM(内存溢出问题,可能是由于返回的数据量过大,导致内存无法承载。为了解决这个问题,您可以尝试以下方法: 1. 分页获取数据:如果第三方接口支持分页查询,您可以尝试通过分页获取数据,而不是一次性获取所有数据。可以使用循环和分页参数来逐页获取数据,并在每次请求后处理和存储数据。这样可以降低内存使用量,并避免OOM问题。 示例代码: ```java import org.springframework.web.client.RestTemplate; public class Main { public static void main(String[] args) { RestTemplate restTemplate = new RestTemplate(); int pageSize = 100; // 每页的数据量 int currentPage = 1; // 当前页数 boolean hasMoreData = true; while (hasMoreData) { // 构造请求URL,包含分页参数 String url = "http://api.example.com/data?page=" + currentPage + "&size=" + pageSize; // 发送HTTP请求并获取响应数据 ResponseData responseData = restTemplate.getForObject(url, ResponseData.class); // 处理响应数据 // ... // 判断是否还有更多数据 if (responseData.isHasMoreData()) { currentPage++; } else { hasMoreData = false; } } } } ``` 在上面的代码中,我们通过循环和分页参数 `page` 和 `size` 来逐页获取数据。每次请求获取到的数据可以在处理后存储或进行其他操作。根据实际情况,您可能需要调整分页参数的大小以平衡内存使用和请求次数。 2. 增加JVM堆内存:如果您有权限和资源,可以尝试增加JVM堆内存的大小。通过增加堆内存,可以提供更多的内存空间来处理大量的返回数据。您可以通过调整JVM的 `-Xmx` 和 `-Xms` 参数来增加堆内存。请注意,增加堆内存可能影响应用程序的性能和服务器资源的使用。 这些方法可以帮助您解决使用RestTemplate获取第三方接口数据时发生OOM问题。根据实际情况选择合适的方法,并根据需求调整参数和代码逻辑。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值