多线程分段读取数据库

最新推荐文章于 2024-06-29 16:35:22 发布

zizi2008han

最新推荐文章于 2024-06-29 16:35:22 发布

阅读量2.4k

点赞数

分类专栏： J2EE

本文链接：https://blog.csdn.net/zizi2008han/article/details/40431235

版权

本文介绍了使用Spring的ThreadPoolTaskExecutor进行线程管理，结合数据库的LIMIT实现表的分段读取，以解决大量数据处理的需求。通过定时任务调度，有效地分段读取和保护资源。

摘要由CSDN通过智能技术生成

<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">有这样一个需求，定时任务产生多个线程读取一张表，然后每个线程扫描这个表的一部分，将记录调用预先定义好的Web Service接口。</span>

该问题可以分解为几个部分，第一、定时任务下的线程管理；第二、表的分段读取；第三、资源保护

第一部分，由于LZ的项目采用Spring架构，于是采用基于注解的ThreadPoolTaskExecutor，applicationContext.xml中的配置如下：

<bean id="taskExecutor" class="org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor">
		<property name="corePoolSize" value="10" />
		<property name="maxPoolSize" value="15" />
		<!--<property name="keepAliveSeconds" value="100"/>-->
		<property name="WaitForTasksToCompleteOnShutdown" value="