Spring Batch 中 SynchronizedItemStreamReader 和 SynchronizedItemStreamWriter 的使用说明

Spring Batch 中 SynchronizedItemStreamReader 和 SynchronizedItemStreamWriter 的使用说明

---

1. SynchronizedItemStreamReader

用于在 多线程环境下安全地读取数据，解决普通 ItemReader 在多线程中因非线程安全导致的并发问题。

使用场景

• 当作业配置了 taskExecutor 和 threadPoolTaskExecutor 时，需确保读取操作线程安全。
• 适用于分页查询（如数据库分页）等需共享状态的场景。

配置步骤

@Bean
public Step step() {
    return stepBuilderFactory.get("step")
        .<YourDomain, YourDomain>chunk(10)
        .reader(synchronizedItemStreamReader())
        .processor(...) // 可选处理器
        .writer(...)    // 写入器
        .taskExecutor(taskExecutor()) // 启用多线程
        .throttleLimit(5) // 线程数
        .build();
}

@Bean
public SynchronizedItemStreamReader<YourDomain> synchronizedItemStreamReader() {
    SynchronizedItemStreamReader<YourDomain> reader = new SynchronizedItemStreamReader<>();
    reader.setDelegate(yourDelegateReader()); // 普通ItemReader（如JpaPagingItemReader）
    return reader;
}

注意事项

• 必须包裹普通 ItemReader：通过 setDelegate 指定底层读取器（如 JdbcCursorItemReader）。
• 分页状态共享：确保底层读取器的分页状态是线程安全的（如 JpaPagingItemReader 的 saveState 需设为 true）。

---

2. SynchronizedItemStreamWriter

用于在 多线程环境下安全地写入数据，合并多个线程的写入结果并统一处理。

使用场景

• 当写入操作需保证原子性或顺序性（如批量插入、文件写入）。
• 需要将多个线程的处理结果合并为一个最终写入操作。

配置步骤

@Bean
public Step step() {
    return stepBuilderFactory.get("step")
        .<YourDomain, YourDomain>chunk(10)
        .reader(...)
        .processor(...)
        .writer(synchronizedItemStreamWriter()) // 同步写入器
        .taskExecutor(taskExecutor())
        .throttleLimit(5)
        .build();
}

@Bean
public SynchronizedItemStreamWriter<YourDomain> synchronizedItemStreamWriter() {
    SynchronizedItemStreamWriter<YourDomain> writer = new SynchronizedItemStreamWriter<>();
    writer.setDelegate(yourDelegateWriter()); // 普通ItemWriter（如JdbcBatchItemWriter）
    return writer;
}

注意事项

• 合并写入逻辑：底层 ItemWriter 的 write 方法只会被调用一次（在所有线程处理完成后），传入所有线程的处理结果集合。
• 性能权衡：同步可能影响吞吐量，需根据业务场景权衡。

---

通用注意事项

1. 线程安全：确保 SynchronizedItemStreamReader 和 SynchronizedItemStreamWriter 的 delegate 对象本身是线程安全的。
2. 资源管理：在多线程中，避免共享非线程安全的资源（如数据库连接池需配置为线程安全）。
3. 状态管理：若使用 Checkpoint 或分页状态，需确保状态在多线程间正确持久化。

---

示例场景

假设需多线程处理数据库分页数据并批量插入到另一表中：

// 配置多线程
@Bean
public TaskExecutor taskExecutor() {
    return new SimpleAsyncTaskExecutor();
}

// 分页读取器（需设置 saveState=true）
@Bean
public JpaPagingItemReader<YourDomain> yourDelegateReader() {
    JpaPagingItemReader<YourDomain> reader = new JpaPagingItemReader<>();
    reader.setEntityManagerFactory(...);
    reader.setQueryString("from YourEntity");
    reader.setSaveState(true); // 必须开启状态保存
    return reader;
}

// 批量写入器（需配置为可合并）
@Bean
public JdbcBatchItemWriter<YourDomain> yourDelegateWriter() {
    JdbcBatchItemWriter<YourDomain> writer = new JdbcBatchItemWriter<>();
    writer.setItemSqlParameterSourceProvider(...);
    writer.setSql("INSERT INTO target_table (...)");
    writer.setDataSource(...);
    return writer;
}

通过上述配置，即可在多线程环境下安全地读取和写入数据。