SpringBatch中多线程配置及实现例子

在Spring Batch 中开启多线程需要两个两个值&＃xff1a;

• throttleLimit&＃xff1a;线程数(最佳线程数目 &＃61; ((线程等待时间&＃43;线程CPU时间)/线程CPU时间 )* CPU数目)
• taskExecutor&＃xff1a;如果是多线程&＃xff0c;需要将这个参数设置成线程池&＃xff0c;默认是一个简单异步执行器

现在我们开始今天的Demo, 这个Demo实现一个SB功能&＃xff0c;就是多线程从数据库读出来数据&＃xff0c;然后在Writer答应出读出的对象。

话不多说&＃xff0c;先创建一个Spring -Batch的工程(SpringBatch从入门到放弃001- HelloWorld)。

配置一个Reader&＃xff0c;我们选用JdbcPagingItemReader&＃xff0c;这里需要注意的是对于多线程Batch&＃xff0c;需要考虑Reader的线程安全问题&＃xff0c;因为在多线程情况下&＃xff0c;会导致Reader中的 如果你还不知道那些Reader 实现线程安全的&＃xff0c;可以参考另一文章&＃xff1a;SpringBatch从入门到放弃006- ItemReader

&＃xfffc;

其实实现Reader线程安全问题非常简单&＃xff0c;我们打开JdbcPagingItemReader的源码&＃xff0c;在Javadoc 里面是这样描述&＃xff1a;这是一个线程安全的实现在调用open()方法之间&＃xff0c;如果在多线程中使用&＃xff0c;需要设置saveState&＃61;false(但是这样就会不支持重启)。

&＃xfffc;

那么他是如何线程安全的呢&＃xff1f;&＃xff0c;继续看源码,在AbstractPagingItemReader.doRead()方法中我们看到了synchronized&＃xff0c;这里是不是恍然大悟&＃xff1f;

&＃xfffc;

Processor 没有要求是线程安全的&＃xff0c;所以定义成普通的就好了&＃xff0c; Writer 要求线程安全&＃xff0c;但是我们需求不需要线程安全&＃xff0c;所以也定义成常规的就好了。

&＃xfffc;

核心的配置来了&＃xff0c;我们首先定义了一个线程池ThreadPoolTaskExecutor&＃xff0c;然后将这个任务执行线程池定义到Step中去&＃xff0c;在给step 设置throttleLimit 设置成5。这样就实现了多线程。

&＃xfffc;

我们注意到reader是分页读&＃xff0c;每次读取3个元素&＃xff0c;chunkSize 是 5 &＃xff0c;代表每五次写一次&＃xff0c;那么Reader/Processor/Writer 是怎么匹配执行的呢&＃xff1f;这里先卖个关子后边的章节我们会说到。

定义一个Junit,查看运行结果。

&＃xfffc;

我们可以看到多个线程在执行Job。

&＃xfffc;

这一节只是简单介绍一个Spring Batch 多线程的配置&＃xff0c;下个章节鹏哥将通过源码&＃xff0c;像大家展示&＃xff0c;Spring Batch 多线程是怎么实现的。