关于Java8parallelStream并发安全的深入讲解

背景

Java8的stream接口极大地减少了for循环写法的复杂性，stream提供了map/reduce/collect等一系列聚合接口，还支持并发操作：parallelStream。

在爬虫开发过程中，经常会遇到遍历一个很大的集合做重复的操作，这时候如果使用串行执行会相当耗时，因此一般会采用多线程来提速。Java8的paralleStream用fork/join框架提供了并发执行能力。但是如果使用不当，很容易陷入误区。

Java8的paralleStream是线程安全的吗

一个简单的例子,在下面的代码中采用stream的forEach接口对1-10000进行遍历，分别插入到3个ArrayList中。其中对第一个list的插入采用串行遍历，第二个使用paralleStream，第三个使用paralleStream的同时用ReentryLock对插入列表操作进行同步：

private static List list1 = new ArrayList<>();
private static List list2 = new ArrayList<>();
private static List list3 = new ArrayList<>();
private static Lock lock = new ReentrantLock();

public static void main(String[] args) {
 IntStream.range(0, 10000).forEach(list1::add);

 IntStream.range(0, 10000).parallel().forEach(list2::add);

 IntStream.range(0, 10000).forEach(i -> {
 lock.lock();
 try {
  list3.add(i);
 }finally {
  lock.unlock();
 }
 });

 System.out.println("串行执行的大小：" + list1.size());
 System.out.println("并行执行的大小：" + list2.size());
 System.out.println("加锁并行执行的大小：" + list3.size());
}

执行结果：

串行执行的大小：10000
并行执行的大小：9595
加锁并行执行的大小：10000

并且每次的结果中并行执行的大小不一致，而串行和加锁后的结果一直都是正确结果。显而易见，stream.parallel.forEach()中执行的操作并非线程安全。

那么既然paralleStream不是线程安全的，是不是在其中的进行的非原子操作都要加锁呢？我在stackOverflow上找到了答案：

• https://codereview.stackexchange.com/questions/60401/using-java-8-parallel-streams
• https://stackoverflow.com/questions/22350288/parallel-streams-collectors-and-thread-safety

在上面两个问题的解答中，证实paralleStream的forEach接口确实不能保证同步，同时也提出了解决方案：使用collect和reduce接口。

• http://docs.oracle.com/javase/tutorial/collections/streams/parallelism.html

在Javadoc中也对stream的并发操作进行了相关介绍：

The Collections Framework provides synchronization wrappers, which add automatic synchronization to an arbitrary collection, making it thread-safe.

Collections框架提供了同步的包装，使得其中的操作线程安全。

所以下一步，来看看collect接口如何使用。

stream的collect接口

闲话不多说直接上源码吧，Stream.java中的collect方法句柄：

 R collect(Collector<&＃63; super T, A, R> collector);

在该实现方法中，参数是一个Collector对象，可以使用Collectors类的静态方法构造Collector对象，比如Collectors.toList()，toSet(),toMap()，etc，这块很容易查到API故不细说了。

除此之外，我们如果要在collect接口中做更多的事，就需要自定义实现Collector接口，需要实现以下方法：

Supplier supplier();
BiConsumer accumulator();
BinaryOperator combiner();
Function finisher();
Set characteristics();

public class Compute {
public Double compute(int num) {
 return (double) (2 * num);
}
}

private List nums = new ArrayList<>();
private Set result = new HashSet<>();

public void run() {
 // 填充原始数据，nums中填充0-9 10个数
 IntStream.range(0, 10).forEach(nums::add);
 //实现Collector接口
 result = nums.stream().parallel().collect(new Collector>() {

 @Override
 public Supplier supplier() {
  return Container::new;
 }

 @Override
 public BiConsumer accumulator() {
  return Container::accumulate;
 }

 @Override
 public BinaryOperator combiner() {
  return Container::combine;
 }

 @Override
 public Function> finisher() {
  return Container::getResult;
 }

 @Override
 public Set characteristics() {
  // 固定写法
  return Collections.emptySet();
 }
 });
}

class Container {
 // 定义本地的result
 public Set set;

 public Container() {
 this.set = new HashSet<>();
 }

 public Container accumulate(int num) {
 this.set.add(compute.compute(num));
 return this;
 }

 public Container combine(Container container) {
 this.set.addAll(container.set);
 return this;
 }

 public Set getResult() {
 return this.set;
 }
}

public static void main(String[] args) {
 Main main = new Main();
 main.run();
 System.out.println("原始数据：");
 main.nums.forEach(i -> System.out.print(i + " "));
 System.out.println("\n\ncollect方法加工后的数据：");
 main.result.forEach(i -> System.out.print(i + " "));
}