就MPI_Send和MPI_Isend谈阻塞通信与非阻塞通信

同步通信和异步通信
(1) 同步通信(synchronous message passing) ：

指收/发双方两个进程在消息未被确切的发出并收到之前都不能返回。

这种例程一般不需要消息缓冲区。
“返回”是指进程可以执行通信语句之后的下一条语句。
在同步通信中，通信可以是异步开始的，但必将是同步结束的。
同步通信实际上完成两个动作：
传送数据和进程的同步
(2) 异步通信 (asynchronous message passing) ：

在异步通信中，通信可以是异步开始的，也可以是异步结束。发送方或接受方是否返回只取决于单方面的意愿。
异步通信需要系统提供一个消息缓冲区(message buffer)，而同步通信则需要制定好一个收/发双方的“握手” (handshaking) 协议。
异步的消息传递原语在实现上又可分为：
阻塞的 ( blocking ) 消息传递
非阻塞的 ( nonblocking ) 消息传递

阻塞的消息传递
阻塞发送：在消息确实已经发送出去（到消息缓冲区）后，才允许进程继续执行下一语句。
阻塞接收：进程处于挂起状态，直到可以在消息缓冲区确切地接收到消息后，才允许进程继续执行下一语句。
此处阻塞的含义与同步操作是类似的。
非阻塞的消息传递
非阻塞发送：发送原语通知系统将要发送的消息在消息缓冲区中后，即可返回。发送进程可继续执行后续工作， 无须等待系统真正发送消息。
非阻塞接收：接收原语不管消息缓冲区中是否已有发送原语发送的消息，都将返回。
在非阻塞的消息传递中，
当消息被确切地发出或收到时，系统将用中断信号通知发送方或接受方。
在此之前，它们可以周期性地查询、暂时挂起或执行其它计算，以实现计算与通信的重叠。
采用非阻塞的消息传递将导致程序调试困难。
不论是阻塞通信还是非阻塞通信，都属于异步通信机制。
其设置目的在于让通信与计算重叠，提高并行执行效率。但其付出的代价是系统要提供消息缓冲区。