python多线程编程之进程和线程基础概念

多线程编程

在多线程&＃xff08;multithreaded&＃xff0c;MT&＃xff09;出现之前&＃xff0c;计算机程序的执行都是由单个步骤序列组成的&＃xff0c;该序列组合在主机的CPU中按照同步顺序执行。无论是任务本身需要按照步骤顺序执行&＃xff0c;还是整个过程实际上包含了多个子任务&＃xff0c;都需要按照既定顺序方式执行。那么&＃xff0c;如果这些子任务相互独立&＃xff0c;没有因果关系呢&＃xff0c;我们是不是考虑要让这些独立的任务同时进行呢&＃xff1f;这种并行处理方式可以显著地提高整个任务的性能。这就是多线程编程。

由以上我们可以推测一下&＃xff0c;多线程编程针对具有如下特点的编程任务是非常理想的&＃xff1a;本质上是异步的&＃xff1b;需要多个并发任务&＃xff1b;每个活动的处理顺序可能是不确定的。这种编程任务可以被组织成或者划分成多个执行流&＃xff0c;其中每个执行流都有一个指定要完成的任务。根据应用的不同&＃xff0c;这些子任务可能需要计算出中间结果&＃xff0c;然后合并成最终的输出结果。

计算密集型的任务可以比较容易的划分为多个子任务&＃xff0c;而那种使用单线程处理多个外部输入源的任务就不那么简单了。如果不使用多线程&＃xff0c;要实现这种编程任务就需要为串行程序使用一个或多个计时器&＃xff0c;并实现一个多路复用方案。一个串行程序需要从每个IO终端通道来检查用户的输入&＃xff0c;然而&＃xff0c;程序在读取IO终端通道时不能阻塞&＃xff0c;因为用户输入的到达时间是不确定的&＃xff0c;并且阻塞回复妨碍其他IO通道的处理。串行程序必须使用非阻塞的IO或拥有计时器的阻塞IO。串行程序只有唯一的执行线程&＃xff0c;因此他必须兼顾要执行的多个任务&＃xff0c;确保其中的某个任务不会占用过多时间&＃xff0c;并对用户的响应时间进行合理的分配。要想实现类似的要求&＃xff0c;往往会造成非常复杂的控制流&＃xff0c;难以理解和维护。

多线程编程&＃xff0c;以及类似Queue&＃xff08;一种多线程队列数据结构&＃xff09;的共享数据机构&＃xff0c;可以把任务规划为几个执行特定函数的线程&＃xff1a;

• UserRequestThread&＃xff1a;负责读取用户端的输入。程序将创建多个线程&＃xff0c;每个客户端一个&＃xff0c;客户端的请求将会被放入队列中。
• RequestProcessor&＃xff1a;该线程负责从队列中获取请求并处理&＃xff0c;为下一步的线程提供输出。
• ReplyThread&＃xff1a;负责向用户输出&＃xff0c;将结果传给用户&＃xff0c;或者把数据写到本地文件系统或者数据库中

这个设计中&＃xff0c;每个线程的逻辑都不复杂&＃xff0c;他们都只需要一个要完成的特定作业。你只需要设计每类线程去做一件事情就可以了。

进程&＃xff1a;

计算机程序就是存储在磁盘上的可执行的二进制文件。只有当它们被加载到内存中并被操作系统调用&＃xff0c;才拥有生命周期。进程&＃xff08;有时又叫重量级进程&＃xff09;则是一个执行中的程序。每个进程都拥有自己的地址空间、内存、数据栈以及其他一些用于追踪执行的数据。操作系统管理者其上所有进程的执行&＃xff0c;并尽量为它们分配时间。进程还可以通过派生新的进程来执行其他任务&＃xff08;不同的操作系统上叫法不同&＃xff0c;Linux上交fork&＃xff09;。注意的是&＃xff0c;每个新进程也都拥有自己的内存和数据栈等&＃xff0c;进程之间是通过进程间通信&＃xff08;IPC&＃xff09;的方式实现信息的共享。

线程&＃xff1a;

一般提到线程&＃xff08;又叫轻量级进程&＃xff09;的时候&＃xff0c;默认的前提是它们都是在同一个进程下执行的&＃xff0c;并享有相同的上下文。可以将其认为是在一个主进程或者‘主线程’中并行运行的一些‘迷你线程’

线程一般包括开始、执行顺序和结束三部分。它有一个指令指针&＃xff0c;用于记录当前运行的上下文。当其他线程运行时&＃xff0c;它可以被抢占&＃xff08;中断&＃xff09;和临时挂起&＃xff08;睡眠&＃xff09;。这种方式叫让步&＃xff08;yielding&＃xff09;。

同一个进程中的各个线程和主线程共享同一片数据空间&＃xff0c;所以&＃xff0c;相比于进程而言&＃xff0c;线程间的通信和信息共享更能容易实现&＃xff1b;线程一般是并发执行的。综合这两点&＃xff0c;使得多任务间的协作成为可能。注意的是&＃xff0c;单核CPU的前提下&＃xff0c;真正的并发是不可能&＃xff0c;线程一般都是这么执行的&＃xff1a;每个线程执行一段时间&＃xff0c;然后让步给其他线程&＃xff1b;每个线程都有自己的任务&＃xff0c;必要的时候&＃xff0c;可以和其他线程进行结果通信。

另外&＃xff0c;有共享就有风险。由于多个线程可以访问同一片数据&＃xff0c;由于数据访问的顺序不同&＃xff0c;可能导致结果不一致的现象。这种情况成为竟太条件&＃xff08;race condition&＃xff09;。解决方法是&＃xff0c;大部分语言都有一些同步原语&＃xff0c;用于线程管理器控制执行和访问。

还有就是&＃xff0c;线程无法给与公平的执行时间。因为有些函数在完成前保持阻塞状态&＃xff0c;如果没有专门为多线程情况进行修改&＃xff0c;会导致CPU的时间分配像这些贪婪的函数倾斜。

总结&＃xff1a;

线程是最小的执行单元&＃xff0c;而进程至少由一个线程组成。如何调度进程和线程&＃xff0c;由操作系统决定。

多进程和多线程编程&＃xff0c;涉及到同步、数据共享的问题&＃xff0c;需要多花功夫。