读完本章，只能感叹真不愧漫游二字。

　　一条最简单的C程序的运行，让我们了解了文本文件如何蜕变为可执行目标文件，中间穿插的转换机制又与后面介绍底层硬件部分相呼应。又借打开终端输入命令这一流程，简单描述了程序在磁盘、主存和处理机之间如何穿梭如风，而这又引发了系统设计者们怎样的思考，而系统发展的趋势也由此明确，进程这一伟大概念也悄然萌发并成功实现。

 

通过追踪hello程序的生命周期来开始对系统的学习——从它被程序员创造，到它在电脑上运行，输出简单的消息，然后终止。

#include
​
int main()
{
  printf("Hello,world");
}

1.1 信息就是位+上下文

 

hello程序的生命周期是从一个源程序（或者说源文件）开始的，即程序员利用编译器创建并保存的hello.c。源程序实际上是一个由值0和1组成的位（bit）序列，8个位被组织成一组，被称为字节（byte）。每个字节表示程序中某个文本字符。

hello.c程序以字节序列的方式存储在文件中。每个字节都有一个整数值对应，而该整数值对应于一个字符。例如，第字节的整数值对应的值是35，它对应的就是字符“#”。像hello.c这样只有ASCII字符构成的文本被称为文本文件，所有其他文件都被称为二进制文件。

hello.c的表示方法说明了一个基本思想：系统中所有的信息——包括磁盘文件、存储器中的程序、存储器中存放的用户数据以及网络上传送的数据，都是由一串位表示的。区分不同数据对象的唯一方法是我们读到这些数据对象时的上下文。

 

1.2 程序被其他程序翻译成不同的格式

 

为了在系统上运行hello.c程序，尽管其生命周期是从高级C语言程序开始，但每条C语句都必须被其他程序转化为一系列的机器语言指令。然后，这些指令按照一种称为可执行目标程序的格式打好包，并以二进制磁盘文件的形式存放起来。目标程序也被称为可执行目标文件。

在Unix系统上，从源文件到目标文件的转化是由编译器驱动程序完成的：

unix>gcc -o hellohello.c

在这里，GCC编译器驱动程序读取源文件hello.c，并把它翻译成一个可以执行的目标文件hello。这个翻译的过程可以分为四个阶段完成，如图。

 

 

执行这四个阶段的程序（预处理器、编译器、汇编器、链接器）一起构成了编译系统。

• 预处理阶段。预处理（cpp）根据以字符#开头的命令，修改原始的C程序。比如hello.c中#include命令告诉预处理器读取系统头文件stdio.h的内容，并把它直接插入到程序文本中。结果就得到了另一个C程序，通常是以.i作为文件扩展名。

• 编译阶段。编译器（ccl）将文本文件hello.i翻译成文本文件hello.s，它包含一个汇编语言程序。汇编语言程序中的每条语句都以一种标准的文本格式确切地描述了一条低级机器语言指令。汇编语言是非常有用的，因为它为不同高级语言的不同编译器提供了通用的输出语言（这意味着所有高级语言都有很多共性）。

• 汇编阶段。编译器（as）将hello.s翻译成机器语言指令，把这些指令打包成一种叫做可重定位目标程序的格式，并将结果保存在目标文件hello.o中。hello.o文件是一个二进制文件，它的字节编码是机器语言指令而不是字符。如果我们打开hello.o文件，我们将看到一串乱码。

• 链接阶段。我们知道，hello程序调用了printf函数，它是每个C编译器都会提供的标准C库中的一个函数。printf函数存在于一个名为printf.o的单独的预编译好了的目标文件中，而这个文件必须以某种方式合并到我们的hello.o的程序中。链接器（ld）就负责处理这种合并。结果就得到hello文件，它是一个可执行目标文件（或者简称为可执行文件），可以被加载到内存中，由系统执行。

 

1.3 了解编译系统如何工作是大有益处的

 

对于hello.c这样简单的程序，我们可以以来编译系统生成正确有效的机器代码，但，有些重要的原因促使我们程序员必须知道编译系统是如何工作的，原因如下：

• 优化程序性能。现代编译器都是成熟的工具，通常可以生成很好的代码（机器语言）。但是，为了在C程序中做出更好的编码选择，我们确实需要了解一些机器代码以及编译器将不同的C语句转换为机器代码的方式。比如：

• 一个switch语句是否总是比一系列的if-then-else语句高效得多？

• 一个函数调用的开销有多大？

• while循环比for循环更有效吗？

• 指针引用比数组索引更有效吗?

• 为什么将循环求和的结果放到一个本地变量中，与将其放到一个通过引用传递过来的参数中相比，运行速度要快的多呢？

• 为什么我们只是简单地重新排列一下一个算术表达式中的括号就能让一个函数运行得更快？

• 理解链接时出现的错误。一些最令人困扰的程序错误往往都与链接器操作有关，尤其是当你试图构建大型的软件系统时。例如：

• 链接器报告它无法解析一个引用，这是什么意思？

• 静态变量和全局变量的区别是什么？

• 如果你在不同的C文件中定义了名字相同的两个全局变量会发生什么？

• 静态库和动态库的区别是什么？

• 我们在命令行上排列库的顺序有什么影响？

• 最严重的是，为什么有的链接错误直到运行时才会出现？

• 避免安全漏洞。多年来，缓冲区溢出错误是造成大多数网络和Internet服务器上安全漏洞的主要原因。存在这些错误是因为很少有人能理解限制他们从不受信任的站点接收数据的数量和格式的重要性。学习安全编程的第一步就是理解数据和控制信息存储在程序栈原理上的方式会引起的后果。

 

1.4 处理器读并解释存储在存储器中的指令

 

此刻，hello.c源程序已经被编译系统翻译成了可执行目标文件hello，并存放在磁盘上。我们在Unix上的shell上试着运行它：

1unix> ./hello

2hello, world!

3unix>

shell是一个命令行解释器，它输出一个提示符，等待你输入一个命令行，然后执行这个命令。如果该命令行的第一个单词不是一个内置的外壳命令，外壳就会假设这是一个可执行文件的名字，它将加载并运行这个文件。

 

1.4.1 系统的硬件组成

 

为了理解运行hello程序时发生了什么，我们需要了解一个典型系统的硬件组织，如图：

 

• 总线

贯穿整个系统的是一组电子管道，称作总线，它携带信息字节并负责在各个部件间传递。通常总线被设计成传送定长的字节块，也就是字（word）。字中的字节数（即字长）是一个基本的系统参数，在各个系统中的情况都不尽相同。现在大多数机器字长有的是4个字节（32位），有的是8个字节（64位）。为了讨论方便，假设字长为4个字节，并且总线每次只传送1个字。

• I/O设备

输入/输出设备是系统与外部设备的联通通道。我们的示例系统包括4个I/O设备：作为用户输入的键盘和鼠标，作为用户输入的显示器，以及用于长期存储数据和程序的磁盘驱动器（简单的说，就是磁盘）。最初，执行hello就存放在磁盘上。

每个IO设备都通过一个控制器或者适配器与总线相连。控制器和适配器之间的主要区别在于它们的封装方式，控制器是置于IO设备本身的或者主印制电路板（通常称为主板）上的芯片组，而适配器则是一块插在主板槽上的卡。无论如何，它们的功能都是在IO总线和IO设备之间传递信息。

• 主存

主存是一个临时存储设备，在处理程序时，用来存放程序和程序处理的数据。从物理上来说，主存是由一组动态随机存取存储器（DRAM）芯片组成的。从逻辑上来说，存储器是一个线性的字节数组，每个字节都有其唯一的地址（即数组索引），这些地址是从零开始的。

• 处理器

中央处理单元（CPU），简称处理器，是解释（或执行）存储在主存中指令的引擎。处理器的核心是一个字长的存储设备（或寄存器），称为程序计数器（PC）。在任何时刻，PC都指向主存中的一条机器语言指令（即含有该条指令的地址）。

从系统通电开始，直到系统断电，处理器一直在不断地执行程序计数器指向的指令，再更新程序计数器，使其指向下一条指令。处理器看上去是按照一个非常简单的指令执行模型来操作的，这个模型是由指令集结构决定的。在这个模型中，指令按照严格的顺序执行，而执行一条指令包含执行一系列的步骤。处理器从程序计数器指向的存储器读取命令，解释指令的位，执行该指令的简单操作，然后更新PC，使其指向下一条指令，而这条指令不一定与存储器中刚刚执行的指令相邻。

这样的简单操作并不多，而且操作是围绕着主存、寄存器文件和算术/逻辑单元（ALU）进行的。寄存器文件是一个小的存储设备，由一些1字长的寄存器组成，每个寄存器都有唯一的名字。ALU计算新的数据和地址值。CPU在指令的要求可能会执行一下操作：

• 加载：把一个字节或者一个字从主存复制到寄存器，以覆盖寄存器原来的内容。

• 存储：把一个字节或者一个字从寄存器复制到主存的某个位置，以覆盖这个位置原来的内容。

• 操作：把两个寄存器的内容复制到ALU，ALU对这两个字进行算术操作，并将结果存放到一个寄存器中，以覆盖该寄存器中原来的内容。

• 跳转：从指令本身抽取一个字，并将这个字复制到程序计数器中，以覆盖PC中原来的值。

处理器看上去只是它的指令集结构的简单实现，但实际上现代处理器使用了非常复杂的机制来加速程序的执行。因此，我们可以这样区分处理器的指令结构和微体系结构：指令集结构描述的是每条机器代码指令的效果；而微体系结构描述的是处理器实际上是如何实现的。

 

1.4.2 运行hello程序

 

（我们省略了很多细节，但是我们将很满意这种整体上的描述）初始时，外壳程序（即shell）执行它的指令，等待我们输入一个命令。当我们在键盘上输入字符串“./hello”后，外壳程序将字符逐一读入寄存器，再把它存放到存储器中，如图：

 

当我们在键盘上敲回车键时，外壳程序就知道我们已经结束了命令的输入。然后外壳执行一系列指令来加载可执行的hello文件，将hello目标文件中的代码和数据从磁盘中复制到主存。数据包括最终会被输出的字符串“hello，world\n”。

利用直接存储器存取（DMA）技术，数据可以不通过处理器而直接从磁盘到达主存。

一旦目标文件hello中的代码和数据被加载到主存，处理器就开始执行hello程序的main函数中机器语言指令。这些指令将“hello，world\n”字符串中的字节从主存复制到寄存器文件，再从寄存器文件中复制到显示设备，最终显示在屏幕上。

 

1.5 高速缓存至关重要

 

这个简单的示例揭示了一个重要的问题，即系统花费了大量的时间把信息从一个地方复制到另一个地方。hello程序的最初是存放在磁盘上的，当程序加载时，它们被复制到了主存；当处理器处理程序时，它们又被复制到寄存器。相似的，字符串“hello，world\n”也是如此。

对于程序员来说，这些复制就是开销，减缓了程序“真正”的工作。因此，系统设计者的一个主要目标就是使这些复制操作尽可能地完成。

根据机械原理，较大的存储设备要比较小的存储设备运行地慢，而快速设备地造价远高于同类地低速设备。更麻烦地是，随着这些年半导体技术地进步，这种处理器与主存之间地差距还在扩大。加快处理器地运行速度比加快贮存地运行速度要容易和便宜得多。

针对这种处理器与主存之间地差异，系统设计者采用了更小、更快的存储设备，即高速缓存存储器（简称高速缓存），作为暂时的集结区域，用来存放处理器近期可能会处理的信息。

 

1.6 存储设备形成层次结构

 

在处理器和一个又大又慢的设备（例如主存）之间插入一个更小更快的存储设备（例如高速缓存）的想法已经成为了一个普遍的观念。实际上，每个计算机系统中存储设备都被组织成了一个存储器层次结构。在这个层次结构中，从上至下，设备变得访问速度越来越慢，容量变得越来越大，并且每字节的造价也变得越来越便宜。寄存器文件在层次结构中处于最顶部。也就是0级或者记为L0。

存储器层次结构的主要思想是一层上的存储器作为低一层存储器的高速缓存。因此，寄存器文件就是L1的高速缓存，L1是L2的高速缓存，L2是L3的高速缓存，L3是主存的高速缓存，而主存又是磁盘的高速缓存。在某些具有分布式文件系统的网络系统中，本地磁盘就是存储在其他系统中磁盘上的数据和高速缓存。

 

1.7 操作系统管理硬件

 

我们继续讨论hello程序的例子。当外壳加载和运行hello程序，以及hello输出自己的消息时，外壳和hello程序都没有直接访问键盘、显示器、磁盘或者主存。取而代之的是，它们依靠操作系统提供的服务。我们可以把操作系统看成是应用程序和硬件之间插入的一层软件。所有应用程序对硬件的操作尝试都必须通过操作系统。

操作系统有两个基本功能:1)防止硬件被失控的程序滥用2）向应用程序提供简单一致的机制来控制复杂而又通常大相径庭的低级硬件设备。操作系统通过几个基本的抽象概念（进程、虚拟存储器和文件）来实现这两个功能。

 

文件是对IO设备的抽象表示，虚拟存储器是对主存和磁盘IO设备的抽象表示，进程则是对处理器、主存和IO设备的抽象表示。

 

1.7.1 进程

 

像hello这样的程序在现代系统上运行时，操作系统会提供一种假象，就好像系统上只有这个程序在运行，看上去只有这个程序在使用处理机、主存和IO设备。处理器看上去就像在不间断地一条接一条地执行程序中地指令，即该程序地代码和数据是系统存储器中唯一地对象。这些假象是通过进程的概念来实现的，进程是计算机科学中最成功和最重要的概念之一。

无论在单核还是多核系统中，一个CPU看上去都是在并发地执行多个进程，这是通过处理器在进程间切换来实现的。操作系统这种交错执行的机制称为上下文切换。

操作系统保持跟踪进程运行所需要的所有状态信息。这种状态，也就是上下文，它包括许多信息，例如PC和寄存器文件的当前值，以及主存的内容。在任何一个时刻，单处理机都只能执行一个进程的代码。当操作系统决定要把控制权从当前进程转移到某个新进程时，就会进行上下文切换，即保存当前进程的上下文、恢复新进程的上下文，然后将控制权传递到新进程。新进程就会从上次停止的地方开始。

示例中有两个并发的进程，外壳和hello进程。起初，只有外壳进程在运行，即等待命令输入。当我们让它运行hello时，外壳通过调用一个专门的函数，即系统调用，来执行我们的请求，系统调用会将控制权传递给操作系统。操作系统保存外壳进程的上下文，创建一个新的hello进程及其上下文，然后将控制权传递给新的进程hello。hello进程终止后，操作系统恢复外壳进程的上下文，并将控制权传递给它，外壳进程将继续等待下一个输入。

实现进程这个抽象概念需要低级硬件和操作系统软件之间的紧密合作。

 

1.7.2 线程

 

尽管通常我们认为一个进程只有单一的控制流，但是在现代操作系统中，一个进程实际上可以由多个称为线程的执行单元组成，每个线程都运行在进程的上下文中，并共享同样的代码和全局数据。由于网络服务器对于并行处理的需求，线程成为越来越重要的编程模型，因为多线程之间比多进程之间更容易共享数据，也因为一般来说都比进程更高效。当有多个处理器可用的时候，多线程也是一种可以让程序可以更快运行的方法。

 

1.7.3 虚拟存储器

 

虚拟存储器是一个抽象概念，它为每个进程提供了一个假象，即每个进程都在独立地使用主存。每个进程看到的是一致的存储器，称为虚拟地址空间。图示是Linux进程的虚拟地址空间（其他Unix系统的设计也与此类似）。

 

在Linux中，地址空间最上面的区域是为操作系统中的代码和数据保留的，这对所有进程来说都是一样的。地址空间的底部区域存放用户进程定义的代码和数据。

请注意，图中的地址是从下往上增大的。

每个进程看到的虚拟地址空间由大量准确定义的区构成，每个区都有专门的功能。我们从最低的地址开始，逐步向上简单介绍一下：

• 程序代码和数据

对于所有进程来说，代码是由同一固定地址开始，紧接着的是和C全局变量对应的数据位置。代码和数据区是直接按照可执行目标文件的内容初始化的，在示例中就是可执行文件hello。

• 堆

代码和数据区后紧随着的是运行堆。代码和数据区是在运行一开始就被规定了大小，与此不同，当调用如malloc和free这样的C标准库函数时，堆可以在运行时动态地扩张和收缩。

• 共享库

大约在地址空间地中间部分是一块用来存放像C标准库和数学库这样共享库地代码和数据地区域。共享库地概念非常强大，也相当难懂。

• 栈

位于用户虚拟地址空间顶部的是用户栈，编译器用它来实现函数调用。和堆一样，用户栈在程序执行期间可以动态地扩展和收缩。特别是我们每次调用一个函数时，栈就会增长；从一个函数返回时，栈就会收缩。

• 内核虚拟存储器

内核总是驻留在内存中，是操作系统的一部分。地址空间顶部的区域是为内核保留的，不允许应用程序读写这个区域的内容或者直接调用内核代码定义的函数。

虚拟存储器的运作需要硬件和操作系统软件之间精密复杂的交互，包括对处理器生成每个地址的硬件翻译。其基本思想是把一个进程虚拟存储器的内容存储在磁盘上，然后用主存作为磁盘的高速缓存，

 

1.7.4 文件

 

文件就是字节序列，仅此而已。每个IO设备，包括磁盘、键盘、显示器，甚至是网络，都可以视作文件。系统中的所有输入输出都是通过使用一小组称为Unix IO的系统函数调用读写文件来实现的。

 

1.8 系统之间利用网络通信

 

从一个单独的系统来看，网络可以视为一个IO设备。当系统从主存将一串字节复制到网络适配器时，数据流经过网络到达另一台机器，而不是其他地方，例如本地磁盘驱动器。相似地，系统可以读取从其他机器发送来地数据，并把数据复制到自己地主存。

 

1.9 重要主题

 

在此，总结一下我们旋风式的系统漫游。这次讨论得出一个很重要的观点，那就是系统不仅仅只是硬件。系统是硬件和软件互相交织的集合体，它们必须共同协作以达到运行应用程序的最终目的。

 

1.9.1 并发和并行

 

数字计算机的整个历史中，有两个需求是驱动进步的持续动力：一个是我们想要计算机做得更多，另一个是我们想让计算机运行的更快。当处理器同时能够做更多事情的时候，这两个因素都会改进。我们用的术语并发是一个通用的概念，指一个同时具有多个活动的系统；而术语并行指的是用并发使一个系统运行地更快。并行可以在计算机系统的多个抽象层次上运用。在此，我们按照系统层次结构中由高到低地顺序重点强调三个层次。

1.线程级并发

超线程，有时称为同时多线程，是一项允许一个CPU执行多个控制流地技术。它涉及CPU某些硬件有多个备份；而其它硬件部分只有一份。超线程地处理器可以在单个周期的基础上决定要执行哪一个线程，这使得CPU能够更好的利用它的处理资源。例如，假设一个线程必须等到某些数据被装载到高速缓存中，那CPU就可以继续去执行另一个线程。

2.指令级并行

在较低层次的抽象上，现代处理器可以同时执行多条指令的属性被称为指令级并行。

3.单指令、多数据并行

在最低层次上，许多现代处理器拥有特殊的硬件，允许一条指令产生多个可疑并行执行的操作，这种方式被称为单指令、多数据。