云计算的发展推动了计算资源使用方式的改变。它以按需使用、按量付费的方式提供基础设施、平台和应用服务，用户不必自行建设完整的软硬件环境，只需在需要时获取相应能力即可。在这一背景下，理解串行计算、并行计算和分布式计算的基本概念，仍然是认识现代计算体系的重要起点。
从计算技术的发展历程来看，早期系统主要采用串行计算模式。随着硬件架构、编译器、操作系统以及应用开发环境的不断进步，计算能力逐渐从单处理走向多处理，也由此催生了并行计算和分布式计算等更高效的计算模型。通常，一个计算范式的成熟会经历研究开发、商业化和商品化三个阶段，最终形成可被广泛采用的主流体系。
并行计算与分布式计算的区别
并行计算和分布式计算常被放在一起讨论，两者确实关系密切，但侧重点并不完全相同。一般来说，并行计算更强调多个处理单元协同完成同一个任务，通常具有较强的耦合关系；而分布式计算的范围更广，既可以包含紧密协作的系统，也可以包含跨节点、跨地域、异构环境下的协同计算。
更具体地说，并行计算通常指把一个计算任务拆分后，交由多个共享内存的处理器同时执行。此类系统中的处理器往往结构相近、性能一致，并通过共享地址空间进行数据交换。程序会被划分为多个执行单元，由不同处理器并发执行，彼此通过共享内存进行通信。随着技术演进，并行系统不再局限于严格意义上的单一物理共享内存机器，只要体系结构建立在共享内存思想之上，即使借助高性能网络、特定硬件或分布式共享内存机制，也可以归入并行系统。
分布式计算则更强调任务被拆分后，在多个计算单元上同时执行。这些计算单元既可能位于不同节点，也可能位于同一台机器上的不同处理器，甚至同一处理器中的多个核心。因此，分布式计算是一个更宽泛的概念。它通常意味着参与计算的单元在位置上相互分离，并且硬件与软件环境可能并不一致。典型的分布式系统包括计算网格和互联网计算系统，这类系统能够把分散在不同位置的资源整合起来共同完成任务。
并行处理的硬件架构分类
并行处理的核心仍然是处理器。按照指令流和数据流的组织方式，计算机系统通常可分为四种基本类型：
- SISD：单指令流单数据流
- SIMD：单指令流多数据流
- MISD：多指令流单数据流
- MIMD：多指令流多数据流
1. SISD 系统
SISD 是最传统的计算模型，指单处理器在单一数据流上按顺序执行单一指令流。这类系统也就是常说的串行计算机。大多数传统个人电脑和工作站都属于这一类别。在该模型中，指令与数据一般存放在主存中，处理速度会受到系统内部数据传输能力的限制。
2. SIMD 系统
SIMD 指多个处理单元同时执行同一条指令，但处理的是不同的数据。由于向量和矩阵运算可以被大规模拆分，因此 SIMD 特别适合科学计算、图像处理等场景。比如同一运算规则可以同时应用到一组数据元素上，每个处理单元负责其中一部分，从而提高整体处理效率。
3. MISD 系统
MISD 是指多个处理单元对同一数据集执行不同指令。这种模型在理论上存在，但实际应用并不广泛。它并不适合大多数通用程序，相关实现也较少，更多停留在实验性或特殊用途场景中。
4. MIMD 系统
MIMD 是最常见、也最通用的并行计算模型之一。在这种模式下，不同处理单元可以执行不同指令，同时处理不同数据。每个处理单元都拥有各自的指令流和数据流，因此能够支持更加复杂、多样的应用。与 SIMD 和 MISD 相比，MIMD 系统中的处理单元通常是异步工作的。
根据处理单元与主存之间的连接方式，MIMD 系统又可以分为两类：共享内存 MIMD 和分布式内存 MIMD。
共享内存与分布式内存 MIMD
1. 共享内存 MIMD
在共享内存 MIMD 模型中，所有执行单元都访问同一个全局内存空间，因此这类系统也常被称为紧耦合多处理器系统。处理单元之间通过共享内存进行通信，一个处理单元修改的数据对其他处理单元是可见的。这种结构的优点是编程相对简单，因为不同执行单元可以直接访问公共数据。
不过，共享内存架构也存在明显限制。一方面，它的容错能力较弱，某些关键部件故障可能影响整个系统；另一方面，扩展性有限，随着处理单元数量增加，内存访问竞争会更加严重，进而影响整体性能。
2. 分布式内存 MIMD
在分布式内存 MIMD 模型中，每个处理单元都拥有自己的本地内存，因此又称为松耦合多处理器系统。处理单元之间不共享统一内存，而是通过互联网络进行通信，通常依赖消息传递或进程间通信机制完成数据交换与同步。
这类架构的优势在于更容易扩展，并且各处理单元之间相对独立，故障隔离能力更强。即使某个节点出现问题，也不一定会导致整个系统失效。由于每个处理单元拥有本地内存，因此不会像共享内存系统那样频繁出现集中式内存争用。
综合来看，共享内存 MIMD 更容易开发和调试，适合规模较小、协同紧密的并行任务；分布式内存 MIMD 则更适合构建大规模、高扩展性的计算平台。
分布式系统的架构与组成
分布式系统并不只是多台机器简单连接起来，而是从底层硬件到上层应用的完整协同体系。它由多个层次的组件共同构成，并通过标准化接口对外呈现为一个统一的整体。
在最底层，计算机硬件与网络设施构成了分布式系统的物理基础。服务器、存储设备、交换网络等资源负责提供实际的计算和通信能力。其上由操作系统进行管理，负责进程调度、资源分配、文件系统、设备控制以及进程间通信等基础功能。
当多台计算机通过网络连接，并在操作系统之上运行特定的软件组件时，就形成了分布式系统平台。为了让不同设备和不同环境能够顺畅协作，系统通常依赖统一标准和通信协议，例如 TCP/IP、UDP 等网络协议。这些标准使异构系统之间仍然能够实现互联互通。
中间件层的作用
在操作系统之上，中间件层为分布式应用的开发与部署提供了统一环境。它利用底层提供的通信、调度与资源管理能力，进一步封装出更适合应用开发的接口、协议、数据格式以及编程框架。
中间件的重要价值在于屏蔽底层差异。应用开发者无需直接面对不同操作系统、不同网络环境和不同硬件平台的复杂细节，而是可以通过相对统一的开发接口构建分布式应用。这也是现代分布式系统能够快速落地和大规模扩展的重要基础。
应用与服务层
分布式系统的顶层是各种应用和服务。它们建立在中间件能力之上，并通过图形界面、本地客户端或 Web 界面对用户提供功能。在现代云计算环境中，Web 技术已经成为极为常见的访问方式，不论是面向终端用户提供应用服务，还是面向开发者提供平台能力，通常都依赖浏览器或 Web API 进行交互。
以云计算为例，基础设施服务可以帮助用户创建虚拟机、组织集群并部署应用；平台服务则进一步提供开发、运行和管理分布式应用所需的工具与环境。这些能力共同构成了云平台面向用户的服务体系。
云计算中的分布式系统形态
在云计算场景下，硬件层和操作系统层通常构成一个或多个数据中心的基础。大量服务器通过高速网络连接，由操作系统完成底层资源管理。其上再通过虚拟化技术对物理资源进行抽象和整合，以提升资源利用率，并为不同业务提供相对独立、可定制的运行环境。
在虚拟化层之上，中间件负责承载核心管理逻辑，为应用开发和部署提供支持。面向用户时，平台可以通过 Web 接口提供一系列服务，例如创建虚拟机、配置运行环境、开发应用、部署应用以及管理运行状态等。正是在这一整套架构支持下，云计算得以把分布式系统能力以服务的形式稳定地交付给用户。
总体来看，并行计算侧重提升单一任务的协同处理效率，分布式计算则更强调跨多个计算单元的资源整合与协作。二者共同构成了现代高性能计算、云平台和大规模互联网服务的重要基础。理解它们的概念、架构和实现方式，有助于更清晰地把握当代计算系统的发展方向。
