并行計算可以劃分成時間并行和空間并行。時間并行即流水線技術(shù)，空間并行使用多個處理器執(zhí)行并發(fā)計算，當(dāng)前研究的主要是空間的并行問題。

并行計算是相對于串行計算來說的。要理解并行計算，首先需要了解串行計算。串行計算是不將任務(wù)進行拆分，一個任務(wù)占用一塊處理資源。

圖1 串行計算

并行計算則不同。首先，并行計算可以劃分成時間并行和空間并行。時間并行就是流水線技術(shù)，空間并行使用多個處理器執(zhí)行并發(fā)計算。目前以研究空間并行為主。從空間并行的角度來說，并行計算將一個大任務(wù)分割成多個子任務(wù)，每個子任務(wù)占用一定處理資源。并行計算中不同子任務(wù)占用的不同的處理資源來源于同一塊大的處理資源。 換一個說法，就是將一塊大的處理資源分為幾塊小的處理資源，將一個大任務(wù)分割成多個子任務(wù)，用這些小的處理資源來單獨處理這些子任務(wù)。 并行計算中各個子任務(wù)之間是有很大的聯(lián)系的，每個子任務(wù)都是必要的，其結(jié)果相互影響。

圖2 并行計算

分布式計算

分布式計算可以看做是一種特殊的并行計算。

分布式計算也是將一個大的任務(wù)分成幾個子任務(wù)，不同子任務(wù)占用不同的處理資源。不過分布式計算的子任務(wù)之間并沒有必然聯(lián)系（互不相干），不同子任務(wù)獨享自己的一套單獨的計算系統(tǒng)。跟并行計算的不同點在于，分布式計算的子任務(wù)具有獨立性，一個子任務(wù)的運行結(jié)果不會影響其他的子任務(wù)，所以分布式計算對任務(wù)的實時性要求不高，且允許存在一定的計算錯誤（每個計算任務(wù)有多個參與者進行計算，計算的結(jié)果需要上傳到服務(wù)器后進行比較，對結(jié)果差異大的進行驗證）。

圖3 分布式計算

網(wǎng)格計算

網(wǎng)格計算可以看做是一種特殊的分布式計算。

網(wǎng)格計算與分布式計算的核心思想類似，都是將一個大任務(wù)分成若干個子任務(wù)，這些子任務(wù)之間互不相干，占用獨立的計算資源。區(qū)別在于分布式計算中處理子任務(wù)的各個計算節(jié)點只是在無償?shù)刎暙I(xiàn)自己的算力，無法使用其它計算節(jié)點的算力為自己做點什么。而網(wǎng)格計算的各個計算節(jié)點可以在貢獻(xiàn)自己算力的同時，通過平臺來調(diào)用其它計算節(jié)點的算力，并且其它計算節(jié)點也根本不知道你在調(diào)用它。

引用用戶“孤獨求敗”([https://www.cnblogs.com/oldhorse/])的一段話：

分布式計算是將大任務(wù)化分為小任務(wù)，各臺參與計算的電腦之間是在物理地域上的分布，一般有服務(wù)器作為“中央”，參與計算的電腦不用了解工作原理，僅僅只是就自己感興趣的項目做貢獻(xiàn)而已，注意，是“向別人”無償?shù)淖鲐暙I(xiàn)，不是自己“直接”受益；而網(wǎng)格計算是自己“直接”受益的，她通過一個平臺允許你調(diào)用別人計算機的處理資源，而別人根本就不知道你在用他的資源！這就是說，分布式計算是你和其他人一起組成“一臺”專供某些科研組織使用的超級處理機，網(wǎng)格計算是將所有網(wǎng)內(nèi)其他人的電腦組成一臺專供你自己使用的超級處理機。

圖4 網(wǎng)格計算

云計算

美國國家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）對云計算的定義：

云計算是一種模型，它可以實現(xiàn)隨時隨地、便捷地、隨需應(yīng)變地從可配置計算資源共享池中獲取所需的資源（例如 ，網(wǎng)絡(luò)、服務(wù)器、存儲、應(yīng)用、及服務(wù)），資源能夠快速供應(yīng)并釋放，使管理資源的工作量和與服務(wù)提供商的交互減小到最低限度。

目前我們經(jīng)常討論的云計算不僅僅是一個計算模型，還包含了運營服務(wù)等概念。 云計算是分布式計算、并行計算和網(wǎng)格計算的發(fā)展，或者說是這些概念的商業(yè)實現(xiàn)。

圖5 云計算