并行編程提升單芯片多處理性能

在指定的實(shí)現(xiàn)技術(shù)下，要將單個(gè)處理器性能發(fā)揮到極致并不容易。更快的時(shí)鐘，更深的管線和更大的緩存都會(huì)導(dǎo)致占用更大的硅片面積和功耗開銷，并有可能使得最后10%的性能增益化為烏有。有些時(shí)候沒有其它選擇，只能靠提高時(shí)鐘速率，升級(jí)電源和冷卻子系統(tǒng)。但是將處理任務(wù)分配到多個(gè)處理器的做法可以最大程度提升整體性能極限，處理器設(shè)計(jì)也會(huì)更簡單、更高效。

　　當(dāng)今的許多嵌入式系統(tǒng)級(jí)芯片(SoC)設(shè)計(jì)已經(jīng)在使用多個(gè)處理器，不過，它們都是以一種特定應(yīng)用或松散結(jié)合的方式實(shí)現(xiàn)。直到最近，針對(duì)軟件友好的多處理SoC設(shè)計(jì)功能還是受限。如今市場已經(jīng)有諸如MIPS32 1004K一致處理系統(tǒng)(CPS)這種新的SoC設(shè)計(jì)組件推出，意味著在單操作系統(tǒng)環(huán)境中片上對(duì)稱多處理(SMP)技術(shù)已經(jīng)成為現(xiàn)實(shí)。

　　雖然并行編程會(huì)使軟件工程師感到恐懼，因?yàn)椴⒉皇侨楷F(xiàn)有代碼都是針對(duì)并行處理平臺(tái)編寫的，但針對(duì)并行軟件已經(jīng)有多種范例，其中一些對(duì)于軟件設(shè)計(jì)師是來說已經(jīng)是很熟悉的了。

　　數(shù)據(jù)并行算法

　　數(shù)據(jù)并行算法通過劃分?jǐn)?shù)據(jù)集來使用一個(gè)以上的處理器，甚至數(shù)量眾多的CPU。在教科書中，大的數(shù)據(jù)集通常是一種很大的輸入文件或數(shù)組，但在嵌入式系統(tǒng)中，它可能意味著高的I/O和事件服務(wù)帶寬。在一些SoC架構(gòu)中，多個(gè)輸入數(shù)據(jù)源(如網(wǎng)絡(luò)接口端口)可以被靜態(tài)地分配到運(yùn)行相同驅(qū)動(dòng)程序/路由程序代碼的多個(gè)處理器上，從而實(shí)現(xiàn)自然的數(shù)據(jù)并行處理。

　　當(dāng)對(duì)單個(gè)數(shù)組或輸入流應(yīng)用多處理器技術(shù)時(shí)，“分而治之”的數(shù)據(jù)并行算法很常見。這樣的算法對(duì)于單處理器來說通常不是最優(yōu)的，但是因?yàn)榫哂懈嗟挠?jì)算帶寬，因此可以彌補(bǔ)效率的不足。這些算法對(duì)并行計(jì)算來說是可擴(kuò)展的，但是將一個(gè)正常工作的順序執(zhí)行程序轉(zhuǎn)換成一個(gè)并行數(shù)據(jù)算法可能面臨價(jià)值不高、困難或不可能的局面，具體情況取決于程序依賴特性等因素。為了提高性能，如果絕大部分的應(yīng)用計(jì)算都是用很少量的常規(guī)運(yùn)算循環(huán)來實(shí)現(xiàn)的話，系統(tǒng)設(shè)計(jì)師很可能毫不猶豫地采用數(shù)據(jù)并行算法。

　　用于PC、工作站、服務(wù)器的多內(nèi)核X86芯片的出現(xiàn)催生了新的庫和工具套件，它們可以幫助設(shè)計(jì)師在數(shù)量適中的處理器上更容易地建立和開發(fā)并行算法。對(duì)于像MIPS這樣的嵌入式架構(gòu)來說許多算法都是開源和可移植的。針對(duì)數(shù)據(jù)并行C/C++以及Fortran的GCC擴(kuò)展已經(jīng)成為標(biāo)準(zhǔn)GNU編譯器集的一個(gè)組成部分。

　　圖1左：復(fù)雜模塊化多任務(wù)處理嵌入式軟件系統(tǒng)通常表現(xiàn)出“偶發(fā)”的并行特性。在使用時(shí)間共享的OS時(shí)，每個(gè)任務(wù)必須運(yùn)行在獨(dú)立的處理器上。而在一個(gè)時(shí)間共享的單處理器上，每個(gè)任務(wù)將在不同時(shí)間片中輪流執(zhí)行。在一個(gè)采用了SMP OS的多處理器上，任務(wù)將在多個(gè)處理器上并行運(yùn)行。

　　圖1右：在SMP OS中，所有處理器都能看到相同的存儲(chǔ)器、I/O器件和全局OS狀態(tài)。在使用時(shí)間片的單CPU上執(zhí)行多任務(wù)的一組程序可以在SMP系統(tǒng)的多個(gè)CPU上并行運(yùn)行。

　　并行控制編程

　　并行控制編程將根據(jù)任務(wù)而不是輸入進(jìn)行工作劃分。如果將100通道的并行數(shù)據(jù)算法比作汽車工廠內(nèi)100個(gè)工人各自在組裝一輛汽車，那么并行控制程序就可以比作有100個(gè)工作崗位的組裝線，每個(gè)崗位完成百分之一的工作。組裝線通常效率更高，但是組裝一輛汽車的工作可能只能進(jìn)行這樣的分工。對(duì)于可以擴(kuò)展到多達(dá)數(shù)千個(gè)處理器的科學(xué)計(jì)算程序而言，這個(gè)限制影響很大，但是對(duì)于一般的并行SoC架構(gòu)來說不是問題。

　　軟件工程師經(jīng)常將程序劃分成若干個(gè)階段以便于編碼、調(diào)試和維護(hù)，并減輕指令存儲(chǔ)器和緩存的壓力。通常，并行控制分解在OS可視任務(wù)層面就已經(jīng)完成。在類似Unix這樣的系統(tǒng)中，單指令“cc”順序地調(diào)用C語言預(yù)處理器、編譯器、匯編器和目標(biāo)代碼連接器。其中幾個(gè)可以同時(shí)運(yùn)行，每個(gè)后續(xù)程序使用前一個(gè)階段的輸出作為其輸入，并使用類似Unix這樣的OS內(nèi)的文件或軟件管線。

　　當(dāng)分解成獨(dú)立運(yùn)行的任務(wù)還沒有完成的時(shí)候，需要某些軟件工程使應(yīng)用階段對(duì)OS和底層硬件可見，并且在任務(wù)之間明確地傳遞數(shù)據(jù)。但是不需要對(duì)部分階段算法進(jìn)行重寫。粗粒度的任務(wù)分解可以通過文件、套接字或管線實(shí)現(xiàn)進(jìn)程通信來完成。對(duì)于細(xì)粒度控制，許多OS支持Posix線程API、pthreads，包括Linux、微軟的Windows和多種實(shí)時(shí)操作系統(tǒng)。

　　復(fù)雜的模塊化多任務(wù)嵌入式軟件系統(tǒng)通常表現(xiàn)出偶然的并行特性。整個(gè)系統(tǒng)任務(wù)可能涉及到對(duì)應(yīng)不同輸入而具有不同功能的多個(gè)任務(wù)。當(dāng)沒有時(shí)間共享的OS時(shí)，每個(gè)任務(wù)必須運(yùn)行在一個(gè)獨(dú)立的處理器上。而在一個(gè)時(shí)間共享的單處理器上，每個(gè)任務(wù)將在不斷輪換的時(shí)間片中運(yùn)行。在一個(gè)采用SMP操作系統(tǒng)的多處理器上，每個(gè)任務(wù)可以在多個(gè)可用的處理器上并行運(yùn)行。

　　分布式處理

　　分布式計(jì)算，特別是網(wǎng)絡(luò)客戶服務(wù)器模式很常見，以至于有時(shí)不被認(rèn)為是“并行”的?？蛻舴?wù)器編程基本上是一種控制流程分解的形式。程序任務(wù)并不是獨(dú)自執(zhí)行所有的計(jì)算，而是將工作請(qǐng)求發(fā)送到針對(duì)特定目標(biāo)分配的專用系統(tǒng)任務(wù)?？蛻舴?wù)器編程大多數(shù)在LAN和WAN中完成，但是SMP SoC遵循相同的范例。未作修改的客戶服務(wù)器二進(jìn)制代碼可以通過片上或空環(huán)回網(wǎng)絡(luò)接口實(shí)現(xiàn)TCP/IP通信，或者利用本地通信協(xié)議在存儲(chǔ)器中傳遞數(shù)據(jù)緩沖器實(shí)現(xiàn)更有效的通信。

　　可以通過單獨(dú)使用或者組合使用這些技術(shù)來充分發(fā)揮SMP的處理器能力。有人甚至可能構(gòu)建一組采用并行數(shù)據(jù)計(jì)算的分布式SMP服務(wù)器，每個(gè)服務(wù)器實(shí)現(xiàn)一條控制流管線。

　　在有可能通過將任務(wù)靜態(tài)地物理分解到處理器上實(shí)現(xiàn)并行機(jī)制的SoC系統(tǒng)中，將并行任務(wù)分配到各個(gè)處理器可以由硬件實(shí)現(xiàn)。這樣做能減少軟件開銷和物理尺寸，但是缺乏靈活性。

　　如果一個(gè)嵌入式應(yīng)用可以靜態(tài)地分解到通過片上互聯(lián)通信的客戶機(jī)和服務(wù)器，那么整合整個(gè)系統(tǒng)所需要的唯一系統(tǒng)軟件就是實(shí)現(xiàn)一個(gè)公共協(xié)議的消息傳遞代碼。消息傳遞協(xié)議提供了一個(gè)抽象等級(jí)，它能幫助采用更多或更少處理器的配置運(yùn)行最基本的應(yīng)用代碼，但是對(duì)于任何一個(gè)配置來說，在處理器之間的負(fù)載均衡與硬件分割一樣是靜態(tài)的。更靈活的并行系統(tǒng)編程可以由具有共享資源的多處理器系統(tǒng)之上的軟件任務(wù)分配實(shí)現(xiàn)。

　　在SMP操作系統(tǒng)中，所有的處理器面對(duì)的是相同的存儲(chǔ)器、I/O器件和全局OS狀態(tài)，從而使得處理器之間的程序移植簡單而高效，負(fù)載均衡也非常容易。不需要額外的編程或系統(tǒng)管理，在使用時(shí)間片的單個(gè)CPU上執(zhí)行多任務(wù)的一組程序可以并行地運(yùn)行在SMP系統(tǒng)的多個(gè)CPU上。像Linux中一樣，SMP調(diào)度器對(duì)程序的處理器資源占用進(jìn)行切換。

　　作為多進(jìn)程運(yùn)行的Linux應(yīng)用程序不需要修改就可以利用SMP并行特性，而且通常不需要進(jìn)行重新編譯。SMP Linux環(huán)境提供了很多工具，用于調(diào)整任務(wù)如何共享可用的處理器資源—提高/降低任務(wù)的優(yōu)先級(jí)，或者限制任務(wù)運(yùn)行在任意的處理器子集上。適當(dāng)?shù)膬?nèi)核支持可以實(shí)現(xiàn)不同的實(shí)時(shí)調(diào)度機(jī)制。

　　類似于Unix的OS總是能為應(yīng)用程序提供針對(duì)相對(duì)任務(wù)調(diào)度優(yōu)先級(jí)的某種控制，即使在單處理器時(shí)間共享系統(tǒng)中。傳統(tǒng)的外部命令和系統(tǒng)調(diào)用在Linux系統(tǒng)中通過更加精心設(shè)計(jì)的機(jī)制得到了增強(qiáng)，可以控制任務(wù)優(yōu)先級(jí)、任務(wù)組或特定的系統(tǒng)用戶。而且，在多處理器配置中，每一個(gè)Linux任務(wù)都具有一個(gè)參數(shù)，這個(gè)參數(shù)規(guī)定了那一組處理器可以調(diào)度該任務(wù)。默認(rèn)參數(shù)是整個(gè)系統(tǒng)處理器組，但是這種CPU關(guān)系是可以控制的。

　　SMP范例要求所有處理器能訪問相同地址下的所有存儲(chǔ)器。對(duì)于低性能的處理器來說，這是通過將所有處理器的取指和加載/保存流放到公共的存儲(chǔ)和I/O總線上實(shí)現(xiàn)的。然而這種模式隨著處理器的增多將很快失去效用，因?yàn)榭偩€成為了瓶頸。即使在單處理器系統(tǒng)中，高性能嵌入式內(nèi)核的指令和數(shù)據(jù)帶寬要求規(guī)定緩存必須在主存儲(chǔ)器和處理器之間使用。

　　每個(gè)處理器都有獨(dú)立緩存的系統(tǒng)不再必然是SMP。當(dāng)一個(gè)處理器的緩存保存了存儲(chǔ)器中最新位置值的唯一拷貝時(shí)，就是不對(duì)稱的了。必須增加緩存一致性協(xié)議才能恢復(fù)對(duì)稱性。

　　在所有處理器都連接到公共總線的簡單系統(tǒng)中，緩存控制器可以通過監(jiān)測總線來觀察哪一個(gè)緩存保存了最新的指定存儲(chǔ)器位置。在更先進(jìn)的系統(tǒng)中，處理器是利用到交換結(jié)構(gòu)的點(diǎn)對(duì)點(diǎn)連接連接到存儲(chǔ)器的，因此緩存一致性需要更復(fù)雜的支持。一致性管理單元應(yīng)該對(duì)存儲(chǔ)器事務(wù)施加全局指令，并產(chǎn)生干涉信號(hào)來維護(hù)處理器內(nèi)核之間的緩存一致性。

　　像Linux這樣的SMP OS能夠自由地移植任務(wù)，動(dòng)態(tài)地均衡處理器負(fù)載。在嵌入式SoC中，很大部分的總體計(jì)算可以用中斷服務(wù)完成。好的負(fù)載均衡和性能調(diào)整需要對(duì)發(fā)生中斷服務(wù)的位置進(jìn)行控制。Linux OS具有一個(gè)IRQ關(guān)系控制接口，該接口可以讓用戶和程序規(guī)定哪個(gè)處理器對(duì)某個(gè)指定中斷提供服務(wù)。

　　緩存一致性基礎(chǔ)架構(gòu)不僅在SMP用的處理器之間，而且在處理器和I/O DMA通道之間都非常管用。使用軟件時(shí)要求CPU在每個(gè)I/O DMA操作之前或之后對(duì)DMA緩存進(jìn)行處理。這對(duì)I/O密集的應(yīng)用性能有很大的影響。使用I/O一致性硬件連接I/O DMA和存儲(chǔ)器可以對(duì)DMA流進(jìn)行排序，并能與相關(guān)的加載/保存流程集成在一起，從而有效消除軟件開銷。

　　緩存一致性管理單元應(yīng)該對(duì)處理器、I/O和存儲(chǔ)器之間的存儲(chǔ)流進(jìn)行排序。這樣做增加了處理器的存儲(chǔ)器訪問時(shí)間周期，可能導(dǎo)致管線暫停引起的處理器周期損失。然而，每個(gè)內(nèi)核使用的硬件多線程等技術(shù)允許單個(gè)內(nèi)核通過執(zhí)行并行的指令流來增加管線的效率。

　　每個(gè)內(nèi)核中的線程看起來就像是運(yùn)行OS軟件的全能CPU，包括具有獨(dú)立的中斷輸入。線程共享相同的緩存和功能單元，并交叉執(zhí)行管線命令。如果一個(gè)線程暫停，另外一個(gè)可以執(zhí)行，這樣可以避免因?yàn)橄嚓P(guān)的存儲(chǔ)器子系統(tǒng)延遲而導(dǎo)致的處理周期丟失。管理多個(gè)內(nèi)核的相同SMP OS可以管理它們的相應(yīng)硬件線程。為利用SMP而編寫的軟件自然能利用多線程處理技術(shù)，反之亦然。

　　兩個(gè)線程競爭一個(gè)管線取得的性能將比在獨(dú)立內(nèi)核上執(zhí)行兩個(gè)線程要低。應(yīng)該對(duì)SMP Linux內(nèi)核進(jìn)行負(fù)載均衡優(yōu)化。為了優(yōu)化功耗，調(diào)度器每次可以將任務(wù)加載到一個(gè)內(nèi)核的虛擬處理器上，讓其他處理器處于低功耗狀態(tài)。為了優(yōu)化性能，可以將工作任務(wù)分配到若干個(gè)內(nèi)核上，然后加載每個(gè)內(nèi)核的多個(gè)線程，這樣所有的內(nèi)核都有一個(gè)活動(dòng)的任務(wù)?？梢岳闷隙嗵幚砑夹g(shù)提高SoC性能。SMP平臺(tái)和軟件提供了一種靈活的高性能計(jì)算平臺(tái)，相對(duì)于單處理器可以大大地提高速度，而且很少甚至無需應(yīng)用代碼的修改。