RAID控制器中磁盤接口控制器流水線設(shè)計(jì)與實(shí)現(xiàn)

　　隨著網(wǎng)絡(luò)發(fā)展和計(jì)算機(jī)的普及應(yīng)用，人們對存儲系統(tǒng)的性能要求越來越高，尤其是關(guān)鍵事務(wù)的應(yīng)用。廉價(jià)冗余磁盤陣列(RAID)采用分條和冗余的方法提高了存儲系統(tǒng)的容量、速度和可靠性，已成為高性能數(shù)據(jù)存儲的首選結(jié)構(gòu)。磁盤陣列控制器是磁盤陣列的核心，多數(shù)緩存預(yù)取策略、緩存置換策略、磁盤聚合寫策略、數(shù)據(jù)冗余計(jì)算、數(shù)據(jù)備份與重建均由磁盤陣列控制器完成。磁盤接口控制器主要負(fù)責(zé)磁盤組的管理及讀寫磁盤操作的具體實(shí)現(xiàn)。

　　流水線技術(shù)是計(jì)算機(jī)技術(shù)中同時(shí)具備空間并行性和時(shí)間并行性的技術(shù)，它把一個順序處理的過程分解成若干個子處理過程，每個子處理過程能在專用的獨(dú)立模塊上有效地并行工作。本文通過對磁盤接口控制器的流水線設(shè)計(jì)，提高了磁盤接口的吞吐率。較高的磁盤接口控制器吞吐率可以降低平均訪問時(shí)間，使復(fù)雜有效的預(yù)取和置換算法方便地應(yīng)用于磁盤陣列，提高緩存的命中率，從而提高磁盤陣列的整體性能。

　　1 現(xiàn)有磁盤接口控制器設(shè)計(jì)

　　磁盤接口設(shè)計(jì)方式主要有2種：(1)使用通用處理器充當(dāng)磁盤接口控制器，通過在處理器上運(yùn)行相應(yīng)的軟件完成來自控制器上其他處理器的磁盤操作請求。這種方式最大的優(yōu)點(diǎn)就是實(shí)現(xiàn)簡單，但缺點(diǎn)也很明顯。每一個新的磁盤操作請求必須在前一磁盤操作請求完成之后才能啟動，并且需要占用大量處理器時(shí)間的異或操作也由該處理器承擔(dān)，這使得每一次磁盤操作的時(shí)間太長，進(jìn)而使得磁盤接口控制器的平均磁盤訪問時(shí)間過長，吞吐率較低，尤其是降級模式讀操作和磁盤寫操作。(2)把需要長時(shí)間占用通用處理器的異或操作獨(dú)立出來，由異或?qū)Ｓ肁SIC完成此功能，其他操作仍由通用處理器運(yùn)行相應(yīng)的軟件完成?，F(xiàn)在的中低端磁盤陣列常采用這種方式。使用專用的ASIC分擔(dān)所有的異或操作，雖然可以部分減少需要異或操作的磁盤訪問時(shí)間，如降級模式讀操作和磁盤寫操作，但新的磁盤操作也必須在前一磁盤操作完成之后才會啟動，磁盤操作過程也是按順序執(zhí)行的，整體的吞吐率仍不是很高。所以這種方式不適合于高端磁盤陣列的需要。

　　2 并行流水線設(shè)計(jì)模型

　　與其他磁盤接口不同，磁盤陣列中的磁盤接口除了簡單地完成磁盤的讀寫外，還需要完成數(shù)據(jù)塊的邏輯地址到實(shí)際磁盤物理地址的映射和保證數(shù)據(jù)塊在磁盤陣列中可靠地存儲。根據(jù)所有磁盤操作請求完成的特點(diǎn)，磁盤接口操作被劃分為4個子任務(wù)，每一個子任務(wù)由一個獨(dú)立的模塊來實(shí)現(xiàn)。在具體實(shí)現(xiàn)時(shí)，這些模塊可以在同一芯片內(nèi)，也可以在不同芯片中。這4個模塊分別是：共享緩存操作模塊、異或計(jì)算操作模塊、地址映射模塊和磁盤操作模塊。共享緩存操作模塊根據(jù)給定的共享緩存數(shù)據(jù)塊地址讀寫數(shù)據(jù)塊；異或計(jì)算操作模塊是在降級模式讀磁盤操作和正常模式下磁盤寫操作時(shí)，完成異或計(jì)算；地址映射模塊主要實(shí)現(xiàn)磁盤數(shù)據(jù)塊的放置策略，將主機(jī)訪問磁盤陣列的地址，如邏輯塊地址LBA、邏輯單元號LUN，轉(zhuǎn)換為實(shí)際的磁盤號、柱面號、磁道號、扇區(qū)號等；磁盤操作模塊主要是根據(jù)地址映射模塊操作后的結(jié)果完成磁盤的讀寫，包括相應(yīng)的協(xié)議轉(zhuǎn)換。圖1是同一芯片實(shí)現(xiàn)各模塊的磁盤接口控制器的結(jié)構(gòu)框圖。

　　實(shí)際上每個磁盤操作執(zhí)行的這四個模塊的次序和次數(shù)是不定的。讀磁盤操作的數(shù)據(jù)流方向與寫磁盤操作的數(shù)據(jù)流方向是相反的，執(zhí)行這四個模塊的順序也是相反的。讀寫磁盤操作的各模塊執(zhí)行順序如圖2所示。一個磁盤操作請求只要在其執(zhí)行的第一個模塊空閑時(shí)便可啟動，多個磁盤操作請求可以重疊的方式被磁盤接口控制器處理。理想情況下，磁盤接口控制器可以同時(shí)處理4個磁盤操作請求。

　　3 關(guān)鍵問題分析

　　磁盤接口的并行流水線設(shè)計(jì)模型在具體實(shí)現(xiàn)時(shí)有2個問題需要解決：(1)如何控制磁盤操作請求在模塊間執(zhí)行順序和執(zhí)行次數(shù)。因?yàn)樵诰唧w執(zhí)行時(shí)有3種情況：4個模塊每個模塊執(zhí)行1次、執(zhí)行部分模塊多次和只執(zhí)行3個模塊。(2)需要操作的數(shù)據(jù)塊如何在模塊間進(jìn)行傳遞。

　　3.1 任務(wù)通信

　　要控制一個磁盤操作請求如何在模塊間進(jìn)行處理，一種有效的方式就是讓每個模塊都知道這個磁盤操作請求的具體需求。為此，一個用來描述磁盤操作請求的特殊的數(shù)據(jù)結(jié)構(gòu)被引入，其結(jié)構(gòu)如圖3。每一個磁盤操作請求都有一個磁盤操作數(shù)據(jù)塊結(jié)構(gòu)，磁盤接口控制器預(yù)處理部件每收到一個來自控制器上的其他處理器的磁盤操作請求便產(chǎn)生相應(yīng)的操作數(shù)據(jù)塊結(jié)構(gòu)，并根據(jù)其操作類型放入相應(yīng)的模塊任務(wù)池中。

　　每一個模塊都有一個任務(wù)池來存放操作數(shù)據(jù)塊結(jié)構(gòu)。模塊總是從自己的任務(wù)池中取操作數(shù)據(jù)塊結(jié)構(gòu)，然后根據(jù)數(shù)據(jù)塊結(jié)構(gòu)中的說明進(jìn)行相應(yīng)的處理，處理完成后再根據(jù)數(shù)據(jù)塊結(jié)構(gòu)中的說明正確地放入到下一個模塊的任務(wù)池中。如某個模塊處理后磁盤操作請求已完成，則該模塊不再向其他模塊傳遞該數(shù)據(jù)塊結(jié)構(gòu)，直接將其刪除。這種方式簡單有效，易于編碼實(shí)現(xiàn)。

　　3.2 緩沖管理

　　在RAID5中，計(jì)算奇偶校驗(yàn)塊需要同分條中的4個數(shù)據(jù)塊，因此異或計(jì)算模塊需要一個較大的緩沖來存放數(shù)據(jù)塊。其他模塊也至少需要一個數(shù)據(jù)塊大小的緩沖存放當(dāng)前操作的數(shù)據(jù)塊。一個雙隊(duì)列的生產(chǎn)者-消費(fèi)者模型(如圖4)被用來實(shí)現(xiàn)高效緩沖管理。

　　這2個隊(duì)列的長度不是固定的，是根據(jù)每個操作方向上的請求數(shù)量動態(tài)調(diào)整。在圖4中，若讀磁盤操作請求較多則增加緩沖隊(duì)列1的長度；若寫磁盤操作請求較多則增加緩沖隊(duì)列2的長度。2個隊(duì)列的總大小總是小于或等于整個緩沖的大小。每一個隊(duì)列都是循環(huán)隊(duì)列，生產(chǎn)者總是把新的數(shù)據(jù)塊放到隊(duì)列的尾部；只要該隊(duì)列不為空，消費(fèi)者總是從隊(duì)列的頭部取走數(shù)據(jù)塊。

　　4 磁盤接口控制器系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

　　4.1 應(yīng)用環(huán)境

　　本控制器應(yīng)用在RAID控制器的系統(tǒng)總線與連接硬盤的SAS總線之間，主要根據(jù)RAID控制器中的主處理器命令進(jìn)行可靠快速的磁盤數(shù)據(jù)塊的讀寫。

　　圖5描述了本控制器典型應(yīng)用環(huán)境。深色部分為本控制器，淺色部分是外部環(huán)境。

　　從應(yīng)用環(huán)境中可以看出，磁盤接口控制器是連接RAID控制器與硬盤組的橋梁。磁盤接口控制器通過SAS總線連接多個硬盤，通過系統(tǒng)總線(如PCI總線)連接到RAID控制器整個系統(tǒng)中。

　　4.2 總體結(jié)構(gòu)與各功能模塊

　　磁盤接口控制器包括5個大的功能模塊：磁盤命令預(yù)處理模塊、共享緩存操作模塊、地址映射模塊、異或計(jì)算模塊、磁盤操作模塊。由于采用的是FPGA測試和驗(yàn)證，對成熟的模塊，如PCI模塊、SATA模塊、DMA模塊直接使用FPGA中的資源。四級流水的磁盤接口控制器總體結(jié)構(gòu)如圖6。

　　4.2.1 命令預(yù)處理模塊

　　命令預(yù)處理模塊主要根據(jù)RAID控制器中主處理器的命令決定該命令的操作流程，不同的讀寫方式在不同的工作模式下其數(shù)據(jù)流程不一樣。命令預(yù)處理模塊主要包括命令緩沖區(qū)和PLC微處理器。命令緩沖區(qū)主要接收RAID控制器中主處理器發(fā)過來的命令，命令包括：2種工作模式命令(正常模式和降級模式)、2種分條讀寫方式（完整分條和部分分條）、磁盤寫命令（首個邏輯塊地址LBA，邏輯塊數(shù)）、磁盤讀命令（首個邏輯塊地址LBA，邏輯塊數(shù)）。PLC微處理器是一個8 bit RISC微處理器，也是整個控制器的核心，負(fù)責(zé)解析磁盤操作命令和控制命令的整個執(zhí)行過程，包括其他4個功能模塊的任務(wù)分派和協(xié)調(diào)。

　　4.2.2 共享緩存操作模塊

　　RAID控制器包含有大容量的SDRAM作為磁盤陣列的緩存，所有異或操作的數(shù)據(jù)塊都存放在緩存中。共享緩存操作模塊主要完成緩存數(shù)據(jù)塊的讀寫，包括PCI總線和讀寫控制邏輯。PCI總線使用FPGA芯片自身所帶的邏輯，讀寫控制邏輯主要根據(jù)命令預(yù)處理模塊發(fā)過來的命令產(chǎn)生相應(yīng)的讀寫時(shí)序并解決總線沖突。

　　4.2.3 地址映射模塊

　　由于RAID控制器中主處理器操作的都是邏輯地址，地址映射模塊完成的是邏輯地址到物理盤號、柱面號、扇區(qū)號的映射。地址映射模塊包括邏輯地址寄存器和物理地址寄存器，并包括一個地址變換機(jī)構(gòu)。地址變換機(jī)構(gòu)是一個快速哈希變換機(jī)構(gòu)，輸入的邏輯地址通過快速哈希變換和相應(yīng)的查表獲得實(shí)際的物理地址。

　　4.2.4 異或操作模塊

　　異或操作模塊是RAID保證數(shù)據(jù)可靠性的基礎(chǔ)，主要完成異或計(jì)算。這個模塊比較簡單，包括2個數(shù)據(jù)輸入寄存器和一個輸出寄存器，所有寄存器的位數(shù)是256 bit，一次異或操作可完成2個16 B數(shù)據(jù)的操作。一個分條的異或操作通過多次執(zhí)行異或計(jì)算邏輯來實(shí)現(xiàn)。

　　4.2.5 磁盤操作模塊

　　磁盤操作模塊主要完成實(shí)際磁盤的數(shù)據(jù)讀寫，該模塊通過SATA總線連接多個磁盤。該模塊主要包括SATA主控制器和磁盤操作單元，SATA主控制器使用FPGA芯片本身自帶的邏輯，磁盤操作單元是要實(shí)現(xiàn)的邏輯，主要接收和執(zhí)行PLC微處理器發(fā)過來的讀寫命令，將數(shù)據(jù)從磁盤讀到共享緩沖區(qū)或把共享緩沖區(qū)的數(shù)據(jù)寫到對應(yīng)的磁盤上。

　　4.3 RTL設(shè)計(jì)與實(shí)現(xiàn)

　　根據(jù)前述的系統(tǒng)結(jié)構(gòu)和各功能模塊，對本控制器進(jìn)行了RTL設(shè)計(jì)和實(shí)現(xiàn)。這里以復(fù)位控制、輸入控制為例說明其實(shí)現(xiàn)過程。

　　復(fù)位控制是IC設(shè)計(jì)中一個基本而重要的問題。綜合同步復(fù)位和異步復(fù)位的優(yōu)缺點(diǎn)，對復(fù)位控制電路的設(shè)計(jì)采用“異步復(fù)位，同步撤離”的策略，使用2個觸發(fā)器級聯(lián)，消除亞穩(wěn)態(tài)的影響。同時(shí)，為了濾除異步復(fù)位中毛刺的影響，在復(fù)位端口用一個二輸入與非門和一個緩沖器設(shè)計(jì)了一級濾除毛刺的電路，這樣就可以得到一個干凈的復(fù)位信號。

　　在本控制器的5個子模塊中都存在數(shù)據(jù)的輸入和輸出。不同的模塊只需要配置不同大小的FIFO。輸入控制的設(shè)計(jì)主要以一個異步FIFO作為彈性緩沖器，該FIFO的大小是可配置的。另外還有一部分邏輯用來生成輸出數(shù)據(jù)有效指示信號，這個指示信號采集到的FIFO讀信號有效時(shí)即為有效。

　　5 FPGA測試與實(shí)驗(yàn)結(jié)果

　　經(jīng)過RTL設(shè)計(jì)、仿真及相應(yīng)的EDA驗(yàn)證，實(shí)現(xiàn)了流水線的磁盤接口控制器并對該控制器進(jìn)行了FPGA測試。測試過程中，使用的測試平臺板為Xilinx ML505測試平臺，主芯片為Virtex-5 FPGA，在不加SATA多路器的情況下可同時(shí)連接4個SATA硬盤。

　　為了進(jìn)行性能分析和比較，除了流水線的磁盤接口控制器外，同樣基于Virtex-5 FPGA并使用MIPS CPU核的磁盤接口控制器也被實(shí)現(xiàn)?；贛IPS CPU核的磁盤接口控制器在Virtex-5 FPGA上可以很方便地實(shí)現(xiàn)，因?yàn)閂irtex-5 FPGA本身自帶MIPS CPU核和SATA控制器。只需要實(shí)現(xiàn)專用異或邏輯及在MIPS CPU核實(shí)現(xiàn)地址映射和讀寫控制即可。

　　測試過程中使用的磁盤為高速SATA磁盤，對應(yīng)的磁盤參數(shù)見表1。這里只對磁盤接口控制器進(jìn)行測試，對磁盤陣列控制器中主處理器產(chǎn)生的磁盤操作命令通過模擬產(chǎn)生。命令到達(dá)的方式服從泊松分布,工作為正常工作模式，讀寫方式為隨機(jī)產(chǎn)生。在讀磁盤請求數(shù)與寫磁盤請求數(shù)相等的情況下，其實(shí)驗(yàn)結(jié)果如圖7所示。由圖可知，在任何磁盤請求到達(dá)率情況下，基于流水線的磁盤接口控制器的吞吐率都比基于MIPS的吞吐率高。在其他讀寫請求比率的條件下，也可以得到類似的結(jié)果。

　　磁盤陣列控制器是磁盤陣列的核心，直接決定了整個磁盤陣列的性能。本文通過研究現(xiàn)有磁盤接口設(shè)計(jì)和磁盤接口完成的功能，提出了一種磁盤接口的并行流水線設(shè)計(jì)模型，并對該模型實(shí)現(xiàn)過程中的模塊間的通信問題和模塊間的緩沖管理問題進(jìn)行了相應(yīng)的分析和設(shè)計(jì)。實(shí)驗(yàn)結(jié)果表明，在各種情況下，磁盤接口的吞吐率都有提高，在高寫請求率和重負(fù)載兩種情況下尤為顯著。較高的磁盤接口控制器的吞吐率可以降低平均訪問時(shí)間，使復(fù)雜有效的預(yù)取和置換算法方便地應(yīng)用于磁盤陣列，提高緩存的命中率，從而提高磁盤陣列的整體性能。