如何讓linux服務(wù)器磁盤io性能翻倍
假設(shè)一個網(wǎng)頁上有10張圖片,這10張圖片雖然存在10個文件中,但其實是幾乎同時被用戶訪問的。
如果能讓這10張圖片存儲在連續(xù)的磁盤空間中,就能把io性能提升10倍(一次尋道就可以讀10個文件了)
傳統(tǒng)的做法是通過拼接圖片來將這10張圖片合并到一張大圖中,再由前端將大圖切成10張小圖。
有了e4defrag后,可以將需連續(xù)訪問的文件放在同一個文件夾下,再定期使用e4defrag進(jìn)行磁盤整理。
實現(xiàn)自己的文件系統(tǒng)
我們曾經(jīng)寫過一款專用文件系統(tǒng),針對代理服務(wù)器,將磁盤io性能提升到3-5倍。
在大部分服務(wù)器上,不需要支持“修改文件”這個功能。一旦文件創(chuàng)建好,就不能再做修改操作,只支持讀取和刪除。在這個前提下,我們可以消滅所有文件碎片,把磁盤io效率提升到理論極限。
在我們服務(wù)器中,每個文件的緩沖區(qū)最大值設(shè)定為16MB
小于16MB的文件,在服務(wù)器準(zhǔn)備好整個文件內(nèi)容后,再創(chuàng)建文件。創(chuàng)建文件時服務(wù)器給出文件大小,文件系統(tǒng)保證為文件分配連續(xù)的空間。
讀寫文件時,服務(wù)器一次性讀寫整個文件。
大于16MB的文件,服務(wù)器創(chuàng)建文件時告訴文件系統(tǒng)分配16MB磁盤空間。后續(xù)每次擴大文件大小時,要么是16MB,要么就是文件終結(jié)。不允許在文件未終結(jié)的情況下分配非16MB的空間。
讀寫文件時,每次讀寫16MB或者直到文件末尾。
在我們的文件系統(tǒng)中,小文件完全無碎片,一次尋道就能搞定一個文件,達(dá)到了理論上最佳的性能。
大文件每次磁頭定位讀寫16MB,性能沒有達(dá)到100%,但已經(jīng)相當(dāng)好了。
有一個公式可以衡量磁盤io的效率:
磁盤利用率 = 傳輸時間/(平均尋道時間+傳輸時間)
對我們當(dāng)時采用的磁盤來說(1T 7200轉(zhuǎn)sata),16MB連續(xù)讀寫已經(jīng)可以達(dá)到98%以上的磁盤利用率。
評論