美光專欄 | 利用閃存存儲提升 Apache Kafka 的性能
我是美光科技的首席存儲解決方案工程師Dennis Lattka。這個頭銜的真正含義是,我要致力于確定如何利用閃存存儲改善工作負(fù)載應(yīng)用的性能和結(jié)果。為此,我決定對大數(shù)據(jù)生態(tài)系統(tǒng)中最常用的分布式消息傳遞系統(tǒng)之一的Apache Kafka進(jìn)行評估,測試如何以最佳方式將美光固態(tài)存儲應(yīng)用于 Apache Kafka,以及將產(chǎn)生怎樣的收益。
本文引用地址:http://m.butianyuan.cn/article/201712/373190.htm
Apache Kafka介紹
如果您不熟悉Apache Kafka,可以瀏覽http://kafka.apache.org/網(wǎng)站,了解一些快速入門知識。
通過對所涉及的各種資源(即 CPU、內(nèi)存、磁盤活動和網(wǎng)絡(luò))進(jìn)行監(jiān)控,我發(fā)現(xiàn)主要的瓶頸因素依次為磁盤和網(wǎng)絡(luò)。
一切取決于吞吐量
通過 Apache Kafka我發(fā)現(xiàn),吞吐量決定一切。Kafka 開發(fā)人員在將寫入數(shù)據(jù)直接傳遞到內(nèi)核頁面緩存方面做得非常出色,最大限度地減少了與 I/O 相關(guān)的問題。但是,無論這項開發(fā)功能如何出色,I/O 最終仍會轉(zhuǎn)化為對 Kafka 分區(qū)(主題日志文件)的連續(xù)寫入。因此所使用的磁盤的吞吐量越高,性能提升幅度就會越大。
在弄清楚了如何以最佳方式測試 Apache Kafka 以及使用哪些參數(shù)效果最好之后,我使用其內(nèi)置的發(fā)生器測試腳本進(jìn)行了一次簡單的測試。3 個發(fā)生器共向一個 Kafka 代理發(fā)送了 6 億條 100 字節(jié)的消息。
測試包括以下內(nèi)容:(沒有進(jìn)行調(diào)整,僅采用默認(rèn)配置。)
- 總共產(chǎn)生了 600 個主題。
- 為每個發(fā)生器分配了 200 個特定于該發(fā)生器的主題。
- 每個發(fā)生器為每個主題創(chuàng)建了 100 萬條消息。
- 采用的消息大小為每條消息 100 字節(jié)。
使用的硬件:
- 每個服務(wù)器配備 1 個代理和 3 個發(fā)生器,采用相同配置。
- 兩個英特爾(R)至強(qiáng)(R) CPU E5-2690 v3 @ 2.60GHz 處理器。
- 384GB 內(nèi)存
- 兩個固定在 ALB 模式的 10Gb 網(wǎng)卡。
使用 6TB 7.2k 硬盤、美光5100 ECO 1920GB 固態(tài)硬盤和美光9100 Pro 3.2TB NVMe硬盤進(jìn)行了對比。
在每次測試中,Apache Kafka 代理分區(qū)都位于進(jìn)行測試的硬盤上。
結(jié)果如下:
從上表可以看出,吞吐量越高,每秒的 I/O 就越高,這對于 Apache Kafka 意味著每秒可以處理更多數(shù)量的連續(xù)消息(顯示單位為 MB/s)。
結(jié)論
在 Apache Kafka 配置中采用吞吐量更高的磁盤設(shè)備(如美光5100 系列固態(tài)硬盤或美光 NVMe 固態(tài)硬盤)將顯著提高 Apache Kafka 的性能。
了解更多美光科技固態(tài)硬盤產(chǎn)品為企業(yè)IT帶來的超強(qiáng)動力,請點擊閱讀原文,登錄美光科技官網(wǎng)查看。
評論