如何實(shí)現(xiàn)數(shù)據(jù)處理性能提升？為你揭曉背后功臣

作者：時(shí)間：2024-09-26 來(lái)源：Arm

加入技術(shù)交流群
- 掃碼加入
  和技術(shù)大咖面對(duì)面交流
  海量資料庫(kù)查詢(xún)

Arm 架構(gòu)在服務(wù)器領(lǐng)域發(fā)展勢(shì)頭看漲。目前已有許多頭部云服務(wù)提供商和服務(wù)器制造商推出了基于 Arm Neoverse 平臺(tái)的服務(wù)器產(chǎn)品。Arm 架構(gòu)的服務(wù)器通常具備低功耗的特性，能帶來(lái)更優(yōu)異的能效比。在此前的文章中，針對(duì)搭載基于 Armv9 架構(gòu)的倚天 710 芯片的 ECS 倚天實(shí)例，Arm 技術(shù)專(zhuān)家已在深度學(xué)習(xí)推理任務(wù) 、 Redis 性能驗(yàn)證等方面進(jìn)行了測(cè)試和比較分析。此次我們將聚焦數(shù)據(jù)處理領(lǐng)域，通過(guò)兩個(gè)實(shí)際案例，來(lái)探討不同云實(shí)例上 Apache Flink 和 Elasticsearch 的性能差異。

本文引用地址：http://m.butianyuan.cn/article/202409/463223.htm

案例一

針對(duì) Apache Flink 的性能測(cè)試

在基于 Arm 架構(gòu)的倚天實(shí)例上

部署 Apache Flink

性能提升最高可達(dá) 83% ！

Apache Flink 是用于對(duì)有界和無(wú)界數(shù)據(jù)流進(jìn)行有狀態(tài)計(jì)算的框架。其核心是使用 Java 和 Scala 編寫(xiě)的分布式流式數(shù)據(jù)流引擎。該測(cè)試同樣比較了 g8y 和 g7 之間的性能差異。

測(cè)試環(huán)境

測(cè)試使用了三個(gè)工作節(jié)點(diǎn)和一個(gè)主節(jié)點(diǎn)來(lái)運(yùn)行 Flink 集群，并使用數(shù)據(jù)流基準(zhǔn)測(cè)試工具 Nexmark 進(jìn)行基準(zhǔn)測(cè)試。為確保測(cè)試的公正性，g8y 和 g7 云實(shí)例的 CPU核心數(shù)量和內(nèi)存大小、操作系統(tǒng)以及 Flink 軟件版本與配置均相同。

在進(jìn)行基準(zhǔn)測(cè)試時(shí)，總共有 21 個(gè)查詢(xún)測(cè)試連續(xù)運(yùn)行。硬件和軟件配置如下所示：

測(cè)試結(jié)果

從測(cè)試結(jié)果可以看出：

對(duì)于吞吐量較高的查詢(xún)測(cè)試，g8y 的性能表現(xiàn)明顯優(yōu)于 g7。具體來(lái)說(shuō)，g8y 在 q13 指標(biāo)上比 g7 高了 83%，在 q14 指標(biāo)上高了 76%。

對(duì)于吞吐量較低的查詢(xún)測(cè)試（包含一些測(cè)試誤差），g8y 的吞吐量水平與 g7 相當(dāng)。

在多數(shù)查詢(xún)測(cè)試中，g8y 的性能表現(xiàn)相較 g7 高出 30% 以上，同時(shí)在部分查詢(xún)測(cè)試中，g8y 的性能表現(xiàn)相較 g7 高出 70% 以上；在一個(gè)查詢(xún)測(cè)試中，g8y 的性能高出 83%。

圖：RPS：每秒記錄數(shù)

案例二

在云實(shí)例上部署 Elasticsearch

在基于 Arm 架構(gòu)的倚天實(shí)例上

部署 Elasticsearch

性能提升高達(dá) 36% ！

Elasticsearch 是功能強(qiáng)大的開(kāi)源、分布式搜索和分析引擎，以其速度、可擴(kuò)展性和靈活性而聞名。該引擎用途非常廣泛，包括全文搜索、日志記錄和日志分析、實(shí)時(shí)分析等，在云環(huán)境中也十分普及。http_logs track 是 Elasticsearch Rally 基準(zhǔn)測(cè)試工具中所使用的標(biāo)準(zhǔn)數(shù)據(jù)集和工作負(fù)載。它可以仿真典型網(wǎng)站服務(wù)器日志數(shù)據(jù)，非常適合在涉及日志數(shù)據(jù)提取和分析的場(chǎng)景中評(píng)估 Elasticsearch 性能。

此次測(cè)試是在 g8y 和 g7 兩種不同類(lèi)型的阿里云 ECS 實(shí)例上運(yùn)行了 Elasticsearch http_logs track 測(cè)試用例，并比較了兩者的差異。其中，g8y 搭載基于 Neoverse N2 的倚天 710 處理器；而 g7 則搭載第三代英特爾至強(qiáng)可擴(kuò)展處理器。

測(cè)試環(huán)境

測(cè)試使用三個(gè) xlarge 實(shí)例來(lái)運(yùn)行 Elasticsearch 服務(wù)器，使用一個(gè) 4xlarge 實(shí)例運(yùn)行 esrally 基準(zhǔn)測(cè)試。g8y 和 g7 云實(shí)例的虛擬 CPU (vCPU) 數(shù)量和內(nèi)存大小、操作系統(tǒng)以及 Elasticsearch/esrally 軟件版本與配置均相同。