六大門派，圍攻云端AI芯片光明頂
加入技術交流群
編輯 | 漠影
AI芯片的戰(zhàn)場，明顯更熱鬧了。就在上周五，國際權威人工智能（AI）性能基準測試MLPerf公布了最新的數據中心及邊緣場景AI推理榜單結果，無論是參與評選的企業(yè)還是實際AI芯片表現，都比往屆多了不少看頭。
MLPerf數據中心推理榜單：
https://mlcommons.org/en/inference-datacenter-21/
MLPerf邊緣推理榜單：
https://mlcommons.org/en/inference-edge-21/
01.H100王者登場，英偉達仍然稱雄
▲英偉達H100性能比A100高出4.5倍（圖源：英偉達）
英偉達基于H100 GPU單芯片提交了兩個系統(tǒng)，一個系統(tǒng)配備AMD EPYC CPU作為主機處理器，另一個系統(tǒng)配備英特爾至強CPU。可以看到，雖然采用英偉達最新Hopper架構的H100 GPU這次只展示了單芯片的測試成績，其性能已經在多個情況下超過有2、4、8顆A100芯片的系統(tǒng)的性能。
▲英偉達H100在數據中心場景所有工作負載都刷新性能記錄（圖源：英偉達）
特別是用在對更大規(guī)模、更高性能提出要求的自然語言處理BERT-Large模型上，H100的性能比A100和壁仞科技GPU超出一大截，這主要歸功于其Transformer Engine。H100 GPU預計在今年年底發(fā)布，后續(xù)還會參加MLPerf的訓練基準測試。此外，在邊緣計算方面，將英偉達Ampere架構和Arm CPU內核集成在一塊芯片的英偉達Orin，運行了所有MLPerf基準測試，是所有低功耗系統(tǒng)級芯片中贏得測試最多的芯片。值得一提的是，相比今年4月在MLPerf上首次亮相的成績，英偉達Orin芯片的邊緣AI推理能效進一步提高了50%。
▲在能效方面，Orin邊緣AI推理性能提升多達50%（圖源：英偉達）
從英偉達往屆在MLPerf提交的測試結果，可以看出AI軟件帶來的性能提升越來越顯著。自2020年7月在MLPerf上首次亮相以來，得益于NVIDIA AI軟件的不斷改進，A100的性能已經提升6倍。目前，NVIDIA AI是唯一能在數據中心和邊緣計算中運行所有MLPerf推理工作負載和場景的平臺。通過軟硬協同優(yōu)化，英偉達GPU在數據中心及邊緣計算中實現AI推理加速的成績更加突出。02.壁仞科技通用GPU參戰(zhàn)ResNet和BERT模型性能超A100
▲壁仞科技BR104在BERT模型評選中同時拿下離線和在線模式的整機性能領先（圖源：壁仞科技）
從測試結果來看，在BERT模型的評選中，相較于英偉達提交的基于8張A100的機型，基于8張壁仞科技BR104的機型，性能達到了前者的1.58倍。
▲壁仞B(yǎng)R104在ResNet-50和BERT模型評選中單卡性能超過A100
總體來看，壁仞科技8卡PCle解決方案的性能表現，估計會介乎英偉達8卡A100與8卡H100之間。除了壁仞科技自己提交的8卡機型外，知名服務器提供商浪潮信息還提交了一款搭載4張壁礪104板卡的服務器，這也是浪潮信息首次提交基于國產廠商芯片的服務器測試成績。在所有的4卡機型中，浪潮提交的服務器在ResNet50（Offline）和BERT（Offline & Server, 99.9%精度）兩個模型下，也奪得了全球第一。
03.墨芯S30奪魁圖像分類單卡算力95784 FPS遠超H100
▲墨芯人工智能S30計算卡
此次墨芯參加的是開放優(yōu)化類的測試。根據最新MLPerf推理榜單，墨芯S30計算卡以95784FPS的單卡算力，奪得ResNet-50模型算力第一，是H100的1.2倍、A100的2倍。在運行BERT-Large高精度模型（99.9%）方面，墨芯S30雖未戰(zhàn)勝H100，卻實現了高于A100性能2倍的成績，S30單卡算力達3837SPS。
▲運行ResNet-50和BERT-Large模型時，墨芯S30與A100、H100的對比（圖源：墨芯人工智能）
值得一提的是，墨芯S30采用的是12nm制程，而英偉達H100采用的是更先進的4nm制程，能夠在制程工藝存在代際差的情況下追平兩大數據中心主流AI模型的性能表現，主要得益于墨芯自主研發(fā)的稀疏化算法及架構。MLPerf的測試要求非常嚴格，不僅考驗各產品算力，同時設置精度要求在99%以上，以考察AI推理精度的高要求對計算性能的影響，也就是說參賽廠商不能以犧牲精度的方式換取算力提升。這亦證明了墨芯能做到在實現稀疏化計算的同時兼顧精度無損。04.高能效，高通云端AI芯片的王牌
▲高通Cloud AI 100
MLPerf最新披露的評測結果中，富士康、創(chuàng)通聯達（Thundercomm）、英業(yè)達（Inventec）、戴爾、HPE和聯想都提交了使用高通Cloud AI 100芯片的測試成績?？梢钥闯觯咄ǖ腁I芯片已經在被亞洲云服務器市場接納。高通Cloud AI 100有兩個版本，專業(yè)版（400 TOPS）或標準版（300 TOPS），都具有高能效的優(yōu)勢。在圖像處理方面，該芯片的每瓦性能比標準部件的NVIDIA Jetson Orin高1倍，在自然語言處理BERT-99模型方面的能效亦是略勝一籌。
▲高通Cloud AI 100在ResNet-50及BERT-99模型測試中的能效比領先（圖源：高通）
在保持高能效的同時，高通的AI芯片并沒有以犧牲高性能為代價，一臺5卡服務器功耗75W，可實現的性能比2卡A100服務器高出近50%。而單臺2卡A100服務器的功耗高達300W。
▲高通Cloud AI 100的每瓦性能表現（圖源：高通）
面向邊緣計算，高通Cloud AI 100在圖形處理方面展現出的高能效已經非常有競爭力，不過大型數據中心對芯片的通用性會有更高要求，如果高通想要進一步打入云端市場，可能得在下一代云邊AI芯片的設計上擴展對推薦引擎等更多主流AI模型的支持。
▲實現邊緣服務器高能效，不以犧牲高性能為代價（圖源：高通）
05.韓國首款AI芯片亮相對打英偉達入門級AI加速卡
▲Sapeon X220部分參數
其測試結果也很有意思。Sapeon X220搭載于Supermicro服務器上，在數據中心推理基準測試中的性能超過了英偉達去年年底發(fā)布的入門級AI加速卡A2 GPU。其中，X220-Compact的性能比A2高2.3倍，X220-Enterprise的性能比A2提升4.6倍。能效表現同樣不錯，在基于最大功耗的每瓦性能方面，X220-Compact的能效是A2的2.2倍，X220-Enterprise的能效是A2的2.0倍。
▲Sapeon X220系列與英偉達A2的性能及能效對比（圖源：SAPEON）
值得一提的是，英偉達A2采用的是先進的8nm制程，而Sapeon X220采用的是28nm成熟制程。據悉，Sapeon芯片已經應用在智能音箱、智能視頻安全解決方案、基于AI的媒體質量優(yōu)化解決方案等應用中。今年SK電訊還將AI芯片業(yè)務獨立出來，成立了一家名為SAPEON的公司。SAPEON首席執(zhí)行官Soojung Ryu透露說，未來該公司計劃拓展X220的各個應用領域，有信心在明年下半年用下一代芯片X330與競品拉開差距，進一步提高性能。06.英特爾預覽下一代服務器CPU阿里倚天710 CPU首參評
07.結語：英偉達江湖地位穩(wěn)固國產AI芯片新勢力發(fā)起沖鋒
芯東西
芯東西專注報道芯片、半導體產業(yè)創(chuàng)新，尤其是以芯片設計創(chuàng)新引領的計算新革命和國產替代浪潮；我們是一群追“芯”人，帶你一起遨游“芯”辰大海。
公眾號
*博客內容為網友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯系工作人員刪除。
