瀚博首款A(yù)I推理芯片出爐，性能超越英偉達(dá)T4，年內(nèi)即將量產(chǎn)

瀚博推出的 AI 推理芯片，性能超過英偉達(dá)最新的 A10 與 T4，同時(shí)使用成本還更低。

7 月 7 日，在上海舉行的首場發(fā)布會(huì)上，芯片創(chuàng)業(yè)公司瀚博半導(dǎo)體展示了旗下最新產(chǎn)品，SV100 系列云端通用 AI 推理芯片和 VA1 通用 AI 推理加速卡。剛剛推出的芯片實(shí)現(xiàn)了業(yè)內(nèi)領(lǐng)先的性能指標(biāo)。

瀚博半導(dǎo)體 CEO 錢軍在發(fā)布會(huì)上展示 SV102 芯片。

「我們要做的是服務(wù)器級(jí)別的芯片，SV100 系列是全方位超過英偉達(dá)同類產(chǎn)品的芯片解決方案?！瑰┌雽?dǎo)體創(chuàng)始人、CEO 錢軍在發(fā)布會(huì)上說道。

本次推出的產(chǎn)品包括芯片 SV102，以及基于該芯片的 AI 加速卡 VA1，即將在今年第四季度投入量產(chǎn)。

云端通用 AI 推理芯片

瀚博推出的 SV102 是 SV100 系列的首款芯片，它面向云端的 AI 的通用化推理任務(wù)，INT8 算力高達(dá) 200TOPS，其內(nèi)含多顆瀚博自主設(shè)計(jì)的 IP 核，配備通用軟件棧，對(duì)于云計(jì)算客戶提供了完整的解決方案。

選擇推理作為突破點(diǎn)，是瀚博對(duì)于市場和業(yè)內(nèi)競爭力分析之后作出的決定。

隨著 AI 應(yīng)用的逐漸成熟，落地業(yè)務(wù)的增多，目前云服務(wù)市場上推理任務(wù)的需求逐漸超過訓(xùn)練。相關(guān)數(shù)據(jù)顯示，2021 年 AI 推理市場已超過訓(xùn)練市場，未來其差距還會(huì)逐漸拉大。高通則認(rèn)為到 2025 年將有 90% 的算力將被用于機(jī)器學(xué)習(xí)推理。

而在推理任務(wù)上，相對(duì)更加專精的 DSA 芯片性能顯著超過目前業(yè)內(nèi)普遍采用的 GPU，前者可能會(huì)成為芯片領(lǐng)域的下一個(gè)發(fā)展方向。

瀚博提出的 SV100 系列芯片，對(duì)于視頻任務(wù)進(jìn)行了特別的優(yōu)化。當(dāng)前，計(jì)算機(jī)視覺任務(wù)占據(jù)了 AI 市場的大部分，視頻流占據(jù)數(shù)據(jù)流的 70%，而且比例持續(xù)攀升。這些任務(wù)需要強(qiáng)大的視頻解碼能力，對(duì)于處理延遲、吞吐量和能耗效率提出了較高要求。

SV102 是一款高性能人工智能與視頻處理芯片，深度學(xué)習(xí)推理性能指標(biāo)數(shù)倍于現(xiàn)有主流數(shù)據(jù)中心 GPU（如英偉達(dá) T4、A10）?；阱┳匝械?，針對(duì)多種深度學(xué)習(xí)推理負(fù)載而優(yōu)化的通用架構(gòu)，該芯片支持計(jì)算機(jī)視覺、視頻處理、自然語言處理和搜索推薦等推理應(yīng)用場景，同時(shí)集成高密度視頻解碼，廣泛適用于云端與邊緣解決方案，節(jié)省設(shè)備投資、降低運(yùn)營成本。

通用 AI 推理加速卡，效率超越英偉達(dá)

基于 SV102 芯片，瀚博推出了適用于云服務(wù)器的 VA1 機(jī)器學(xué)習(xí)加速卡，其提供高效率深度學(xué)習(xí) AI 推理加速，在同等能耗下可以實(shí)現(xiàn) 2-10 倍于 GPU 的最高 AI 吞吐率，適合實(shí)時(shí)應(yīng)用，同時(shí)兼?zhèn)淞己玫耐ㄓ眯院涂蓴U(kuò)展性，支持 FP16, BF16 和 INT8 數(shù)據(jù)類型的眾多主流神經(jīng)網(wǎng)絡(luò)快速部署——包括檢測，分類，識(shí)別，分割，視頻處理，LSTM/RNN，NLP/BERT，搜索推薦等。

瀚博半導(dǎo)體 CTO 張磊向我們介紹了 VA1 加速卡的性能指標(biāo)。

VA1 具備強(qiáng)大的視頻處理性能：支持 64 路以上 H264，H265 或 AVS2 1080p 解碼，分辨率支持最高達(dá) 8K。另一方面，作為標(biāo)準(zhǔn)半高半長 75W 功率的 PCIe 4.0 板卡，VA1 適用于絕大多數(shù)服務(wù)器，被動(dòng)散熱且無需額外供電，可實(shí)現(xiàn)高密度的部署。

和英偉達(dá)最新發(fā)布的安培架構(gòu) A10 板卡對(duì)比，在 ResNet-50（int8）任務(wù)上，瀚博芯片在 75W 功率時(shí)效率是對(duì)手的兩倍以上。「即使英偉達(dá)的產(chǎn)品運(yùn)行在 150W，我們的芯片運(yùn)行在 75W 功率時(shí)性能也是超過它的，」張磊介紹道?！冈?BERT int8 任務(wù)上，VA1 的性能也是 A10 在 75W 上的兩倍，T4 的兩倍多?！?/p>

如果以整體運(yùn)行成本 TCO 的方式來計(jì)算，采用 VA1 的服務(wù)器整機(jī)算力可以達(dá)到 T4 設(shè)備的 2.5 倍以上，功耗卻相對(duì)更低，可以節(jié)省超過 60% 的服務(wù)器成本。

除了硬件產(chǎn)品外，瀚博也搭建了自己的 VastStream 軟件平臺(tái)，支持 TensorFlow、PyTorch、Caffe2 等主流深度學(xué)習(xí)框架模型。

今年 6 月，SV100 系列芯片宣布測試成功。瀚博創(chuàng)造的幾個(gè)數(shù)字引人關(guān)注：在開始測試后 8 分鐘全部點(diǎn)亮，在 40 小時(shí)之內(nèi)，芯片所有功能模塊基礎(chǔ)測試全部完成。對(duì)于全新設(shè)計(jì)的高端芯片來說，這是一個(gè)奇跡。

「我們與重要合作伙伴快手的合作非常緊密。打造芯片必須理解客戶的實(shí)際需求，我們打造了高性能的數(shù)據(jù)中心，會(huì)把最新的板卡插在服務(wù)器里，跑各類實(shí)際應(yīng)用，驗(yàn)證產(chǎn)品的性能?！瑰X軍表示。據(jù)介紹，目前已有多家國內(nèi)外科技公司正在和瀚博合作，并等待芯片的大規(guī)模量產(chǎn)。

除了 SV102 以外，瀚博半導(dǎo)體還計(jì)劃推出功率為 15W 和 150W 的推理產(chǎn)品，覆蓋更多市場。

「我們不是一個(gè)國產(chǎn)替代的故事，我們希望打造國際級(jí)別的產(chǎn)品。為了這樣的目的，我們組建了有能力的團(tuán)隊(duì)。」錢軍說道。

瀚博半導(dǎo)體于 2018 年底成立于上海，目前在北京、深圳、多倫多等地均設(shè)有研發(fā)中心。

這家公司的核心團(tuán)隊(duì)源自于 AMD，部分成員曾設(shè)計(jì)了業(yè)界首款 7nm 制程 GPU。自公司創(chuàng)立起，瀚博一直致力于核心 IP 的自主研發(fā)，至今已完成多個(gè) IP、高端設(shè)計(jì)流程，并擁有完善的數(shù)據(jù)中心構(gòu)建能力。目前，瀚博的員工總數(shù)已超過 200 人。

在融資方面，2019 年 3 月，瀚博獲得了來自真格基金的天使輪融資，2019 年 7 月完成 Pre A 輪。2020 年 7 月，紅點(diǎn)、快手領(lǐng)投了該公司的 A 輪融資；最近一輪則在今年 3 月，由中國互聯(lián)****資基金和經(jīng)緯中國聯(lián)合領(lǐng)投，融資金額高達(dá) 5 億元人民幣。

瀚博旗下首款芯片的推出，宣告了國內(nèi) AI 芯片業(yè)內(nèi)又加入了一股強(qiáng)大的勢力。隨著各家的 DSA 芯片不斷出爐，國內(nèi)造芯的競爭已經(jīng)進(jìn)入了全新的階段。