RISC-V 在 AI 計(jì)算的前景

近日，Semidynamics 首席執(zhí)行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強(qiáng)調(diào)內(nèi)存帶寬和針對 AI 和 HPC 的定制。他重點(diǎn)介紹了他們的 

近日，Semidynamics 首席執(zhí)行官 Roger Espasa 討論了該公司的高性能、可配置 RISC-V IP，該 IP 強(qiáng)調(diào)內(nèi)存帶寬和針對 AI 和 HPC 的定制。他重點(diǎn)介紹了他們的 Gazzillion Misses 延遲處理 IP、集成張量單元，并專注于實(shí)際性能而非基準(zhǔn)測試。Espasa 認(rèn)為 RISC-V 正在超越 Arm，在標(biāo)準(zhǔn)化與靈活性之間取得平衡，并預(yù)測 AI 和 chiplet 的采用將發(fā)生轉(zhuǎn)變。

其解決方案范圍從獨(dú)立的 CPU 內(nèi)核到圍繞張量、矢量和 CPU 組合構(gòu)建的一體化設(shè)計(jì)（包括 NPU）。Semidynamics 的主要差異化因素之一是其對內(nèi)存帶寬和定制化的重視。Gazzillion TLB（翻譯后備緩沖器）和可配置內(nèi)存子系統(tǒng)等功能使設(shè)計(jì)人員能夠根據(jù)特定工作負(fù)載調(diào)整處理器，尤其是針對 AI 和數(shù)據(jù)密集型應(yīng)用。

在接受 JPR 的 David Harold 采訪時(shí)，Semidynamics 首席執(zhí)行官 Roger Espasa 談到了該公司的 RISC-V IP 以及他對 RISC-V 未來的展望。

Espasa 表示，「我們大約在 2017 年開始創(chuàng)業(yè)。頭兩年專注于服務(wù)，為一家美國初創(chuàng)公司設(shè)計(jì) RISC-V 芯片。之后，我們決定開發(fā)自己的 IP。到 2020-2022 年，我們的技術(shù)已經(jīng)準(zhǔn)備就緒，并且我們確保了全球客戶對我們的矢量技術(shù)感興趣。」

「我們是第一個(gè)推出 RISC-V 大型向量單元的公司，也是第一個(gè)將無序向量單元與無序核心相結(jié)合的公司。這在 HPC 中尤為重要，而 HPC 現(xiàn)已與 AI 融合。HPC 和 AI 之間的界限已經(jīng)消失。轉(zhuǎn)向 AI 的客戶表示，他們喜歡矢量單元，但需要更多操作。因此，我們開發(fā)并開源了完全符合 RISC-V 的張量指令。這些指令目前正在 RISC-V 工作組中推進(jìn)。我們的目標(biāo)是幫助客戶使用簡單的、僅 RISC-V 軟件堆棧部署 AI，確保我們的解決方案在 AI 發(fā)展過程中仍然可行?！?/p>

RISC-V 內(nèi)部似乎正在向標(biāo)準(zhǔn)化轉(zhuǎn)變，配置文件確保兼容性，同時(shí)允許進(jìn)行一些定制。您是這樣認(rèn)為的嗎？

Espasa 表示:「定制是 RISC-V 成功的關(guān)鍵，盡管一些競爭對手似乎對此猶豫不決。配置文件很有用——它們?yōu)檐浖?yōu)化提供了基礎(chǔ)，并充分利用了多年的開發(fā)成果，就像 Linux 一樣。

但是，如果 RISC-V 是純標(biāo)準(zhǔn)化的，為什么不直接使用 Arm 呢？RISC-V 的吸引力在于通過定制提供額外的性能。訣竅是在標(biāo)準(zhǔn)化與靈活性之間取得平衡——利用配置文件，同時(shí)添加客戶特定的增強(qiáng)功能而不破壞兼容性。」

您的架構(gòu)支持多種配置，從張量核心到矢量核心。這如何讓您與競爭對手脫穎而出？

Espasa：「許多人認(rèn)為計(jì)算僅限于筆記本電腦、智能手機(jī)或數(shù)據(jù)中心，但處理器無處不在——汽車、網(wǎng)關(guān)、電視。這些應(yīng)用程序需要專門的優(yōu)化，而這正是 RISC-V 的優(yōu)勢所在。

我們專注于高效傳輸數(shù)據(jù)，而不是追求峰值基準(zhǔn)測試分?jǐn)?shù)。SPECint 或 Dhrystone 等傳統(tǒng) CPU 基準(zhǔn)測試都很好，但我們優(yōu)先考慮實(shí)際工作負(fù)載，例如 McCalpin 的 Stream 基準(zhǔn)測試，它可以測量內(nèi)存帶寬利用率。」

Gazzillion 技術(shù)有何不同？

Espasa：「Gazzillion 允許單核實(shí)現(xiàn)內(nèi)存帶寬最大化。一位客戶原本預(yù)計(jì)需要四個(gè)核心，但很高興只用一個(gè)核心就能實(shí)現(xiàn)同樣的性能，從而簡化設(shè)計(jì)并縮短上市時(shí)間。

為了實(shí)現(xiàn)這一目標(biāo)，我們優(yōu)化了整個(gè)管道（從指令重命名到內(nèi)存請求），確保核心充分利用可用帶寬。如果提供更多帶寬，我們會(huì)相應(yīng)地進(jìn)行擴(kuò)展?！?/p>

AI 需要大量數(shù)據(jù)傳輸，Gazzillion 如何支持 AI 工作負(fù)載？

Espasa：「RISC-V 中關(guān)于張量單元有兩種思想流派——一種主張?jiān)诳偩€上使用獨(dú)立的張量單元，另一種則主張將其集成在核心中。由于我們可以提供高帶寬，因此我們選擇了集成。

獨(dú)立張量單元需要復(fù)雜的 DMA 編程、同步和數(shù)據(jù)傳輸。通過我們的方法，張量單元位于核心內(nèi)，從而簡化了 AI 工作負(fù)載并降低了軟件復(fù)雜性?！?/p>

Ventana 和其他公司正在探索小芯片，部分是為了 IP 強(qiáng)化。Arm 現(xiàn)在也在討論單片設(shè)計(jì)。您對小芯片和您的商業(yè)模式持什么態(tài)度？

Espasa：「我們的商業(yè)模式是傳統(tǒng)的許可加版稅。

小芯片是一種顯而易見的演進(jìn)，這不一定是因?yàn)?Arm 大力推廣，而是因?yàn)樗鼈冊诟咏杵牡胤侥塬@得更多價(jià)值。有些客戶無法承受三年的設(shè)計(jì)周期，他們更喜歡能在 18 個(gè)月內(nèi)部署的解決方案。

芯片組還不是一站式解決方案。目前，主要公司（如 Nvidia）正在內(nèi)部連接自己的芯片組。下一步是讓不同的供應(yīng)商集成他們的芯片組。在此之前，我們預(yù)計(jì)客戶會(huì)將現(xiàn)有的芯片組與 PCIe 或 UCIe 等標(biāo)準(zhǔn)接口集成。我們正在積極開展這一領(lǐng)域的工作，但目前還沒有宣布任何消息?！?/p>

可以采取什么措施來優(yōu)化電源效率？

Espasa：「你需要優(yōu)化觸發(fā)器、時(shí)鐘門控和時(shí)鐘樹。新設(shè)計(jì)比幾十年來積累的低效率舊設(shè)計(jì)更具優(yōu)勢。我們的全新設(shè)計(jì)可實(shí)現(xiàn)更精簡的電源管理。此外，我們實(shí)施了積極的電源門控—在運(yùn)行張量時(shí)關(guān)閉矢量單元，反之亦然?！?/p>

隨著 RISC-V 日趨成熟，大規(guī)模采用還面臨哪些障礙？

Espasa：「RISC-V 基金會(huì)正在努力開發(fā)服務(wù)器領(lǐng)域，由于需要大量規(guī)范，該領(lǐng)域非常復(fù)雜。AI 標(biāo)準(zhǔn)化是另一個(gè)關(guān)鍵領(lǐng)域——我們需要一種統(tǒng)一的方法來實(shí)現(xiàn)軟件的可重用性，同時(shí)保持靈活性。RISC-V 已經(jīng)占據(jù)了微控制器領(lǐng)域的主導(dǎo)地位。接下來是手機(jī)和筆記本電腦，但這取決于主要參與者是否確保軟件準(zhǔn)備就緒，尤其是針對 Android?！?/p>