博客專欄

EEPW首頁 > 博客 > 用FPGA開發(fā)AI/ML 影像處理?你可能需要一個這樣的架構(gòu)!

用FPGA開發(fā)AI/ML 影像處理?你可能需要一個這樣的架構(gòu)!

發(fā)布人:12345zhi 時間:2023-08-10 來源:工程師 發(fā)布文章

從工業(yè)控制和安全到機器人、航空航天和汽車,F(xiàn)PGA 在許多應(yīng)用中扮演著重要角色。憑借可編程邏輯內(nèi)核的靈活性及其廣泛的接口能力,F(xiàn)PGA在需要部署 ML 推理的影像處理中的應(yīng)用日漸廣泛。FPGA 非常適合用來實現(xiàn)具有多個高速攝像頭接口的解決方案。此外,F(xiàn)PGA 還能在邏輯中實現(xiàn)專門的處理管道,從而消除基于 CPU 或 GPU 的解決方案的相關(guān)瓶頸。

然而,對于許多開發(fā)人員來說,他們的應(yīng)用需要更多 ML/AI 功能及更精細(xì)的控制或路由和邏輯,而這些是采用組合邏輯塊 (CLB) 的經(jīng)典 FPGA 架構(gòu)所不能提供的。全新的 FPGA 架構(gòu)方法解決了這些問題。例如,Efinix 的 Quantum 架構(gòu)采用可交換邏輯和路由 (XLR) 塊。

本文討論了 Efinix FPGA 架構(gòu)的主要特點和屬性,重點介紹其 AI/ML 能力并探討了其在真實世界的實現(xiàn)。隨后,本文討論了一款開發(fā)板及相關(guān)工具,開發(fā)人員可以借助它們快速開始后續(xù) AI/ML 成像設(shè)計。

Efinix FPGA 器件

Efinix目前提供兩個系列的器件。最初推出的是 Trion 系列,邏輯密度為 4000 (4K) 至 120K 邏輯元件 (LE),采用 SMIC 40LL 工藝制造。最新系列的器件則是 Titanium 系列,邏輯密度為 35K 至 100 萬 (1M) 邏輯元件,采用非常流行的 TSMC 16 nm 節(jié)點制造。

這兩個系列均基于 Quantum 架構(gòu),這在 FPGA 領(lǐng)域是獨一無二的。標(biāo)準(zhǔn) FPGA 架構(gòu)基于 CLB,在最基礎(chǔ)的層面上,包含一個查找表 (LUT) 和觸發(fā)器。CLB 實現(xiàn)邏輯方程,然后通過路由互連。借助 XLR 塊,Efinix 的Quantum 架構(gòu)擺脫了單獨的邏輯和路由塊。

XLR塊的獨特之處在于,可以將其配置為具有 LUT、寄存器和加法器或路由矩陣的邏輯單元。這種方法帶來一個更精細(xì)的架構(gòu),可提供路由靈活性,使復(fù)雜邏輯或路由的實現(xiàn)能夠達(dá)到預(yù)期的性能。

圖片

圖 1:XLR 塊的獨特之處在于,可以將其配置為具有 LUT、寄存器和加法器或路由矩陣的邏輯單元。(圖片來源:Efinix)

最新的 Titanium 系列器件為開發(fā)人員提供了最先進(jìn)的功能(圖 2)。搭載 XLR 內(nèi)核,該系列器件可提供運行速度為 16 Gbps 或 25.8 Gbps(具體取決于所選擇的器件)的多千兆位串行鏈路。這些多千兆位鏈路對于實現(xiàn)芯片內(nèi)外的高速數(shù)據(jù)傳輸至關(guān)重要。

圖片

圖 2:Titanium FPGA Ti180 提供多種選擇,具體取決于總線寬度、I/O 和存儲器要求。(圖片來源:Efinix)

Titanium器件還提供廣泛的輸入/輸出 (I/O) 接口功能,可歸類為通用 I/O (GPIO),并可支持單端 I/O 標(biāo)準(zhǔn),如 3.3 V、2.5 V 和 1.8 V的低壓 CMOS (LVCMOS)。

對于高速和差分接口,Titanium 器件提供高速 I/O (HSIO),支持單端 I/O 標(biāo)準(zhǔn),如 1.2 V、1.5 V 的 LVCMOS,以及 SSTL 和 HSTL。HSIO 支持的差分 I/O標(biāo)準(zhǔn)包括低壓差分信號 (LVDS)、差分 SSTL 和 HSTL。

現(xiàn)代 FPGA 還需要緊密耦合的高帶寬存儲器來存儲用于圖像處理應(yīng)用的圖像幀、用于信號處理的采樣數(shù)據(jù),當(dāng)然還要為 FPGA 內(nèi)實現(xiàn)的處理器運行操作系統(tǒng)及軟件。Titanium 系列器件能夠連接動態(tài)數(shù)據(jù)速率四 (DDR4) 和低功耗 DDR4(x) (LPDDR4(x))。根據(jù)所選擇的具體 Titanium 器件,支持的總線寬度為 x32 (J) 或 x16 (M),而有些器件不支持 LPDDR4 (L)。

Titanium FPGA 基于 SRAM,需要配置存儲器,通過主/從串行外設(shè)互連器件 (SPI) 或 JTAG 進(jìn)行器件配置。為了確保這種配置方法安全,Titanium FPGA 使用 AES GCM 對比特流進(jìn)行加密,同時使用 AES GCM 和 RSA-4096 提供比特流驗證。采用這種強大的安全措施非常有必要,原因在于 FPGA 部署在邊緣,惡意攻擊者可在邊緣訪問并操縱其行為。

開發(fā)板介紹

開發(fā)板是FPGA 評估流程的關(guān)鍵要素,因為它們可以用來探索器件的功能和原型應(yīng)用,從而幫助降低整體風(fēng)險。首款可用于評估Titanium FPGA 和開始原型設(shè)計應(yīng)用的開發(fā)板是Ti180 M484(圖 3)。此開發(fā)板具有一個 FPGA 夾層卡 (FMC) 連接器和4 個SamtecQSE 連接器。

圖片

圖 3:除 Titanium FPGA 外,Ti180 M484 開發(fā)套件還配備一個 FMC 連接器和 4 個 Samtec QSE 連接器。(圖片來源:Adam Taylor)

安裝在此開發(fā)板上的 Ti180 FPGA 提供 172K XLR 單元、32 個全局時鐘、640 個數(shù)字信號處理(DSP) 元件和 13 Mb 的嵌入式 RAM。DSP 元件能夠?qū)崿F(xiàn)固定點 18 x 19 乘法和 48 位乘法運算。此 DSP 還可針對以雙路或四路配置運行的單指令多數(shù)據(jù) (SIMD) 運算進(jìn)行優(yōu)化。DSP 元件也可以配置為執(zhí)行浮點運算。

像大多數(shù)開發(fā)板一樣,Ti180 開發(fā)板提供了簡單的 LED 和按鈕。但是,其真正的強大之處在于連接能力。Ti180 開發(fā)板提供一個小引腳數(shù)的 FMC 連接器,可以連接各種外設(shè)。由于這是一種廣泛使用的標(biāo)準(zhǔn),因此有許多 FMC 卡可以實現(xiàn)高速模數(shù)轉(zhuǎn)換器 (ADC)、數(shù)模轉(zhuǎn)換器 (DAC)、網(wǎng)絡(luò)和內(nèi)存/存儲解決方案的連接。

除 FMC 連接外,此開發(fā)板還配備 4 個Samtec QSE 連接器,供開發(fā)人員添加擴展卡。這些 QSE 連接器用于提供 MIPI 輸入和輸出,其中每個 QSE 連接器提供一個 MIPI 輸入或輸出。

圖片

圖 4:Ti180 M484 開發(fā)套件,圖中顯示了其基于 QSE 和 FMC 連接器的多種擴展選項。(圖片來源:Adam Taylor)

Ti180開發(fā)板還提供 256 Mb 的 LPDDR4,以支持影像或信號處理應(yīng)用所需的高性能存儲器。此外,該開發(fā)板提供了一系列時鐘選項(25、33.33、50 和 74.25 MHz),可搭配器件鎖相環(huán) (PLL) 使用以產(chǎn)生不同的內(nèi)部頻率。

在開發(fā)過程中,能夠在開發(fā)板上實時重新編程和調(diào)試至關(guān)重要,而這需要 JTAG 連接,此板通過 USB-C 接口提供了此連接。另外,還提供了兩個 256 Mb NOR 閃存器件形式的非易失性存儲器,可用于演示配置解決方案。

此開發(fā)板由包裝盒內(nèi)隨附的 12 V 通用電源適配器供電。附件還包括一個 FMC 到 QSE 分線板,以及基于 QSE 的HDMI、以太網(wǎng)、MIPI 和 LVDS 擴展卡。為了演示 Ti180 的影像處理能力,還提供一個雙 RPI 子卡和兩個 IMX477 攝像頭卡。

軟件環(huán)境

實現(xiàn)針對 Ti180 開發(fā)板的設(shè)計時要使用 Efinix 軟件 Efinity。該軟件能夠通過合成及布局布線生成比特流。此外,它還為開發(fā)人員提供了知識產(chǎn)權(quán) (IP) 塊、時序分析和片上調(diào)試功能。

請注意,需要有開發(fā)板才能使用 Efinity 軟件。但與其他供應(yīng)商不同的是,該工具沒有其他需要額外許可的版本。

在 Efinity 中,針對所選的器件創(chuàng)建項目。然后,可以將 RTL 文件添加到項目中,并為定時和 I/O 設(shè)計創(chuàng)建約束條件。利用 HSIO、GPIO 和專用 I/O,開發(fā)人員還可在Efinity 中實現(xiàn) I/O 設(shè)計。

圖片

圖 5:在 Efinity 中,針對所選器件創(chuàng)建項目。(圖片來源:Adam Taylor)

FPGA 設(shè)計的一個關(guān)鍵因素是利用 IP,特別是復(fù)雜的 IP,如 AXI 互連、存儲器控制器和軟核處理器。Efinity 為開發(fā)人員提供了一系列 IP 塊,可用于加速設(shè)計過程。

圖片

圖 6:Efinity 為開發(fā)人員提供了一個 IP 產(chǎn)品目錄,可用于加速設(shè)計過程。(圖片來源:Adam Taylor)

雖然 FPGA 在實現(xiàn)并行處理結(jié)構(gòu)方面表現(xiàn)優(yōu)異,但許多 FPGA 設(shè)計包含軟核處理器。這些處理器能夠?qū)崿F(xiàn)順序處理,如網(wǎng)絡(luò)通信。為了能夠在 Efinix 器件中部署軟核處理器,Efinity 提供了 Sapphire 片上系統(tǒng) (SoC) 配置工具。Sapphire 允許開發(fā)人員定義一個多處理器系統(tǒng),該系統(tǒng)具有跨多個處理器的緩存和緩存一致性,同時能夠運行嵌入式 Linux 操作系統(tǒng)。在 Sapphire 中,開發(fā)人員可以選擇 1 至 4 個軟核處理器。

所實現(xiàn)的軟核處理器是 VexRiscV 軟 CPU,基于RISC-V 指令集架構(gòu)。VexRiscV 處理器是一款 32位實現(xiàn),具有流水線擴展,并提供可配置的特性集,使其非常適合用作 Efinix 器件中的軟核處理器??蛇x配置包括乘法器、原子指令、浮點擴展和壓縮指令。根據(jù) SoC 系統(tǒng)的配置,性能范圍為 0.86 至 1.05 DMIPS/MHz。

在 Efinix 器件中設(shè)計并實現(xiàn)硬件環(huán)境后,即可使用Ashling RiscFreeIDE 來開發(fā)應(yīng)用軟件。Ashling RiscFree 是一款基于 Eclipse 的 IDE,能夠創(chuàng)建和編譯應(yīng)用軟件,并可針對目標(biāo)進(jìn)行調(diào)試,以在部署前對應(yīng)用程序進(jìn)行微調(diào)。

圖片

圖 7:Ashling RiscFree 是一款基于 Eclipse 的 IDE,能夠創(chuàng)建和編譯應(yīng)用軟件,并可針對目標(biāo)進(jìn)行調(diào)。(圖片來源:Adam Taylor)

如果要開發(fā)嵌入式 Linux 解決方案,將提供所有必要的啟動工具,包括第一級引導(dǎo)程序、OpenSBI、U-Boot 和使用 Buildroot 的 Linux。另外,如果需要實時解決方案,開發(fā)人員可以使用 FreeRTOS。

AI實現(xiàn)

Efinix的 AI 實現(xiàn)以 RISC-V 軟核運算為基礎(chǔ)。其中利用 RISC-V 處理器的自定義指令功能,來實現(xiàn) TensorFlow Lite 解決方案的加速。借助 RISC-V 處理器,用戶還能夠創(chuàng)建自定義指令,這些指令可用作 AI 推理后的預(yù)處理或后處理的一部分,從而創(chuàng)建出響應(yīng)速度更快、更具確定性的解決方案。

要開始 AI 實現(xiàn),第一步是探索 Efinix 模型庫,這是一個已針對其終端技術(shù)優(yōu)化的 AI/ML 模型庫。對于使用 Efinix 器件的開發(fā)人員,可以訪問該模型庫,并使用 Jupyter Notebooks 或 Google Colab 來訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練網(wǎng)絡(luò)后,便可使用 TensorFlow Lite 轉(zhuǎn)換器將其從浮點模型轉(zhuǎn)換為量化模型。

轉(zhuǎn)入 TensorFlow Lite 格式后,可以利用 Efinix 的 tinyML 加速器在 RISC-V 解決方案上創(chuàng)建可部署的解決方案。tinyML 生成器使開發(fā)人員能夠定制加速器的實現(xiàn)并生成項目文件。當(dāng)以這種方式部署時,加速可達(dá) 4 至 200 倍,具體取決于所選的架構(gòu)和定制方案。

總結(jié)

憑借獨特的 XLR 結(jié)構(gòu),Efinix 器件可為開發(fā)人員提供靈活性。該工具鏈不僅能實現(xiàn) RTL 設(shè)計,還能實現(xiàn)部署軟核 RISC-V 處理器的復(fù)雜 SoC 解決方案。AI/ML 解決方案建立在軟核 SoC 之上,可以實現(xiàn) ML 推理的部署。

小編的話

的確,用FPGA來開發(fā)AI/ML影像處理是當(dāng)前的一個主流方式,不過正如文中所言,針對AI/ML的具體應(yīng)用,需要更為精細(xì)的架構(gòu)才能滿足更高的效率。Efinity 提供的創(chuàng)新架構(gòu),以及利用RISC-V 軟核運算實現(xiàn)AI的方法,給了我們一個新的選擇。您在部署AI/ML 開發(fā)時采用哪種器件?您是否有采用Efinix的FPGA進(jìn)行開發(fā)?您在實現(xiàn)AI/ML方面有哪些開發(fā)經(jīng)驗和問題?歡迎留言,交流分享!

*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。



關(guān)鍵詞: 影像處理 Efinix

技術(shù)專區(qū)

關(guān)閉