Kria SOM:無需 FPGA 設(shè)計也可盡享其嵌入式設(shè)計優(yōu)勢
導(dǎo)語
我們常說“大道至簡”,因為往往用詞越多,想法就越具體、越瑣碎。所以當(dāng)我們在開發(fā) Kria? SOM (System-on-Module,系統(tǒng)模塊時,就大膽提出了“無需 FPGA 設(shè)計也可盡享賽靈思技術(shù)優(yōu)勢”這一概念,致力于通過全面審視整個 FPGA 設(shè)計流程,將一系列相當(dāng)普通、毫不張揚的概念糅合起來,構(gòu)建出一種獨特而多面的技術(shù),讓那些希望利用 FPGA 技術(shù)的優(yōu)勢在量產(chǎn)系統(tǒng)中實現(xiàn)創(chuàng)新理念卻不知道或者特別想知道從哪里入手的嵌入式開發(fā)者和 AI 軟件開發(fā)者,也能盡享FPGA 高性能、靈活應(yīng)變的價值優(yōu)勢。
正文
Kria? 系統(tǒng)模塊 ( System-on-Module,SOM ) 是一款集成嵌入式、可插拔、信用卡尺寸的基于 Arm? SoC 的解決方案,可輕松支持各種預(yù)定義及用戶定義應(yīng)用。Kria SOM 和互聯(lián)的賽靈思應(yīng)用商店 (Xilinx App Store) ,旨在面向那些希望利用 FPGA 技術(shù)的優(yōu)勢在量產(chǎn)系統(tǒng)中實現(xiàn)創(chuàng)新理念卻不知道或者特別想知道從哪里入手的嵌入式開發(fā)者和 AI 軟件開發(fā)者,提供一個“歡迎”的標(biāo)志。此外,對于傳統(tǒng)的賽靈思設(shè)計著而言,Kria SOM 是一個可用于量產(chǎn)設(shè)計的方便且高效的硬件平臺。
Kria SOM 簡介
FPGA 的功能在逐年擴展,始終圍繞著一個核心價值主張,那就是較其他嵌入式技術(shù)的靈活性與性能優(yōu)勢。毫無疑問,近年來 FPGA 的最主流趨勢是集成嵌入式處理器和外設(shè),使設(shè)計人員能夠?qū)⒑线m的任務(wù)分配給合適的計算引擎。由此使得自適應(yīng) SoC 通過在不同規(guī)模 FPGA 架構(gòu)上,通過提供統(tǒng)一的處理子系統(tǒng)為用戶帶來三重自由度,即軟件可編程能力、硬件可編程能力和嵌入式平臺的可擴展能力。鑒于這些原因,
以及賽靈思白皮書 WP493 中闡述的其他原因,過去十年中 Zynq?-7000 SoC 和 Zynq UltraScale+? MPSoC 在工業(yè)與醫(yī)療物聯(lián)網(wǎng)量產(chǎn)系統(tǒng)中已經(jīng)得到廣泛應(yīng)用。
這種廣泛應(yīng)用緣于 FPGA 技術(shù)顯而易見的、差異化的優(yōu)勢。然而,正如這種狀況所揭示的激動人心的前景,其應(yīng)用范圍還可以更加廣泛。那么,如何才能進一步釋放這種應(yīng)用潛力呢?
首先,讓我們看看阻礙其得到更廣泛采用的有哪些因素。兩個最常見的因素是:
1.不熟悉傳統(tǒng)的 FPGA 設(shè)計流程
2.用開發(fā)時間衡量FPGA 設(shè)計流程的迭代成本
很明顯,大量的系統(tǒng)架構(gòu)師和嵌入式及 AI 軟件開發(fā)者, 都對 FPGA 的優(yōu)勢有所耳聞,并希望有機會運用這類 FPGA。然而,他們不想花費漫長的過程克服學(xué)習(xí)“新”設(shè)計流程的困難,只想專注于嵌入式硬件方面的開發(fā)過程。即便對于 FPGA 專家而言,許多人也表示希望能為自己的嵌入式設(shè)計提供一種簡單且經(jīng)濟高效的的量產(chǎn)硬件部署選項。由于同地協(xié)作 ( 如電子實驗室) 中需要協(xié)作才能啟動嵌入式電路板,加之 2020 年和 2021 年的全球疫情肆虐對同地協(xié)作的局限,這種愿望也變得愈加強烈。
Kria SOM 是賽靈思量產(chǎn)型產(chǎn)品組合的最新成員。該產(chǎn)品組合的成員已包括面向 x86 應(yīng)用、FPGA 和自應(yīng) SoC 的加速器卡。Kria SOM 是一種集成嵌入式、可插拔、信用卡尺寸的基于 Arm SoC 的解決方案。賽靈思 SOM 架構(gòu)的初衷是簡化架構(gòu),只包含 SoC、存儲器、電源和其他 SoC 的基本支持功能。當(dāng) SOM 與 最終用戶設(shè)計的低復(fù)雜度印刷電路板載卡搭配使用時,只需要采用一組簡單的開放連接器解決用戶終端系統(tǒng)的連接和附加組件需求,就可以將其集成到量產(chǎn)部署的系統(tǒng)中。針對開發(fā)和評估,賽靈思提供了入門套件。該套件由非量產(chǎn)型 Kria SOM 與預(yù)定義的載卡共同構(gòu)成,并提供各種接口選項以連接傳感器或其他外設(shè)。入門套件是初次使用 Kria SOM(特別是視覺 AI 應(yīng)用)的最便捷方法,它為面向目標(biāo)應(yīng)用開發(fā)并由用戶定義的定制型量產(chǎn)載卡提供了實現(xiàn)途徑。
節(jié)省多達九個月的開發(fā)時間及相關(guān)成本
Kria SOM 為新接觸 FPGA 和 SoC 技術(shù)的開發(fā)者,提供了獨特的、簡化的用戶體驗,并向打算外購而非自行開發(fā)量產(chǎn)硬件的FPGA 長期用戶,提供了極具吸引力的效率提升。而對于 FPGA 專業(yè)人士而言,Kria SOM 可節(jié)省多達 9個月的開發(fā)時間和相關(guān)成本 —— 非常直接明了的價值主張。節(jié)省的這 9 個月時間主要來自器件選型、
錄入原理圖、布局電路板和啟動多學(xué)科協(xié)作電路板,有時也包括部分的重新設(shè)計。對于剛接觸自適應(yīng)計算的用戶而言,還有更值得關(guān)注、也更加顯著的效益。本白皮書將在下文中重點介紹這些效益。
Kria SOM 首個成員 SOM K26 和首個入門套件 KV260 視覺 AI 入門套件已經(jīng)推出,代表了全新賽靈思主流產(chǎn)品線。參見圖 1。
圖1 賽靈思 K26 Kria SOM 和 KV260 視覺 AI 入門套件
隨著時間的推移,開發(fā)者可以期待更多的 Kria SOM 和套件。而且雖然本白皮書重點講述的是第一批方案,但同樣的概念也適用于未來推出的解決方案。
借助賽靈思 Kria SOM 簡化嵌入式設(shè)計的關(guān)鍵實現(xiàn)技術(shù),在于隨每個入門套件提供的應(yīng)用專用基礎(chǔ)架構(gòu)。它可以直接用于用戶的量產(chǎn)設(shè)計。首款 Kria 入門套件為 Kria KV260 視覺 AI 入門套件,它主要面向視覺 AI 應(yīng)用。未來的解決方案將重點關(guān)注由賽靈思和第三方開發(fā)的其他豐富多樣的應(yīng)用,并在 Xilinx App Store 中提供。Xilinx App Store提供成套的量產(chǎn)級參考設(shè)計,稱為 Kria 加速應(yīng)用。這種基于加速應(yīng)用的獨
特方法既為以軟件為基礎(chǔ)的設(shè)計提供了全新范例,同時也為目標(biāo)應(yīng)用保持了 FPGA 的性能優(yōu)勢和系統(tǒng)級靈活性。
利用加速應(yīng)用方法簡化 FPGA 設(shè)計
自適應(yīng) SoC 是一把雙刃劍。它們雖然比任何其他主流半導(dǎo)體技術(shù)都更加靈活,但也會讓新用戶感到過于復(fù)雜。這種靈活性體現(xiàn)在眾多方面:可編程邏輯、可編程軟件、可編程 I/O、可編程 DSP 引擎、可編程嵌入式 RAM、可編程安全性、可編程功耗等。Kria SOM 以最常用、最主流的用例為重點,從設(shè)計上簡化了這種靈活性造成的復(fù)雜性。這些用例已開發(fā)到加速應(yīng)用中,方便用戶通過 Xilinx App Store加入設(shè)計者的行
列中。加速應(yīng)用的變革性影響,類似于自動擋的發(fā)明較之手動擋令汽車駕駛更簡便易行。雖然手動擋的熱衷者仍不乏其人,但是世界上大多數(shù)人會自然地選用最容易操縱、最方便的方式。然而,即使賽靈思器件的固有功能被做了這樣的簡化,但與市場上無論是基于微處理器或是 GPU 的 SOM 相比,Kria SOM 都能提供強得多的系統(tǒng)級靈活性。
除了預(yù)配置電源提供的關(guān)鍵的便利特性、具備“金版”鏡像回讀功能的自動化啟動流程和靈活的 I/O 分配以外,Kria SOM 還為加速開發(fā)提供了更多豐富功能。Kria SOM 支持預(yù)構(gòu)建、可擴展的 Linux 基礎(chǔ)設(shè)施,無論客戶傾向于 Canonical 提供的 Ubuntu 和 Ubuntu Core 版本,還是賽靈思通過 PetaLinux 工具管理的 Linux 內(nèi)核,以及使用 Yocto 進行定制構(gòu)建的功能。兩種方式都提供了一套非常實用的系統(tǒng)工具,如溫度監(jiān)控器、性能監(jiān)控器、DDR 內(nèi)存和其他外設(shè)的服務(wù)質(zhì)量配置、固件無線更新能力、內(nèi)置自檢測等。這些特性對于簡化 Kria SOM 的使用很有幫助。然而,Kria SOM 最突出的特點在于 Xilinx App Store 提供的不斷豐富的加速應(yīng)用庫。其中既有免費應(yīng)用,也有收費應(yīng)用,并且都可以輕松加載到 Kria SOM 中。參見圖 2。
圖二 預(yù)構(gòu)建的Linux 基礎(chǔ)架構(gòu)簡化嵌入式設(shè)計
預(yù)構(gòu)建的可編程邏輯與加速應(yīng)用
Kria 加速應(yīng)用旨在借助基礎(chǔ)軟件應(yīng)用創(chuàng)建穩(wěn)健的應(yīng)用專用 FPGA 硬件設(shè)計,方便最終用戶進行擴展。在加速應(yīng)用中,SoC 的可編程邏輯部分已經(jīng)為用戶預(yù)先構(gòu)建。不需要進行修改即可使用。當(dāng)然,如果需要也可以修改。 賽靈思已經(jīng)開發(fā)出一定數(shù)量的加速應(yīng)用,通過修改就能滿足設(shè)計者的多樣化需求。初始 Kria 加速應(yīng)用依據(jù)的是研究發(fā)現(xiàn)的用戶在開發(fā)過程中最常使用的視覺 AI 應(yīng)用。這些賽靈思提供的加速應(yīng)用可由用戶根據(jù)自身目標(biāo)和需求進行修改。與從頭開發(fā)相比,幫助他們節(jié)省了軟件開發(fā)時間。賽靈思和賽靈思生態(tài)系統(tǒng) (運用自己在各自重點領(lǐng)域的專業(yè)知識交付應(yīng)用合作伙伴)將在Xilinx App Store上增加更多加速應(yīng)用。參見表 1.
表1 用于 Kria SOM 的加速應(yīng)用
對于首批入門套件解決方案,主要應(yīng)用是視覺 AI 應(yīng)用,例如安全、智慧城市、交通管理和零售分析。這些應(yīng)用推動了針對 KV260 入門套件的設(shè)計決策,包括為 I/O 接口選擇連接器等決策。這些連接包括 MIPI、HDMI、DisplayPort、USB 和以太網(wǎng)等接口。未來的入門套件將面向更多類型的應(yīng)用,如機器視覺、視覺引導(dǎo)機器人等。Kria 加速應(yīng)用幫助用戶快速從評估階段進入到設(shè)計階段以及部署階段。
從評估到量產(chǎn)部署的典型流程
這里是從評估到量產(chǎn)部署的典型流程:
1.最初數(shù)天(評估):選擇滿足用戶需求,適合評估平臺功能的最為近似的賽靈思預(yù)構(gòu)建設(shè)計(加速應(yīng)用)。
2.最初數(shù)周(設(shè)計):定制應(yīng)用軟件和 AI 模型,根據(jù)最終產(chǎn)品需求調(diào)試 Kria 加速應(yīng)用。此外,用戶還可以針對用戶的 AI 模型選擇,使用 Vitis? 庫的硬件加速器優(yōu)化完整的圖像數(shù)據(jù)路徑,最大限度提升性能。
3.最初數(shù)月(部署):針對具體的用戶外設(shè)(如不同的攝像頭傳感器)定制硬件并啟動構(gòu)建定制載卡的流程。根據(jù)需要,參照豐富的在線教程和設(shè)計指南,在這個階段通過 Vitis 設(shè)計工具也可以修改 FPGA硬件。
4.數(shù)年(適配):通過無線更新的方式對現(xiàn)場的軟硬件進行更新,從而最大化產(chǎn)品相關(guān)性,并通過這些 更新,有望為用戶的公司創(chuàng)造新的收益流。不斷演進的標(biāo)準(zhǔn)、威脅和客戶需求可能導(dǎo)致 AI 模型、視 覺流水線、控制環(huán)路、通信協(xié)議和加密引擎發(fā)生改變。Kria SOM 提供了在部署后做出這些改變的靈 活性與內(nèi)置功能。
參見圖3.
正如上述場景所呈現(xiàn)的,在評估階段無需安裝賽靈思工具。GNU 編譯器和 Vitis AI 等軟件工具用于第二步,即設(shè)計階段。第三階段是部署。如過有任何階段需要實現(xiàn)硬件定制,最有可能是在這個階段。因此有可能需要 Vitis 和/或 Vivado? 設(shè)計套件等 FPGA 工具。
Kria 加速應(yīng)用的優(yōu)勢
Kria 加速應(yīng)用的重要之處在于,它們允許用戶在 Ubuntu 或 Yocto Linux 環(huán)境下從熟悉的嵌入式軟件和 AI 工具入手,而不必與可能不熟悉的 FPGA 工具打交道。要讓用戶充分發(fā)揮這種方便的流程的優(yōu)勢,前提是賽靈思應(yīng)用商店中有與用戶需求匹配的加速應(yīng)用(例如智能攝像頭、AI Box、配有 KV26 和 KV260 的機器視覺攝像頭,還有未來的機器人控制器和電驅(qū)動器)。應(yīng)用軟件和 AI處理是量產(chǎn)所需的主要修改。因此,雖然完全支持 FPGA 定制,但無需定制。
憑借軟件設(shè)計的便利性,預(yù)先構(gòu)建在這些系統(tǒng)內(nèi)的應(yīng)用專用 FPGA 加速塊提供了世界一流的性能和低時延。SOM還能根據(jù)加載到 SOM 中的具體加速應(yīng)用,通過改變用戶可用的加速塊,提供顯著的“個性化”加速。此外,每個加速應(yīng)用都可以使用 Vitis 加速庫實現(xiàn)定制化。定制范圍從 OpenCV 到豐富多樣的其他常用功能。這種靈活性是SOM 自適應(yīng)技術(shù)基礎(chǔ)的基本價值主張。
Kria SOM 的主要性能和特性
主要特性和標(biāo)準(zhǔn)隨使用的 Kria 加速應(yīng)用以及與該應(yīng)用相關(guān)的功能而有所變化。對于首批解決方案而言,K26 SOM 和 KV260 視覺 AI 入門套件重點關(guān)注 AI 吞吐量、性能功耗比和每通道成本。如欲了解更詳細的性能基準(zhǔn)測試報告,敬請查詢相關(guān)白皮書:WP529,Kria K26 SOM:邊緣視覺 AI 的理想平臺。本白皮書概述了相對于競爭對手 SOM 產(chǎn)品的優(yōu)勢,重點介紹了具體的用例,如智慧城市應(yīng)用中的車牌/數(shù)字車牌識別等。
從純粹的每秒萬億次的運算(TOPS)來看,K26 SOM 可提供比 Nvidia Jetson Nano 高大約 3 倍的性能優(yōu)勢。此外,它也能提供比 Nvidia Jetson TX2 最多高 2 倍的性能功耗比優(yōu)勢。其低時延、高性能的深度學(xué)習(xí)處理單元(DPU)在機器學(xué)習(xí)性能基準(zhǔn)測試套件的網(wǎng)絡(luò)上,可提供顯著優(yōu)于 Nano 和 TX2 的性能。參見圖 4。
圖4 賽靈思 Kria SOM 與英偉達 Jetson AI 性能對比
Kria K26 SOM 特性
K26 SOM 采用 Zynq UltraScale+ MPSoC 架構(gòu)。由此,K26 和所有 K2x 系列 SOM 均搭載一個 64 位四核 Arm? Cortex?-A53 應(yīng)用處理器組、一個 32 位雙核 Arm Cortex-R5F 實時處理器和一個 Arm Mali?-400MP2 3D 圖形處理器。SOM 還內(nèi)置 4GB 的 64 位 DDR4 內(nèi)存以及 QSPI 和 eMMC 存儲器。通過外部 TPM2.0,內(nèi)置硬件信任根的固有安全啟動功能得到擴展,能進行測量啟動并符合 IEC 62443 的標(biāo)準(zhǔn)(參見 WP513,賽靈思 IEC 62443 合規(guī)產(chǎn)品實現(xiàn))。此外,通過其 FPGA 架構(gòu)內(nèi)的 25.6 萬個系統(tǒng)邏輯單元,K26 SOM 還能支持最多 4096 個大小的 DPU,并為 H.264/H.265 提供內(nèi)置視頻編解碼器。K26 SOM 通過 四個 6Gb/s 收發(fā)器和四個 12.5Gb/s 收發(fā)器,支持大量的 1.8V、3.3V、單端和差分 I/O。整體上可以支持
多種類型的標(biāo)準(zhǔn),如 MIPI、SLVS-EC、sub-LVDS、DisplayPort、HDMI、PCIe? 、USB2.0/3.0 等,包括用戶定義的標(biāo)準(zhǔn)。K26 SOM 的大小是 77mm x 60mm x 11mm,在未來,計劃顯著縮小 SOM 的尺寸,以支持堅固型應(yīng)用。商用級 K26 SOM 支持的額定溫度范圍是 0°C 至 +85°C 結(jié)溫,以內(nèi)部溫度傳感器報告應(yīng)用處理器的溫度為準(zhǔn)。SOM 上的所有其他器件均以該傳感器的測量值為準(zhǔn)。類似地,工業(yè)級支持的額定溫度范圍是 –40°C 至 +100°C。SOM 通過兩個 240 引腳連接器與載卡相連。參見表 2。
表2 K26 SOM 概覽
KV260 入門套件特性
為了降低成本、簡化評估,盡管量產(chǎn)的 K26 SOM 上有兩個連接器,KV269 入門套件內(nèi)的 SOM 由于功能受限,因此只有一個連接器可以使用。量產(chǎn) SOM 和入門套件間的其他差異還有載卡上移除 eMMC 存儲器,用 SD 卡接口代替,以及入門套件只能在室溫下運行。
KV260 視覺 AI 入門套件支持三個 MIPI 傳感器接口,一個安森美半導(dǎo)體提供的成像器接入系統(tǒng)(IAS)連接器并配套一個板載圖像信號處理器(ISP)、一個補充 IAS 連接器和一個樹莓派連接器。提供多個 USB 2.0/3.0 接口以及以太網(wǎng)、HDMI、DisplayPort 和 Pmod 連接器,用于評估多種類型的視覺 AI 應(yīng)用。這種入門套件使用簡便,從開箱到開發(fā)應(yīng)用,用時不到一個小時。參見圖 5。
圖5 KV260 視覺 AI 入門套件原理圖
Kria SOM 系統(tǒng)級靈活性實現(xiàn)面向未來的產(chǎn)品
成套的應(yīng)用專用解決方案和固有的性能優(yōu)勢令 Kria SOM 成為全新嵌入式設(shè)計的理想選擇。除此之外,它還可為工業(yè)市場提供多項長期商業(yè)以及技術(shù)優(yōu)勢。
工業(yè)市場的特征是要求嚴(yán)苛環(huán)境下的長生命周期。這里的長生命周期是指在更寬泛的工作溫度范圍下承受濕度、沖擊和振動的長使用壽命。工業(yè)級 Kria SOM 能在 100°C 結(jié)溫、80% 相對濕度下提供 10 年的使用壽命。此外,它還能承受最高 40g 的沖擊和 5g RMS的振動。
對一些客戶而言,長生命周期也指長期供貨。就賽靈思 SOM 產(chǎn)品而言,工業(yè)級解決方案的供貨期至少為 10 年。這是 Kria SOM 的一項重大優(yōu)勢,因為 DDR4、QSPI、eMMC、TPM2.0 等各類組件和電源管理器件的價格和供貨可能存在諸多變數(shù)。賽靈思可幫助用戶減少對這些細節(jié)的關(guān)注,因為長生命周期只是Kria SOM 的眾多價值之一。Kria SOM 模型還可內(nèi)在地允許客戶根據(jù)出貨量漲跌造成的業(yè)務(wù)需求,從 SOM過渡到成品芯片。
從技術(shù)的角度,Kria SOM 具備自適應(yīng)器件基礎(chǔ),可為用戶提供重大的靈活性優(yōu)勢。這些系統(tǒng)級靈活性可通過加速應(yīng)用的未來更新得到進一步強化。例如,一項對 DPU 性能的研究揭示,從 INT8 升級到 INT4 能提高硬件性能 77%,同時減少邏輯占用和片上存儲器占用。也能部署高速可擴展的量化神經(jīng)網(wǎng)絡(luò)推斷(FINN)這樣的降低精度的推斷架構(gòu),因為 Kria SOM 硬件會隨著時間的推移不斷改進,可以在部署到實地后進行升級。這與固定的 GPU 架構(gòu)相比完全相反。
靈活適應(yīng)市場趨勢
有時候在市場的推動下,可能發(fā)生從一種技術(shù)或接口向另一種技術(shù)或接口遷移的情況。而 Kria SOM 也能適應(yīng)這些外部力量的作用。賽靈思可編程 I/O 和內(nèi)部可編程邏輯能支持從 MIPI 等成像標(biāo)準(zhǔn)向 SLVS-EC 轉(zhuǎn)型,乃至從 SLVS-EC 1.0 版向 2.0 版轉(zhuǎn)型,從而支持 2 倍的數(shù)據(jù)速率。
Kria SOM 靈活性的另一個環(huán)節(jié)是它們是云原生的。它們可以讓用戶迅速、無縫地在邊緣和云之間靈活分配工作負載。在需要加快響應(yīng)速度的時候,其他物聯(lián)網(wǎng)解決方案所受限制過大,無法可靠地處理云工作負載。但是 Kria SOM 可支持許多最常用的云框架。就部分云解決方案而言,比如采用 Greengrass 框架的AWS,運行在云上的應(yīng)用可以無縫遷移到邊緣,反之亦然。根據(jù)大多數(shù)工業(yè)資產(chǎn)的預(yù)期使用壽命和耐久度,Kria SOM 專為滿足工業(yè)級使用壽命的要求量身打造。
從 Kria SOM 入手
正如本白皮書通篇所介紹的那樣,對于希望在量產(chǎn)系統(tǒng)中發(fā)揮 FPGA 技術(shù)的優(yōu)勢,但不知道從何著手的嵌入式開發(fā)者和 AI 軟件開發(fā)者來說,Kria SOM 是理想的解決方案。此外,Kria SOM 還能消除設(shè)計流程中一些比較耗時的環(huán)節(jié),從而為 FPGA 專家提高了自適應(yīng) SoC 硬件的設(shè)計效率并降低了風(fēng)險。
隨著賽靈思和合作伙伴的不懈努力,Kria SOM 開發(fā)者生態(tài)系統(tǒng)將持續(xù)增長,不斷提供更多加速應(yīng)用,強化 Kria SOM 系列和入門套件,大幅縮短掌握賽靈思自適應(yīng)計算技術(shù)的性能和靈活性所需的時間。設(shè)計者通過https://china.xilinx.com/products/som/kria.html,可以立即開始評估當(dāng)前的 Kria SOM 產(chǎn)品組合。為幫助設(shè)計者入門,賽靈思還提供文檔、視頻和培訓(xùn)資料。設(shè)計者可以在賽靈思應(yīng)用商店購買入門套件和附件包,查看 Kria 加速應(yīng)用,然后找出最適合自己的應(yīng)用。
評論