CEVA：助力從移動設(shè)備到汽車應(yīng)用生成式人工智能的部署

Ceva市場資訊副總裁Richard Kingston

與目前基于云的傳統(tǒng)人工智能相比，邊緣智能將有許多更小、功耗更低的用例。邊緣智能的范圍非常廣泛，從在MCU和小型NPU上運行的非常小的神經(jīng)網(wǎng)絡(luò)（如TinyML），適用于語音、視覺、傳感等多種應(yīng)用，一直擴展到在智能手機上運行的生成式人工智能和完全自動駕駛汽車。由于在設(shè)備上運行人工智能成本更低，無需將數(shù)據(jù)發(fā)送到云端，因此邊緣智能擁有廣闊的未來發(fā)展前景。將人工智能引入許多行業(yè)都極具吸引力，尤其是智能手表、耳塞、智能手機、相機等消費類設(shè)備，以及預(yù)測性維護、工廠自動化、個人電腦、電視、汽車等工業(yè)領(lǐng)域。Ceva市場資訊副總裁Richard Kingston坦言，未來幾乎所有行業(yè)都會采用人工智能。隨著處理架構(gòu)的改進和優(yōu)化網(wǎng)絡(luò)的軟件的完善，未來大部分推理操作都將在邊緣設(shè)備上進行。

生成式人工智能要求NPU 等處理器能夠運行transformer、全連接（FC）、FC 批處理、RNN、3D 卷積等新網(wǎng)絡(luò)?，F(xiàn)有的人工智能處理器解決方案無法支持這些生成式人工智能網(wǎng)絡(luò)。它們還需要具有靈活性，以支持新的層級和網(wǎng)絡(luò)，而不僅僅是在硬件中提供所有的網(wǎng)絡(luò)支持。因此，這是邊緣人工智能行業(yè)的拐點。生成式人工智能將用于邊緣設(shè)備，生成與語音、聲音和圖像相關(guān)的用例和應(yīng)用。Ceva市場資訊副總裁Richard Kingston介紹，邊緣人工智能需要新的 NPU 架構(gòu)，如上所述，因為針對普通人工智能的NPU、DSP、GPU等無法支持生成式人工智能。此外，編譯和縮減網(wǎng)絡(luò)以在邊緣設(shè)備上運行的軟件必須具備很強的能力，能夠以盡可能小的網(wǎng)絡(luò)提供全部性能，以節(jié)省內(nèi)存資源。為此，CEVA在市場上推出了生成式人工智能NPU IP產(chǎn)品Ceva-NeuPro-M，它采用了可擴展的架構(gòu)，可以滿足移動設(shè)備對生成式人工智能的任何需求，而且功耗極低、效率極高。Ceva生成式人工智能NPU架構(gòu)方法的一個優(yōu)勢是包含一個矢量引擎，即使移動處理器已安裝在設(shè)備中，仍可升級NPU 以支持新網(wǎng)絡(luò)。Ceva-NeuPro-M可從32 TOPS擴展到256 TOPS，因此非常適合用于從移動設(shè)備到汽車等使用案例中的生成式人工智能。Ceva-NeuPro-M重新定義了智能邊緣設(shè)備和邊緣計算的高性能人工智能（AI）處理，具有異構(gòu)協(xié)同處理功能，主要針對生成式和經(jīng)典人工智能推理工作負載。Ceva-NeuPro-M采用異構(gòu)協(xié)處理器，首先在每個內(nèi)部處理引擎內(nèi)，其次在引擎之間進行復(fù)合并行處理，從而實現(xiàn)了性能上的重大飛躍。

對于Ceva來說，NPU是包括矢量和NPU的異構(gòu)處理器，以獲得最高性能和支持未來的靈活性。此外，您還可以添加一個DSP處理器來處理傳統(tǒng)的視覺、聲音和傳感算法。還可以添加Arm或RISC-V處理器來運行RTOS，但這并非必要。除了這些硬件IP外，Richard Kingston介紹Ceva還提供了完整的軟件Studio，即Ceva-NeuPro Studio。這是一項全面的人工智能編譯器技術(shù)，可為Ceva-NeuPro-M NPU IP架構(gòu)創(chuàng)建全面優(yōu)化的運行時軟件。Ceva-NeuPro Studio面向大眾市場的嵌入式設(shè)備，將廣泛的網(wǎng)絡(luò)優(yōu)化、先進的量化算法、數(shù)據(jù)流管理和全面優(yōu)化的計算CNN和RNN庫整合到一個整體解決方案中，從而能夠?qū)⒃朴?xùn)練的人工智能模型部署到邊緣設(shè)備上進行推理處理。

隨著邊緣智能的普及，Richard Kingston表示，Ceva將提供一整套處理器來處理MCU用例的最小網(wǎng)絡(luò)和應(yīng)用，直到極高性能的自動駕駛汽車，所有處理都將在邊緣高能效地完成。這就是Ceva-NeuPro系列的戰(zhàn)略。我們還提供藍牙、Wi-Fi、UWB、蜂窩5G等所有連接IP，用于連接這些智能設(shè)備以及DSP和應(yīng)用軟件，使得這些設(shè)備能夠感知周圍環(huán)境。Ceva的愿景是促使任何邊緣設(shè)備都能連接、感知和推斷。

（本文來源于《EEPW》2024.5）