NPU是什么？為何它是開啟終端側(cè)生成式AI的關(guān)鍵？

生成式AI變革已經(jīng)到來。隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領(lǐng)域不斷增加，我們顯然需要專為AI定制設(shè)計的全新計算架構(gòu)。這首先需要一個面向生成式AI全新設(shè)計的神經(jīng)網(wǎng)絡(luò)處理器(NPU)，同時要利用異構(gòu)處理器組合，比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器，異構(gòu)計算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，賦能全新增強的生成式AI體驗。

正如在工具箱中選擇合適的工具一樣，選擇合適的處理器取決于諸多因素，將增強生成式AI體驗。

異構(gòu)計算的重要性

生成式AI的多樣化要求和計算需求需要不同的處理器來滿足。支持處理多樣性的異構(gòu)計算架構(gòu)能夠發(fā)揮每個處理器的優(yōu)勢，例如以AI為中心定制設(shè)計的NPU，以及CPU和GPU。每個處理器擅長不同的任務(wù)：CPU擅長順序控制和即時性，GPU適合并行數(shù)據(jù)流處理，NPU擅長標(biāo)量、向量和張量數(shù)學(xué)運算，可用于核心AI工作負(fù)載。

異構(gòu)計算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，以最大化發(fā)揮生成式AI終端用戶體驗。

NPU隨著不斷變化的AI用例和模型持續(xù)演進(jìn)，實現(xiàn)高性能低功耗。

什么是神經(jīng)網(wǎng)絡(luò)處理器NPU（Neural Processing Unit）？

NPU專為實現(xiàn)以低功耗加速AI推理而全新打造，其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進(jìn)。Al工作負(fù)載主要包括由標(biāo)量、向量和張量數(shù)學(xué)組成的神經(jīng)網(wǎng)絡(luò)層計算以及非線性激活函數(shù)。優(yōu)秀的NPU設(shè)計能夠為處理這些AI工作負(fù)載做出正確的設(shè)計選擇，與AI行業(yè)方向保持高度一致。

高通AI引擎包括高通Hexagon NPU、高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。

高通領(lǐng)先的NPU和異構(gòu)計算解決方案

高通正在助力讓智能計算無處不在。業(yè)界領(lǐng)先的高通Hexagon NPU面向以低功耗實現(xiàn)持續(xù)穩(wěn)定的高性能AI推理而設(shè)計。高通NPU的差異化優(yōu)勢在于系統(tǒng)級解決方案、定制設(shè)計和快速創(chuàng)新。通過定制設(shè)計NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計演進(jìn)和擴展，以解決瓶頸問題并優(yōu)化性能。

Hexagon NPU是高通業(yè)界領(lǐng)先的異構(gòu)計算架構(gòu)——高通AI引擎中的關(guān)鍵處理器，高通AI引擎還包括高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。這些處理器為實現(xiàn)協(xié)同工作而設(shè)計，能夠在終端側(cè)快速且高效地運行AI應(yīng)用。

我們在AI基準(zhǔn)測試和實際生成式AI應(yīng)用方面的行業(yè)領(lǐng)先性能表現(xiàn)就是例證。

高通AI軟件棧旨在幫助開發(fā)者一次編寫，即可實現(xiàn)隨時隨地運行和規(guī)模化擴展。

賦能開發(fā)者加速生成式Al應(yīng)用

我們專注于在全球搭載高通和驍龍平臺的數(shù)十億終端設(shè)備上實現(xiàn)便捷開發(fā)和部署，賦能開發(fā)者。利用高通AI軟件棧（Qualcomm AI Stack），開發(fā)者可在高通硬件上創(chuàng)建、優(yōu)化和部署AI應(yīng)用，一次編寫即可實現(xiàn)在不同產(chǎn)品和細(xì)分領(lǐng)域采用高通芯片組解決方案進(jìn)行部署。

通過將技術(shù)領(lǐng)導(dǎo)力、定制芯片設(shè)計、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結(jié)合，高通技術(shù)公司在推動終端側(cè)生成式AI開發(fā)和應(yīng)用方面獨樹一幟。高通技術(shù)公司正在賦能終端側(cè)生成式AI的規(guī)模化擴展。

本文內(nèi)容來自高通技術(shù)公司高級副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉、高通技術(shù)公司技術(shù)市場總監(jiān)Pat Lawlor的署名博客。

*驍龍和高通品牌產(chǎn)品是高通技術(shù)公司和/或其子公司的產(chǎn)品。