NPU是什么？為何它是開啟終端側(cè)生成式AI的關(guān)鍵？

生成式AI變革已經(jīng)到來。隨著生成式AI用例需求在有著多樣化要求和計(jì)算需求的垂直領(lǐng)域不斷增加，我們顯然需要專為AI定制設(shè)計(jì)的全新計(jì)算架構(gòu)。這首先需要一個(gè)面向生成式AI全新設(shè)計(jì)的神經(jīng)網(wǎng)絡(luò)處理器(NPU)，同時(shí)要利用異構(gòu)處理器組合，比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器，異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，賦能全新增強(qiáng)的生成式AI體驗(yàn)。

正如在工具箱中選擇合適的工具一樣，選擇合適的處理器取決于諸多因素，將增強(qiáng)生成式AI體驗(yàn)。

異構(gòu)計(jì)算的重要性

生成式AI的多樣化要求和計(jì)算需求需要不同的處理器來滿足。支持處理多樣性的異構(gòu)計(jì)算架構(gòu)能夠發(fā)揮每個(gè)處理器的優(yōu)勢(shì)，例如以AI為中心定制設(shè)計(jì)的NPU，以及CPU和GPU。每個(gè)處理器擅長(zhǎng)不同的任務(wù)：CPU擅長(zhǎng)順序控制和即時(shí)性，GPU適合并行數(shù)據(jù)流處理，NPU擅長(zhǎng)標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，可用于核心AI工作負(fù)載。

異構(gòu)計(jì)算能夠?qū)崿F(xiàn)最佳應(yīng)用性能、能效和電池續(xù)航，以最大化發(fā)揮生成式AI終端用戶體驗(yàn)。

NPU隨著不斷變化的AI用例和模型持續(xù)演進(jìn)，實(shí)現(xiàn)高性能低功耗。

什么是神經(jīng)網(wǎng)絡(luò)處理器NPU（Neural Processing Unit）？

NPU專為實(shí)現(xiàn)以低功耗加速AI推理而全新打造，其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進(jìn)。Al工作負(fù)載主要包括由標(biāo)量、向量和張量數(shù)學(xué)組成的神經(jīng)網(wǎng)絡(luò)層計(jì)算以及非線性激活函數(shù)。優(yōu)秀的NPU設(shè)計(jì)能夠?yàn)樘幚磉@些AI工作負(fù)載做出正確的設(shè)計(jì)選擇，與AI行業(yè)方向保持高度一致。

高通AI引擎包括高通Hexagon NPU、高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。

高通領(lǐng)先的NPU和異構(gòu)計(jì)算解決方案

高通正在助力讓智能計(jì)算無處不在。業(yè)界領(lǐng)先的高通Hexagon NPU面向以低功耗實(shí)現(xiàn)持續(xù)穩(wěn)定的高性能AI推理而設(shè)計(jì)。高通NPU的差異化優(yōu)勢(shì)在于系統(tǒng)級(jí)解決方案、定制設(shè)計(jì)和快速創(chuàng)新。通過定制設(shè)計(jì)NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計(jì)演進(jìn)和擴(kuò)展，以解決瓶頸問題并優(yōu)化性能。

Hexagon NPU是高通業(yè)界領(lǐng)先的異構(gòu)計(jì)算架構(gòu)——高通AI引擎中的關(guān)鍵處理器，高通AI引擎還包括高通Adreno GPU、高通Kryo或高通Oryon CPU、高通傳感器中樞和內(nèi)存子系統(tǒng)。這些處理器為實(shí)現(xiàn)協(xié)同工作而設(shè)計(jì)，能夠在終端側(cè)快速且高效地運(yùn)行AI應(yīng)用。

我們?cè)贏I基準(zhǔn)測(cè)試和實(shí)際生成式AI應(yīng)用方面的行業(yè)領(lǐng)先性能表現(xiàn)就是例證。

高通AI軟件棧旨在幫助開發(fā)者一次編寫，即可實(shí)現(xiàn)隨時(shí)隨地運(yùn)行和規(guī)?；瘮U(kuò)展。

賦能開發(fā)者加速生成式Al應(yīng)用

我們專注于在全球搭載高通和驍龍平臺(tái)的數(shù)十億終端設(shè)備上實(shí)現(xiàn)便捷開發(fā)和部署，賦能開發(fā)者。利用高通AI軟件棧（Qualcomm AI Stack），開發(fā)者可在高通硬件上創(chuàng)建、優(yōu)化和部署AI應(yīng)用，一次編寫即可實(shí)現(xiàn)在不同產(chǎn)品和細(xì)分領(lǐng)域采用高通芯片組解決方案進(jìn)行部署。

通過將技術(shù)領(lǐng)導(dǎo)力、定制芯片設(shè)計(jì)、全棧AI優(yōu)化和生態(tài)系統(tǒng)賦能充分結(jié)合，高通技術(shù)公司在推動(dòng)終端側(cè)生成式AI開發(fā)和應(yīng)用方面獨(dú)樹一幟。高通技術(shù)公司正在賦能終端側(cè)生成式AI的規(guī)?；瘮U(kuò)展。

本文內(nèi)容來自高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉、高通技術(shù)公司技術(shù)市場(chǎng)總監(jiān)Pat Lawlor的署名博客。

*驍龍和高通品牌產(chǎn)品是高通技術(shù)公司和/或其子公司的產(chǎn)品。