Arm與阿里巴巴合作，通過KleidiAI與通義千問模型的集成，加速端側(cè)多模態(tài)AI體驗(yàn)

Arm 控股有限公司（以下簡稱 “Arm”）近日發(fā)布與阿里巴巴淘天集團(tuán)輕量級深度學(xué)習(xí)框架 MNN 的又一新合作。雙方經(jīng)由 Arm KleidiAI 的集成，成功讓多模態(tài)人工智能 (AI) 工作負(fù)載通過阿里巴巴經(jīng)指令調(diào)整的通義千問 Qwen2-VL-2B-Instruct 模型運(yùn)行在搭載 Arm CPU 的移動設(shè)備上。該版本的通義千問模型專為端側(cè)設(shè)備的圖像理解、文本到圖像的推理，以及跨多種語言的多模態(tài)生成而設(shè)計(jì)。此次的合作顯著提升了端側(cè)多模態(tài) AI 工作負(fù)載的性能，帶來全新的用戶體驗(yàn)。

Arm 終端事業(yè)部產(chǎn)品管理高級總監(jiān) Stefan Rosinger 表示：“我們正身處 AI 革命的浪潮之中，親眼見證了多模態(tài) AI 模型的興起。這些模型能夠處理并理解多種數(shù)據(jù)類型，涵蓋文本、圖像、音頻、視頻及傳感器數(shù)據(jù)。然而，由于硬件本身的電力限制和內(nèi)存約束，加之同時(shí)處理多種數(shù)據(jù)類型帶來的復(fù)雜性，在端側(cè)設(shè)備上部署這些先進(jìn)的多模態(tài)模型正面臨著不小的挑戰(zhàn)?！?/p>

Arm Kleidi 成為解決這些挑戰(zhàn)的理想方案，它能夠?yàn)檫\(yùn)行在 Arm CPU 上的所有 AI 推理工作負(fù)載提供無縫的性能優(yōu)化。KleidiAI 是一套輕量級且高性能開源的 Arm 例程，專為 AI 加速而設(shè)計(jì)，目前已被集成到最新版本的主流端側(cè) AI 框架中，包括 ExecuTorch、Llama.cpp、LiteRT （通過XNNPACK）和 MediaPipe，能讓數(shù)百萬名開發(fā)者無需進(jìn)行額外操作，即可自動獲取 AI 性能的顯著提升。

加速端側(cè)多模態(tài) AI 用例的響應(yīng)時(shí)間

通過 KleidiAI 與 MNN 的集成，Arm 和 MNN 團(tuán)隊(duì)測量了 Qwen2-VL-2B-Instruct 模型的加速性能，結(jié)果顯示在端側(cè)的關(guān)鍵 AI 多模態(tài)應(yīng)用場景中，其運(yùn)行和響應(yīng)速度均有所提升。這一提升可為阿里巴巴旗下眾多以客戶為中心的應(yīng)用程序帶來更加出色的用戶體驗(yàn)。

這些用例響應(yīng)速度的提升，得益于模型預(yù)填充（指 AI 模型在生成響應(yīng)之前先對提示詞輸入進(jìn)行處理）性能提升了 57% ，以及解碼（指處理提示詞后從 AI 模型生成文本的過程）性能提升了 28%。此外，KleidiAI 集成還可以通過降低多模態(tài)工作負(fù)載的總體計(jì)算成本，進(jìn)一步促進(jìn)端側(cè)設(shè)備上 AI 工作負(fù)載的高效處理。數(shù)百萬使用包括 MNN 框架在內(nèi)的熱門 AI 框架運(yùn)行應(yīng)用程序與工作負(fù)載的開發(fā)者，可以在針對邊緣側(cè)設(shè)備的應(yīng)用和工作負(fù)載中享受到這些性能和效率的提升。

阿里云通義大模型業(yè)務(wù)總經(jīng)理徐棟表示：“我們非常高興看到通義千問大模型與Arm KleidiAI 及 MNN 團(tuán)隊(duì)展開深度技術(shù)合作，通過 MNN 端側(cè)推理框架和 Arm KleidiAI 的集成加速優(yōu)化，成功實(shí)現(xiàn)了大模型推理延遲的顯著降低與能效比的大幅提升。此次開創(chuàng)性的合作不僅充分驗(yàn)證了大模型在移動終端的實(shí)用潛力，更使用戶能夠在指尖體驗(yàn)到下一代 AI 的普惠價(jià)值。我們期待三方能夠持續(xù)攜手，以技術(shù)創(chuàng)新突破算力邊界，共同開啟端側(cè)智能新篇章。”

阿里巴巴淘天集團(tuán)業(yè)務(wù)技術(shù) MNN 負(fù)責(zé)人姜霄棠表示：“此次 MNN 推理框架與 Arm KleidiAI 做深度技術(shù)融合，在端側(cè)大模型加速方面取得了全新突破。通過我們對底層架構(gòu)的聯(lián)合優(yōu)化，通義大模型的端側(cè)推理效率實(shí)現(xiàn)大幅提升，成功跨越了受限算力與復(fù)雜 AI 能力的技術(shù)鴻溝。這一成果既是 MNN 團(tuán)隊(duì)技術(shù)攻堅(jiān)的結(jié)晶，更是跨界協(xié)作力量的生動詮釋。我們期待未來能持續(xù)攜手深耕端側(cè)計(jì)算生態(tài)，讓每個移動終端都能承載更流暢、更高效、更自然的 AI 體驗(yàn)?！?/p>

在 MWC 上進(jìn)行 KleidiAI 集成演示

在今年的世界移動通信大會 (MWC) 上，Arm 在活動展位（2 號展廳 I60 展臺）展示了此次合作的成果，該演示突出了模型如何理解視覺和文本輸入的多種組合，并對圖像中的內(nèi)容進(jìn)行提煉說明。這項(xiàng)演示在搭載 MediaTek 天璣 9400 移動系統(tǒng)芯片 (SoC) 的智能手機(jī)上完成，包括 vivo X200系列。

實(shí)現(xiàn)多模態(tài) AI 體驗(yàn)的飛躍

KleidiAI 和為阿里巴巴通義千問模型支持的 MNN 框架進(jìn)行集成，成功地為運(yùn)行在搭載 Arm CPU 端側(cè)的多模態(tài) AI 工作負(fù)載帶來顯著的用戶體驗(yàn)提升。這些卓越的體驗(yàn)現(xiàn)已應(yīng)用于移動設(shè)備，許多的面向客戶的應(yīng)用程序也已受惠于 KleidiAI 帶來的種種優(yōu)勢。展望未來，KleidiAI 針對 AI 工作負(fù)載的無縫優(yōu)化將繼續(xù)賦能開發(fā)者，助力其在端側(cè)設(shè)備上提供更加復(fù)雜的多模態(tài)體驗(yàn)。這將為下一波智能計(jì)算浪潮奠定基礎(chǔ)，并在 AI 的持續(xù)演進(jìn)中邁出令人振奮的一大步。