通義千問首次落地天璣9300移動(dòng)平臺(tái)！離線也可流暢運(yùn)行多輪AI對(duì)話

3月28日，阿里云與知名半導(dǎo)體公司MediaTek聯(lián)合宣布，通義千問18億、40億參數(shù)大模型已成功部署進(jìn)天璣9300移動(dòng)平臺(tái)，可離線流暢運(yùn)行即時(shí)且精準(zhǔn)的多輪AI對(duì)話應(yīng)用，連續(xù)推理功耗增量不到3W，實(shí)現(xiàn)手機(jī)AI體驗(yàn)的大幅提升。這是通義大模型首次完成芯片級(jí)的軟硬適配，僅依靠終端算力便能擁有極佳的推理性能及功耗表現(xiàn)，標(biāo)志著Model-on-Chip的探索正式從驗(yàn)證走向商業(yè)化落地新階段。

端側(cè)AI是大模型落地的極具潛力的場(chǎng)景之一。利用終端算力進(jìn)行AI推理，可大幅降低推理成本、保證數(shù)據(jù)安全并提升AI響應(yīng)速度，讓大模型可以更好地為用戶提供個(gè)性化體驗(yàn)。然而，要將大模型部署并運(yùn)行在終端，需完成從底層芯片到上層操作系統(tǒng)及應(yīng)用開發(fā)的軟硬一體深度適配，存在技術(shù)未打通、算子不支持、開發(fā)待完善等諸多挑戰(zhàn)。

據(jù)了解，通義千問18億參數(shù)開源大模型，在多個(gè)權(quán)威測(cè)試集上性能表現(xiàn)遠(yuǎn)超此前SOTA模型，且推理2048 token最低僅用1.8G內(nèi)存，是一款低成本、易于部署、商業(yè)化友好的小尺寸模型。天璣9300集成MediaTek第七代AI處理器APU790，生成式AI處理速度是上一代AI處理器的8倍。

阿里巴巴通義實(shí)驗(yàn)室業(yè)務(wù)負(fù)責(zé)人徐棟介紹稱，阿里云與MediaTek在模型瘦身、工具鏈優(yōu)化、推理優(yōu)化、內(nèi)存優(yōu)化、算子優(yōu)化等多個(gè)維度展開合作，實(shí)現(xiàn)了基于AI處理器的高效異構(gòu)加速，真正把大模型“裝進(jìn)”并運(yùn)行在手機(jī)芯片中，給業(yè)界成功打樣端側(cè)AI的Model-on-Chip部署新模式。

圖：在天璣9300設(shè)備上，可離線完成基于通義千問大模型的AI多輪會(huì)話

基于天璣9300芯片，通義千問18億參數(shù)大模型在推理方面表現(xiàn)出了極佳的性能與功耗表現(xiàn)，推理時(shí)CPU占有率僅為30%左右，RAM占用少于2GB，推理速度超過20tokens/秒，系列指標(biāo)均達(dá)到業(yè)界領(lǐng)先水平，可在離線環(huán)境下流暢實(shí)現(xiàn)多輪AI對(duì)話。據(jù)了解，相關(guān)成果將以SDK的形式提供給手機(jī)廠商和開發(fā)者。

此外，雙方團(tuán)隊(duì)也已完成了通義千問40億參數(shù)大模型與天璣9300的適配，未來還將基于天璣適配70億等更多尺寸大模型，“打樣”并支持開發(fā)更多AI智能體及應(yīng)用。

MediaTek無線通信事業(yè)部副總經(jīng)理李彥輯博士表示：“阿里云的通義系列大模型是AI領(lǐng)域的佼佼者，我們期待通過雙方的合作可以為應(yīng)用開發(fā)者和終端客戶提供更強(qiáng)大的硬件和軟件解決方案，同時(shí)促進(jìn)生成式AI的端側(cè)部署以及AI應(yīng)用、AI智能體生態(tài)的快速發(fā)展，為用戶帶來更多令人興奮的AI產(chǎn)品體驗(yàn)?！?/p>

當(dāng)天，阿里云與MediaTek宣布啟動(dòng)聯(lián)合探索AI智能體解決方案計(jì)劃，整合MediaTek天璣移動(dòng)平臺(tái)的AI算力及阿里云通義千問的大模型能力，為開發(fā)者和企業(yè)提供更完善的軟硬聯(lián)合開發(fā)平臺(tái)，以更好支持智能終端在端側(cè)高能效地實(shí)現(xiàn)自然語言理解、復(fù)雜決策制定以及個(gè)性化服務(wù)生成，探索打造真正具備情境感知、自主學(xué)習(xí)和實(shí)時(shí)交互功能的下一代智能終端應(yīng)用生態(tài)。

通義大模型已在各行業(yè)廣泛落地，包括釘釘、淘寶、一汽紅旗、央視網(wǎng)、浙江大學(xué)等眾多應(yīng)用、企業(yè)及機(jī)構(gòu)?！疤詫殕枂枴被谕x千問實(shí)現(xiàn)了全新的交互體驗(yàn)以及更精準(zhǔn)的推薦；阿里云與中國一汽聯(lián)合打造的大模型應(yīng)用GPT-BI已率先落地，可結(jié)合企業(yè)數(shù)據(jù)自動(dòng)生成分析圖表。