arm-mdkarm 文章進(jìn)入arm-mdkarm技術(shù)社區(qū)

加速基于 Arm Neoverse N2 的大語言模型推理

人工智能 (AI) 正在眾多行業(yè)掀起浪潮，尤其是在大語言模型 (LLM) 問世后，AI 發(fā)展呈現(xiàn)井噴之勢(shì)。LLM 模型不僅極大改變了我們與技術(shù)的交互方式，并且在自然語言理解和生成方面展現(xiàn)出了驚人的能力。雖然 GPU 在訓(xùn)練生成式 AI 模型方面發(fā)揮了重要作用，但在推理領(lǐng)域，除了 GPU 和加速器之外，還有其他可行的選擇。長(zhǎng)期以來，CPU 一直被用于傳統(tǒng)的 AI 和機(jī)器學(xué)習(xí) (ML) 用例，由于 CPU 能夠處理廣泛多樣的任務(wù)且部署起來更加靈活，因此當(dāng)企業(yè)和開發(fā)者尋求將 LLM 集成到產(chǎn)品和服務(wù)中時(shí)，CPU
關(guān)鍵字： Arm Neoverse 大語言模型

借助小語言模型，高效 Arm 計(jì)算賦能定制化 AI 未來

隨著我們逐步邁入人工智能 (AI) 的世界，小體量模型愈發(fā)具有大優(yōu)勢(shì)。在過去的一年多里，大語言模型 (LLM) 推動(dòng)了生成式 AI 的早期創(chuàng)新浪潮，訓(xùn)練參數(shù)量朝萬億級(jí)規(guī)模邁進(jìn)，但越來越多的證據(jù)表明，無限制地?cái)U(kuò)展 LLM 并不具備可持續(xù)性。至少來說，通過此方式來發(fā)展 AI 所需的基礎(chǔ)設(shè)施成本過于高昂，僅有少數(shù)企業(yè)可以承受。此類 LLM 需要消耗大量算力和電力，運(yùn)營(yíng)成本不菲。這些項(xiàng)目將帶來沉重的財(cái)務(wù)和資源負(fù)擔(dān)，例如 GPT-4 的訓(xùn)練成本至少為一億美元。除此之外，這些 LLM 的開發(fā)和部署過程也相對(duì)復(fù)雜。劍橋
關(guān)鍵字： Arm

Arm 驅(qū)動(dòng)汽車行業(yè)芯粒開發(fā)與部署

汽車的算力需求呈現(xiàn)持續(xù)增長(zhǎng)的態(tài)勢(shì)。為了追求更高的自動(dòng)駕駛性能、先進(jìn)的車內(nèi)體驗(yàn)，以及向電氣化的轉(zhuǎn)變，軟件和人工智能 (AI) 正在加速發(fā)展，驅(qū)動(dòng)一個(gè)由 AI 賦能的軟件定義汽車 (SDV) 時(shí)代。與此同時(shí)，先進(jìn)駕駛輔助系統(tǒng) (ADAS)、自動(dòng)駕駛和車載信息娛樂 (IVI) 等關(guān)鍵的汽車用例，需要采用異構(gòu)計(jì)算方法來滿足復(fù)雜的計(jì)算要求。以 IVI 為例，它正逐步演變?yōu)槿娴臄?shù)字平臺(tái)，配備更多高分辨率顯示屏，并引入眾多新的應(yīng)用。同時(shí)，ADAS 也在不斷擴(kuò)增新的計(jì)算特性和安全功能，兩者均對(duì) AI 性能提出了更高的要
關(guān)鍵字： Arm

半導(dǎo)體，江湖變了

從早期的真空管到如今的集成電路，半導(dǎo)體行業(yè)的發(fā)展如同一場(chǎng)沒有終點(diǎn)的賽跑。人們一直在思考：「半導(dǎo)體行業(yè)，會(huì)有永遠(yuǎn)的大贏家嗎？」歷史的車輪滾滾向前，半導(dǎo)體行業(yè)經(jīng)歷了無數(shù)次的變革與洗牌。曾經(jīng)稱霸一時(shí)的巨頭可能在瞬間黯然失色，新興的力量又如同雨后春筍般崛起。這個(gè)行業(yè)的競(jìng)爭(zhēng)之激烈，變化之迅速，讓每一個(gè)參與者都如同在波濤洶涌的海洋中前行，稍有不慎便可能被浪潮淹沒。半導(dǎo)體行業(yè)永遠(yuǎn)有「英雄」，但不是所有「英雄」都能夠穩(wěn)坐王位。「王者」x86 迎來新挑戰(zhàn)CPU 的發(fā)展史簡(jiǎn)單來說就是英特爾公司的發(fā)展歷史。x86 系列 CPU
關(guān)鍵字： x86 Arm

NPU成為邊緣智能新思路

在人工智能（AI）技術(shù)日新月異的今天，從云端到邊緣的計(jì)算需求不斷攀升，為各行各業(yè)帶來了前所未有的變革機(jī)遇。作為這一領(lǐng)域的領(lǐng)軍者，Arm 公司憑借其卓越的節(jié)能技術(shù)和從云到邊緣的廣泛布局，正逐步構(gòu)建著未來AI生態(tài)的基礎(chǔ)。其中，Arm Ethos U85 NPU（神經(jīng)網(wǎng)絡(luò)處理器）的推出，更是為邊緣智能的發(fā)展注入了強(qiáng)勁動(dòng)力，開啟了AI無處不在的新篇章。隨著物聯(lián)網(wǎng)（IoT）設(shè)備的普及和大數(shù)據(jù)的爆炸式增長(zhǎng)，邊緣計(jì)算逐漸成為AI應(yīng)用的重要場(chǎng)景。邊緣計(jì)算能夠在數(shù)據(jù)源附近進(jìn)行數(shù)據(jù)處理和分析，極大地降低了數(shù)據(jù)傳輸?shù)难舆t和帶寬
關(guān)鍵字： arm NPU 邊緣智能

Arm技術(shù)日：為AI終端準(zhǔn)備了哪些新基石？

過去一年，移動(dòng)終端設(shè)備的長(zhǎng)足進(jìn)步令人贊嘆，例如人工智能?(AI) 從手機(jī)到筆記本電腦的巨大創(chuàng)新，并誕生了“新一代 AI 手機(jī)”和 AIPC。據(jù)IDC預(yù)測(cè)，2024年全球新一代AI手機(jī)的出貨量將達(dá)到1.7億部，占智能手機(jī)市場(chǎng)總量的近15%。在中國(guó)市場(chǎng)，新一代 AI 手機(jī)在2027年將達(dá)到 1.5 億臺(tái)，占有超過一半的份額。在AIPC方面，今年是AIPC的發(fā)展元年，2028年中國(guó)下一代 AIPC 年出貨量將是2024年的60倍。一切皆有可能，且盡在掌控之中，其基石就是新一代的高級(jí)計(jì)算。為此，Arm不
關(guān)鍵字： Arm AI AIPC

Helium 技術(shù)講堂 | 為何不直接采用 Neon？

Arm Helium 技術(shù)誕生的由來為何不直接采用 Neon？作者：Arm 架構(gòu)與技術(shù)部 M 系列首席架構(gòu)師兼研究員 Thomas Grocutt經(jīng)過 Arm 研究團(tuán)隊(duì)多年的不懈努力， Arm 于 2019 年推出了適用于 Armv8?M 架構(gòu)的 Arm Cortex-M 矢量擴(kuò)展技術(shù) (MVE)——Arm Helium 技術(shù)。起初，當(dāng)我們面臨 Cortex?M 處理器的數(shù)字信號(hào)處理 (DSP) 性能亟待提升的需求時(shí)，我們首先想到的是采用現(xiàn)有的 Neon? 技術(shù)。然而，面對(duì)典型的 C
關(guān)鍵字： Arm Neon

Helium 技術(shù)講堂 | 數(shù)獨(dú)、寄存器和相信的力量

當(dāng)人工智能 (AI) 下沉到各式各樣的應(yīng)用當(dāng)中，作為市場(chǎng)上最大量的物聯(lián)網(wǎng)設(shè)備也將被賦予智能性。Arm???Helium? 技術(shù)正是為基于?Arm Cortex???-M 處理器的設(shè)備帶來關(guān)鍵機(jī)器學(xué)習(xí)與數(shù)字信號(hào)處理的性能提升。在上周的 Helium 技術(shù)講堂中，大家了解了?Helium 技術(shù)的核心“節(jié)拍式”執(zhí)行?。?今天，我們將共同探討一些復(fù)雜而又有趣的交錯(cuò)加載/存儲(chǔ)指令。?若您想要了解如何高效利用 Helium，千萬
關(guān)鍵字： Arm 數(shù)獨(dú) 寄存器

英偉達(dá)股價(jià)3天下跌13%，市值蒸發(fā)超4300億美元

6月25日消息，自從上周短暫成為全球市值最高的公司以來，英偉達(dá)在接連三個(gè)交易日均出現(xiàn)下跌，目前較峰值已累計(jì)下跌13%，市值蒸發(fā)超4300億美元。周一，這家芯片制造商的股價(jià)暴跌6.7%，報(bào)收于每股118.11美元，這是今年單日第二大跌幅。英偉達(dá)的下跌也帶動(dòng)了芯片制造商和其他依賴人工智能熱潮的科技公司股價(jià)下滑。與英偉達(dá)人工智能芯片相關(guān)的服務(wù)器銷售商Super Micro Computer股價(jià)下跌8.7%，而同行市場(chǎng)的競(jìng)爭(zhēng)者戴爾下跌了5.2%。芯片設(shè)計(jì)商Arm的股價(jià)下跌了5.8%，而半導(dǎo)體巨頭高通和博通的股價(jià)分
關(guān)鍵字：英偉達(dá) 芯片制造人工智能芯片設(shè)計(jì) Arm

ARM放豪言，五年內(nèi)拿下Windows PC 50%份額

到 2025 年底將有 1000 億臺(tái)使用 ARM 處理器的 AI 設(shè)備。
關(guān)鍵字： ARM Windows

新的Arm GPU助力釋放消費(fèi)電子設(shè)備市場(chǎng)中的游戲和AI創(chuàng)新潛能

作為人們?nèi)粘?shù)字生活中不可或缺的一部分，Arm GPU賦能了從當(dāng)今智能手機(jī)上的沉浸式游戲，到各類邊緣側(cè)人工智能 (AI) 體驗(yàn)的方方面面。目前，Arm合作伙伴的GPU出貨量已超過100億顆，而這一卓越成就歸功于我們業(yè)界領(lǐng)先的生態(tài)系統(tǒng)。這些 GPU 廣泛應(yīng)用于包括智能手機(jī)、平板電腦、智能電視、機(jī)頂盒、智能手表和 XR 可穿戴設(shè)備在內(nèi)的各類消費(fèi)電子設(shè)備。去年此時(shí)，我們推出了新的第五代GPU架構(gòu)及一系列新的GPU，包括 Arm Immortalis-G720 GPU。 MediaTek的天璣9300 系統(tǒng)級(jí)芯片
關(guān)鍵字： Arm GPU 游戲

Arm終端計(jì)算子系統(tǒng)為AI用戶體驗(yàn)提供計(jì)算平臺(tái)

人工智能 (AI)正在改變消費(fèi)電子設(shè)備，并且革新生產(chǎn)力、創(chuàng)造力和娛樂體驗(yàn)，這將帶來更高程度的自動(dòng)化、沉浸感和個(gè)性化，為開發(fā)者和最終用戶提供海量機(jī)會(huì)。隨著推動(dòng)移動(dòng)端系統(tǒng)級(jí)芯片 (SoC) 的設(shè)備端生成式 AI 的發(fā)展，AI 技術(shù)正持續(xù)演進(jìn)。依托于Arm全面計(jì)算解決方案的成功，我們宣布推出面向消費(fèi)電子設(shè)備的全新計(jì)算子系統(tǒng)，即Arm 終端計(jì)算子系統(tǒng) (CSS)。作為 AI 體驗(yàn)的計(jì)算基礎(chǔ)，它能在最廣泛類別的消費(fèi)電子設(shè)備中，實(shí)現(xiàn)性能、效率和可擴(kuò)展性的跨越式提升。Arm終端CSS囊括最新的Armv9.2 Corte
關(guān)鍵字： Arm 終端計(jì)算子系統(tǒng)

Arm Kleidi助力AI開發(fā)者加速創(chuàng)新

在持續(xù)快速發(fā)展的人工智能 (AI) 時(shí)代，我們堅(jiān)定地支持全球數(shù)百萬開發(fā)者，確保他們能夠獲得所需的性能、工具和軟件庫(kù)，從而順利地打造下一波令人驚嘆的 AI 體驗(yàn)。為此，我們推出了 Arm Kleidi，這是一項(xiàng)廣泛的軟件和軟件社區(qū)參與計(jì)劃，旨在加速 AI 發(fā)展。其中的第一個(gè)舉措是推出面向熱門 AI 框架的 Arm Kleidi 軟件庫(kù)。這使開發(fā)者可以直接取得 Arm CPU 的出色 AI 功能，而如今全球從云端到邊緣側(cè)的大多數(shù) AI 推理工作負(fù)載都在這些 Arm CPU 上運(yùn)行。開發(fā)者可以借助 Arm 超過
關(guān)鍵字： Arm Kleidi AI開發(fā)者

消息稱聯(lián)發(fā)科在為微軟AI電腦設(shè)計(jì)ARM架構(gòu)芯片

6月12日消息，據(jù)三位知情人士透露，聯(lián)發(fā)科正在開發(fā)一款基于ARM架構(gòu)的個(gè)人電腦芯片，該芯片將運(yùn)行微軟Windows操作系統(tǒng)。上個(gè)月，微軟推出了搭載ARM芯片的新一代筆記本電腦，這些芯片足以支持人工智能應(yīng)用，這被認(rèn)為是消費(fèi)級(jí)計(jì)算的未來。聯(lián)發(fā)科新款芯片即是為此設(shè)計(jì)。微軟此舉是針對(duì)蘋果。蘋果Mac電腦已使用基于ARM的芯片達(dá)四年之久。微軟決定為ARM優(yōu)化Windows操作系統(tǒng)，這可能威脅到英特爾在個(gè)人電腦市場(chǎng)長(zhǎng)期的主導(dǎo)地位。聯(lián)發(fā)科和微軟均未置評(píng)。其中兩位知情人士透露，隨著高通的獨(dú)家供應(yīng)合同即將到期，預(yù)計(jì)聯(lián)發(fā)科P
關(guān)鍵字：聯(lián)發(fā)科微軟 AI 電腦設(shè)計(jì) ARM 架構(gòu)芯片

Arm發(fā)布全新終端計(jì)算子系統(tǒng)，引領(lǐng)AI驅(qū)動(dòng)下的移動(dòng)設(shè)備性能革新

5 月 30 日，Arm發(fā)布了最新的 Arm 終端計(jì)算子系統(tǒng) (Arm CSS for Client)，為移動(dòng)設(shè)備行業(yè)帶來了新的突破。隨著人工智能 (AI) 發(fā)展的逐漸深入，AI帶給了我們?cè)絹碓蕉嗟捏w驗(yàn)提升，我們正在見證 AI 從手機(jī)到筆記本電腦所取得的顯著創(chuàng)新，并由此誕生了 AI 智能手機(jī)和 AI PC。就在這AI的浪潮之下，Arm所發(fā)布的終端 CSS 旨在加速設(shè)備端AI 的發(fā)展，為智能手機(jī)、筆記本電腦、可穿戴設(shè)備和數(shù)字電視等設(shè)備提供更強(qiáng)大的性能和更高的能效。Arm 終端事業(yè)部產(chǎn)品管理副總裁James
關(guān)鍵字： arm CPU GPU 終端計(jì)算子系統(tǒng) CSS