首頁　 資訊　 商機 　 下載　 拆解 　 高校　 招聘 　 雜志　 會展　 EETV　 百科 　 問答　 電路圖　 工程師手冊 　 Datasheet　 100例 　 活動中心　 E周刊閱讀 　 樣片申請
EEPW首頁 >> 主題列表 >> llm

Arm KleidiAI 助力提升 PyTorch 上 LLM 推理性能

  • 作者：Arm 基礎設施事業(yè)部軟件工程師 Nobel Chowdary Mandepudi生成式人工智能 (AI) 正在科技領域發(fā)揮關鍵作用，許多企業(yè)已經開始將大語言模型 (LLM) 集成到云端和邊緣側的應用中。生成式 AI 的引入也使得許多框架和庫得以發(fā)展。其中，PyTorch 作為熱門的深度學習框架尤為突出，許多企業(yè)均會選擇其作為開發(fā) AI 應用的庫。通過部署 Arm Kleidi 技術 ，Arm 正在努力優(yōu)化 PyTorch，以加速在基于 Arm 架構的處理器上運行 LLM 的性能
  • 關鍵字： Arm  KleidiAI  PyTorch  LLM  

研華本地大型語言模型（LLM）邊緣AI服務器AIR-520

  • 工業(yè)物聯(lián)網(wǎng)領域的全球供應商研華科技近日公布，其自主研發(fā)的“AIR-520本地大型語言模型（LLM）邊緣AI服務器”榮獲“第33屆臺灣精品獎”銀獎！今年，研華有六款產品獲得了中國臺灣精品獎，其中兩款獲得了享有盛譽的銀獎。這一出色的成績凸顯了業(yè)界對研華智能系統(tǒng)和嵌入式平臺在工業(yè)物聯(lián)網(wǎng)領域的認可。研華表示將繼續(xù)整合人工智能驅動的行業(yè)解決方案和領域專業(yè)知識，加速數(shù)字化轉型，為客戶推動工業(yè)智能的發(fā)展。研華嵌入式物聯(lián)網(wǎng)集團總經理張家豪強調，研華作為一家跨越邊緣計算、物聯(lián)網(wǎng)系統(tǒng)軟件和垂直行業(yè)解決方案的多元化工業(yè)物聯(lián)網(wǎng)企
  • 關鍵字： 研華  本地大型語言模型  LLM  邊緣AI服務器  

Arm計算平臺加持，全新Llama 3.2 LLM實現(xiàn)AI 推理的全面加速和擴展

  • 新聞重點：●? ?在Arm CPU上運行Meta最新Llama 3.2版本，其云端到邊緣側的性能均得到顯著提升，這為未來AI工作負載提供了強大支持●? ?Meta與Arm的合作加快了用例的創(chuàng)新速度，例如個性化的端側推薦以及日常任務自動化等●? ?Arm十年來始終積極投資AI領域，并廣泛開展開源合作，為?1B?至?90B?的?LLM?實現(xiàn)在?Arm?計算平臺上無縫運行人
  • 關鍵字： Arm  Llama 3.2 LLM  AI 推理  Meta  

傳感器融合技術如何助力自主移動機器人導航再升級？

  • 自主移動機器人(AMR)可幫助制造商提高生產效率、增強安全性并節(jié)省大量成本，因而在各行各業(yè)得到廣泛應用。2022年全球AMR市場規(guī)模為86.5億美元，預計2022年至2028年間的復合年增長率(CAGR)將達到18.3%。進入工業(yè)5.0時代，人類將與人工智能(AI)機器人協(xié)同工作，機器人輔助而非取代人類。愿景固然美好，但要實現(xiàn)這一目標，AMR必須克服重重挑戰(zhàn)，集成各種傳感器以及新興的傳感器融合技術將為此提供助益。AMR采用過程中所面臨的挑戰(zhàn)AMR普及的一大難題是其在多種不同應用和環(huán)境中的適應性。AMR已廣
  • 關鍵字： 自主移動機器人  傳感器  AMR  LLM  

用工具彌補AI短板，讓AI答案更精準

  • ChatGPT和GPT-4等大型語言模型 (LLM) 已成為提高工作效率和更好地理解各種主題不可或缺的工具。從教育到軟件開發(fā)，再到內容寫作，LLM在眾多領域嶄露頭角，它們在提煉和生成供人類使用的信息方面有著近乎神奇的能力。不過，盡管LLM的能力令人印象深刻，但它們在提供準確答案或執(zhí)行需要精確知識的特定任務時，卻常常比較吃力。例如，對于復雜的數(shù)學問題或者晦澀難懂的題目，往往會給出錯誤或不夠充分的答案。出現(xiàn)這些局限性的主要原因是，LLM通常是使用過時的數(shù)據(jù)進行訓練，以預測句子中下一個在統(tǒng)計
  • 關鍵字： 語言模型  LLM  AI  

Nvidia 征服了最新的 AI 測試

  • 多年來，英偉達在許多機器學習基準測試中占據(jù)主導地位，現(xiàn)在它又多了兩個檔次。MLPerf，有時被稱為“機器學習的奧林匹克”的人工智能基準測試套件，已經發(fā)布了一套新的訓練測試，以幫助在競爭計算機系統(tǒng)之間進行更多更好的同類比較。MLPerf 的一項新測試涉及對大型語言模型的微調，該過程采用現(xiàn)有的訓練模型，并用專業(yè)知識對其進行更多訓練，使其適合特定目的。另一個是圖神經網(wǎng)絡，一種機器學習，一些文獻數(shù)據(jù)庫背后的一種機器學習，金融系統(tǒng)中的欺詐檢測，以及社交網(wǎng)絡。即使使用谷歌和英特爾的人工智能加速器的計算機增加和參與，由
  • 關鍵字： GPU  神經網(wǎng)絡  LLM  MLPerf  基準測試  英偉達  

中國電信發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T

  • IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個單體稠密萬億參數(shù)語義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構成 Tele-FLM 系列模型。TeleAI 和智源研究院基于模型生長和損失預測等技術，Tele-FLM 系列模型僅使用了業(yè)界普通訓練方案 9% 的算力資源，基于 112 臺 A800 服務器，用 4 個月完成 3 個模型總計 2.3T tokens 的訓練。模型訓練全程做到了零調整零重試
  • 關鍵字： LLM  AI  大語言模型  

熟悉LLM的重要機制

  • 1 前言在前一期里，介紹過大語言模型(LLM)幕后核心的注意力(Attention)機制。本期就來繼續(xù)擴大，介紹大名鼎鼎的轉換器(Transformer)模型。其中，要特別闡述：為什么當今主流LLM都采用<僅譯碼器>(Decoder-Only Transformer)模型。在 2017 年， 首先在「Attention is All You Need」這篇論文中提出了經典的Transformer架構，它內含編碼器(Encoder)和譯碼器(Decoder)兩部分。后來，自從GPT-2之后，整個
  • 關鍵字： 202406  LLM  

微軟亞研院新作：讓大模型一口氣調用數(shù)百萬個 API

  • 近年來，人工智能發(fā)展迅速，尤其是像 ChatGPT 這樣的基礎大模型，在對話、上下文理解和代碼生成等方面表現(xiàn)出色，能夠為多種任務提供解決方案。但在特定領域任務上，由于專業(yè)數(shù)據(jù)的缺乏和可能的計算錯誤，它們的表現(xiàn)并不理想。同時，雖然已有一些專門針對特定任務的 AI 模型和系統(tǒng)表現(xiàn)良好，但它們往往不易與基礎大模型集成。為了解決這些重要問題，TaskMatrix.AI 破繭而出、應運而生，這是由微軟（Microsoft）設計發(fā)布的新型 AI 生態(tài)系統(tǒng)。其核心技術近期在《科學》合作期刊 Inte
  • 關鍵字： AI  LLM  

AI神奇魅力的源點：相似度

  • 1 前言在本專欄去年的文章《從隱空間認識CLIP 多模態(tài)模型》里，已經介紹過了：CLIP 的核心設計概念是，把各文句和圖像映射到隱空間里的一個點( 以向量表示)。其針對每一個文句和圖像都會提取其特征，并映射到這個隱空間里的某一點。然后經由矩陣計算出向量夾角的余弦(Cosine) 值，來估計它們之間的相似度(Similarity)。此外，在Transformer 里扮演核心角色的點積注意力(Dot-Product attention) 機制，其先透過點積運算，從Q與K矩陣計算出的其相似度(Similarit
  • 關鍵字： 202403  LLM  相似度  CLIP  Transformer  

語言大模型的進化軌跡

  • ChatGPT 的發(fā)布是語言大模型（LLM）發(fā)展史的轉折點，它讓人們意識到 LLM 的潛力，并引發(fā)了 “AI 競賽”，世界上主要人工智能實驗室和初創(chuàng)公司都參與其中。在這之后，基于 LLM 的聊天機器人層出不窮。1語言模型簡單來說，語言模型能夠以某種方式生成文本。它的應用十分廣泛，例如，可以用語言模型進行情感分析、標記有害內容、回答問題、概述文檔等等。但理論上，語言模型的潛力遠超以上常見任務。想象你有一個完備的語言模型，可生成任意類型的文本，并且人們還無法辨別這些內容是否由計算機生成，那么我們就可以使其完成
  • 關鍵字： 人工智能  LLM  大語言模型  
共11條 1/1 1

llm介紹

您好，目前還沒有人創(chuàng)建詞條llm!
歡迎您創(chuàng)建該詞條，闡述對llm的理解，并與今后在此搜索llm的朋友們分享。    創(chuàng)建詞條

熱門主題

樹莓派    linux   
關于我們 - 廣告服務 - 企業(yè)會員服務 - 網(wǎng)站地圖 - 聯(lián)系我們 - 征稿 - 友情鏈接 - 手機EEPW
Copyright ?2000-2015 ELECTRONIC ENGINEERING & PRODUCT WORLD. All rights reserved.
《電子產品世界》雜志社 版權所有 北京東曉國際技術信息咨詢有限公司
備案 京ICP備12027778號-2 北京市公安局備案：1101082052    京公網(wǎng)安備11010802012473