新聞中心

EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > xAI宣布開源大語言模型Grok-1并開放下載

xAI宣布開源大語言模型Grok-1并開放下載

作者: 時間:2024-03-18 來源:網(wǎng)易科技 收藏

3月18日消息,美國當?shù)貢r間周日,埃隆·馬斯克(Elon Musk)旗下的人工智能初創(chuàng)企業(yè)宣布,其大語言模型已實現(xiàn)開源,并向公眾開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。

本文引用地址:http://m.butianyuan.cn/article/202403/456418.htm

介紹稱,是一款基于混合專家系統(tǒng)(Mixture-of-Experts,MoE)技術構建的大語言模型,擁有3140億參數(shù)。近期,公司發(fā)布了的基本模型權重和網(wǎng)絡架構詳情。

該公司表示,Grok-1始終由自行訓練,其預訓練階段于2023年10月完成。此次發(fā)布的是Grok-1預訓練階段結(jié)束時的原始基礎模型檢查點,即該模型未經(jīng)過針對任何具體應用的微調(diào)。

xAI強調(diào),Grok-1的權重和架構均依照Apache 2.0開源許可協(xié)議發(fā)布。

xAI還特別強調(diào)了Grok-1的幾大特性:

首先,Grok-1是一個未針對特定任務進行微調(diào)的基礎模型,它基于大量文本數(shù)據(jù)訓練而成;

其次,作為一款基于混合專家技術構建的大語言模型,Grok-1擁有3140億參數(shù),在處理每個token時有25%的權重處于活躍狀態(tài);

最后,Grok-1是xAI團隊使用JAX和Rust編程語言自定義訓練棧從零開始訓練的成果,訓練完成于2023年10月。

此外,xAI還提到,Grok-1的封面配圖是借助人工智能繪圖工具Midjourney生成的,基于以下提示創(chuàng)作而成:展示一個3D插圖的神經(jīng)網(wǎng)絡,其中包含透明的節(jié)點和發(fā)光的連接線,通過線條的粗細和顏色變化來表示權重的不同。




評論


相關推薦

技術專區(qū)

關閉