xAI宣布開源大語言模型Grok-1并開放下載

3月18日消息，美國當?shù)貢r間周日，埃隆·馬斯克（Elon Musk）旗下的人工智能初創(chuàng)企業(yè)xAI宣布，其大語言模型Grok-1已實現(xiàn)開源，并向公眾開放下載。感興趣的用戶可通過訪問GitHub頁面github.com/xai-org/grok來使用該模型。

xAI介紹稱，Grok-1是一款基于混合專家系統(tǒng)（Mixture-of-Experts，MoE）技術構建的大語言模型，擁有3140億參數(shù)。近期，公司發(fā)布了Grok-1的基本模型權重和網(wǎng)絡架構詳情。

該公司表示，Grok-1始終由xAI自行訓練，其預訓練階段于2023年10月完成。此次發(fā)布的是Grok-1預訓練階段結(jié)束時的原始基礎模型檢查點，即該模型未經(jīng)過針對任何具體應用的微調(diào)。

xAI強調(diào)，Grok-1的權重和架構均依照Apache 2.0開源許可協(xié)議發(fā)布。

xAI還特別強調(diào)了Grok-1的幾大特性：

首先，Grok-1是一個未針對特定任務進行微調(diào)的基礎模型，它基于大量文本數(shù)據(jù)訓練而成；

其次，作為一款基于混合專家技術構建的大語言模型，Grok-1擁有3140億參數(shù)，在處理每個token時有25%的權重處于活躍狀態(tài)；

最后，Grok-1是xAI團隊使用JAX和Rust編程語言自定義訓練棧從零開始訓練的成果，訓練完成于2023年10月。

此外，xAI還提到，Grok-1的封面配圖是借助人工智能繪圖工具Midjourney生成的，基于以下提示創(chuàng)作而成：展示一個3D插圖的神經(jīng)網(wǎng)絡，其中包含透明的節(jié)點和發(fā)光的連接線，通過線條的粗細和顏色變化來表示權重的不同。