馬斯克用20萬張H100訓練出1400分大模型

馬斯克旗下人工智能公司xAI發(fā)布了其最新一代大模型 Grok 3，目前Grok已經(jīng)推出了專屬的 http://Grok.com 網(wǎng)頁，供用戶體驗Grok系列模型。馬斯克稱，Grok 3能力較前代產(chǎn)品Grok 2提升了“一個數(shù)量級”，并且是一款“追求極致真實”的 AI。

20萬張H100訓練出1400分大模型

Grok 3早期化名“巧克力”打榜LMSYS，一舉奪魁并成為唯一一個得分超1400的模型。競技場（lmarena.ai）官方評價Grok 3是首個突破1400分的模型，并且在所有類別中排名第一。

去年馬斯克劇透，Grok 3在10萬張H100上進行訓練，是首個達到如此訓練集群規(guī)模的模型。這比Grok 2多了數(shù)倍不止，要知道Grok 2訓練大約使用了2萬個H100。但是令人震驚的是，實際上Grok3訓練過程中集群規(guī)模再次擴展到了20萬卡。

Grok 3比Grok 2快十倍，在Grok3中大規(guī)模安裝更多計算能力使其能夠在更短的時間內(nèi)運行大數(shù)據(jù)集，同時提供更高的準確性。

此次推出的Grok 3有滿血和mini兩個版本。在數(shù)學推理、科學邏輯推理和代碼寫作等能力表現(xiàn)方面，Grok-3在多項Benchmark測試中均取得了比DeepSeek-v3、GPT-4o、Gemini-2 pro更優(yōu)的效果。

在AIME'24數(shù)學能力測試中，Grok-3取得了52分，明顯高于

在AIME'24數(shù)學能力測試中，Grok-3取得了52分，明顯高于DeepSeek-V3的39分。在GPQA科學知識評估中，Grok-3以75分的優(yōu)異成績領先DeepSeek-V3的65分。此外，在LCB Oct-Feb編程能力測試中，Grok-3也以57分的成績超越了DeepSeek-V3的36分。

除此之外，在Grok 3和mini的基礎之上，xAI團隊還打造了兩款推理模型。

馬斯克團隊指出，大約一個月前，Grok 3的預訓練已經(jīng)完成，從那時起其一直在努力將推理能力融入Grok 3模型中。目前基于mini的推理模型（Grok 3 mini Reasoning）已經(jīng)比較成熟，而基于滿血版的推理模型（Grok 3 Reasoning Beta）還處在Beta階段。

值得注意的是，xAI團隊不僅在硬件上進行了升級，還在軟件層面進行了優(yōu)化。Grok 3 通過改進訓練流程，引入合成數(shù)據(jù)集、自我糾錯以及強化學習等技術，進一步提升了模型的性能。這些技術的綜合應用，使得 Grok 3 在處理復雜任務時表現(xiàn)得更為出色。

然而，原計劃在此次發(fā)布中推出的語音模式并未如期上線。馬斯克在 X 平臺上解釋稱：“語音模式目前還存在一些問題，預計將在大約一周后推出，但它非常出色?！辈⒂媱澰趲字芎髮rok 3模型和DeepSearch功能整合到 xAI 的企業(yè) API 中。

此外，xAI計劃在最新版本完全成熟后立即開源其Grok 模型的先前版本，馬斯克預計Grok-3的過渡將在幾個月內(nèi)完成。

目前，X 平臺的 Premium + 訂閱用戶將率先體驗到 Grok 3，而其他功能則被整合到 xAI 推出的名為 SuperGrok 的訂閱服務中。SuperGrok 的訂閱價格為每月 30 美元或每年 300 美元，用戶可獲得額外的推理和 DeepSearch 查詢權限，以及無限量的圖像生成功能。

三個月將數(shù)據(jù)中心容量翻倍

據(jù)報道，xAI計劃與戴爾達成50億美元協(xié)議，為Grok 3提供AI服務器支持。xAI即將與戴爾科技達成協(xié)議收購價值超過50億美元的配備英偉達GB200芯片的AI優(yōu)化服務器，此次收購旨在滿足Grok 3和其他AI應用程序日益增長的計算需求。

在發(fā)布會上，馬斯克團隊透露xAI在短短三個月將數(shù)據(jù)中心容量翻倍，使用了20萬個英偉達H100 GPU打造出Grok 3。

馬斯克團隊表示，去年4月馬斯克決定xAI要想取得成功并打造出最佳 AI，唯一的辦法就是創(chuàng)建自己的數(shù)據(jù)中心。我們花了122天的時間才讓第一批10萬個GPU啟動并運行。我們很快意識到要構建我們設想的 AI，需要將集群規(guī)模擴大一倍。因此，我們在短短92天內(nèi)就將容量翻了一番。

值得注意的是，目前xAI正在田納西州孟菲斯建設的超級計算機Colossus項目中。Colossus用于支持xAI的AI大模型Grok，xAI計劃擴展到至少100萬塊GPU，并已采用戴爾與超微電腦的服務器設備。去年12月戴爾曾披露，已在該項目部署數(shù)萬個GPU，并致力于在剩余工程中獲取"大部分份額"。

戴爾去年11月末公布，在截至2024年11月1日的第三財季，交付AI服務器29億美元，推動包括AI系統(tǒng)在內(nèi)的服務器和網(wǎng)絡業(yè)務當季收入增長58%至74億美元。分析師預計，在截至2025年1月的2025財年，戴爾的AI服務器出貨量價值將超過100億美元，并預計，AI服務器2026財年將為戴爾創(chuàng)收140億美元，一年收入增長約40%。