Meta“搞大事”了：發(fā)布GPT“平替”Llama 2，開(kāi)源、免費(fèi)、還可商用！

OpenAI不Open，Meta先Open了

文| Juny  編輯| VickyXiao

此次Meta高調(diào)開(kāi)源Llama 2，無(wú)疑是在正面硬剛走“技術(shù)保密路線”的GPT-4和谷歌的PaLM 2。扎克伯格在Facebook上發(fā)帖表示：“Meta有著悠久的開(kāi)源歷史，開(kāi)源推動(dòng)創(chuàng)新，它讓更多開(kāi)發(fā)人員能夠使用新技術(shù)進(jìn)行開(kāi)發(fā)，同時(shí)提高了技術(shù)的安全性。我們相信如果生態(tài)系統(tǒng)更加開(kāi)放，將會(huì)帶來(lái)更多進(jìn)步，這就是我們開(kāi)源 Llama 2 的原因?！?/span>面對(duì)OpenAI和谷歌正在努力構(gòu)建的技術(shù)圍墻，Meta似乎想要另辟蹊徑、通過(guò)生態(tài)開(kāi)放來(lái)切入這場(chǎng)巨頭間的大模型競(jìng)賽。｜模型升級(jí)+開(kāi)源可商用，Meta拿出LLaMA2 “大殺器”今年2 月，Meta 首次發(fā)布了自家的大語(yǔ)言模型LLaMA（Large Language Model Meta AI）系列，包含 70 億、130億、330億 和 650 億4個(gè)版本。當(dāng)時(shí)Meta表示LLaMA擁有超高性能，使用130億參數(shù)的LLaMA在規(guī)模僅為ChatGPT 的十分之一的情況下，性能表現(xiàn)可以優(yōu)于GPT-3。使用650 億參數(shù)的 LLaMA 則可以與 DeepMind700 億參數(shù)的 Chinchilla模型和谷歌5400 億參數(shù)的 PaLM模型比肩。LLaMA模型表現(xiàn)，圖片來(lái)自Meta但2月版本的LLaMA并不是ChatGPT的直接競(jìng)爭(zhēng)對(duì)手，LLaMA定位于“開(kāi)源的研究工具”，所使用的是各類公開(kāi)可用的數(shù)據(jù)集。它當(dāng)時(shí)更多的著眼于研究領(lǐng)域，僅在非商業(yè)許可下提供給政府、社區(qū)和學(xué)術(shù)界的研究人員。值得注意的是，LLaMA發(fā)布后還出現(xiàn)了一個(gè)“泄露風(fēng)波”，從而在業(yè)界推動(dòng)了一波GPT平替風(fēng)潮。雖然當(dāng)時(shí)Meta稱LLaMA是開(kāi)源的，但研究人員仍然需要向Meta提出申請(qǐng)和審核。但就LLaMA發(fā)布不久后，其模型源代碼的文件卻在技術(shù)論壇上瘋傳，直接助推了包括斯坦福大學(xué)Alpaca、加州大學(xué)伯克利分校ColossalChat等基于LLaMA構(gòu)建的語(yǔ)言模型和產(chǎn)品的出現(xiàn)。當(dāng)時(shí)因?yàn)樾孤┑姆N子文件還被一度合并到了 Meta Research官方GitHub 上，并得到了一些項(xiàng)目維護(hù)者的批準(zhǔn)，也有人猜測(cè)LLaMA的泄露是Meta有意為之，其目的就是為了日后的商業(yè)化做鋪墊。但不論此前LLaMA的泄露是否是Meta的試水之舉，今天，Llama 2正式開(kāi)啟了開(kāi)源商用版本。根據(jù)Meta的官方數(shù)據(jù)，Llama 2 相較于上一代其訓(xùn)練數(shù)據(jù)提升了40%，包含了70億、130億和700億參數(shù) 3個(gè)版本。Llama 2 預(yù)訓(xùn)練模型接受了 2 萬(wàn)億個(gè) tokens 的訓(xùn)練，上下文長(zhǎng)度是 Llama 1 的兩倍，其微調(diào)模型已經(jīng)接受了超過(guò) 100 萬(wàn)個(gè)人類注釋的訓(xùn)練。在訓(xùn)練流程方面，跟 ChatGPT類似，Llama 2也經(jīng)歷了預(yù)訓(xùn)練階段（PT）、指令微調(diào)（SFT）以及人類反饋強(qiáng)化學(xué)習(xí)（RLHF）三個(gè)階段。在包括推理、編碼、熟練程度和知識(shí)測(cè)試等外部基準(zhǔn)測(cè)試中，Llama 2 在許多方面都顯著高于MMLU、TriviaQA等其他開(kāi)源語(yǔ)言模型。Meta 表示Llama 2可免費(fèi)用于研究和商業(yè)用途，開(kāi)發(fā)者們可以直接在Llama 2官方網(wǎng)站下下載該模型。為了避免此前LLaMA泄漏后帶來(lái)的深度偽造和****聊天機(jī)器人等不良信息和產(chǎn)品的出現(xiàn)，Llama 2已經(jīng)經(jīng)過(guò)了紅隊(duì)測(cè)試，避免模型產(chǎn)出不良和有害內(nèi)容，并且為開(kāi)發(fā)者們制定了使用指南和守則。

圖片來(lái)自Meta

｜Meta搞免費(fèi)開(kāi)源，攪動(dòng)大模型池水Meta發(fā)布首個(gè)開(kāi)源可商用大語(yǔ)言模型的消息，無(wú)疑是在行業(yè)內(nèi)釋放了一個(gè)重磅炸彈。用Yann LeCun的話來(lái)說(shuō)，Meta此舉可能將就此改變大模型行業(yè)的競(jìng)爭(zhēng)格局。眾所周知，OpenAI和Google目前是大語(yǔ)言模型領(lǐng)域中的兩大霸主，但他們?cè)谧钚?、最先進(jìn)的模型上都選擇了“閉源”，OpenAI目前只是以API付費(fèi)的方式向開(kāi)發(fā)者提供服務(wù)。而此次，Meta在性能上足以比肩GPT-3.5的Llama 2免費(fèi)開(kāi)放給所有人，這肯定會(huì)吸引大量的開(kāi)發(fā)者和創(chuàng)業(yè)者使用拋棄OpenAI和谷歌轉(zhuǎn)向Llama 2。對(duì)于Meta來(lái)說(shuō)，在AI用戶爭(zhēng)奪戰(zhàn)上的落后讓它不能再和OpenAI、谷歌一樣走非開(kāi)源語(yǔ)言模型路線，開(kāi)放生態(tài)則是目前一個(gè)很好的切入點(diǎn)。開(kāi)源之后，Meta將擁有更多的可訓(xùn)練數(shù)據(jù)，開(kāi)發(fā)人員能夠幫助Llama 2去發(fā)現(xiàn)和解決漏洞，并且能夠很快打開(kāi)市場(chǎng)，為未來(lái)的商業(yè)化鋪路。一定程度上來(lái)說(shuō)，Meta此次也是在反向施壓OpenAI和谷歌。此次，為了鼓勵(lì)更多開(kāi)發(fā)者加入Llama生態(tài)，Meta還開(kāi)放了人工智能研究社區(qū)和Llama影響力挑戰(zhàn)賽，鼓勵(lì)開(kāi)發(fā)者們基于Llama 2來(lái)進(jìn)行創(chuàng)建、交流和討論，并進(jìn)一步解決環(huán)境、教育和其他公共領(lǐng)域的問(wèn)題。除了Meta官方以及合作伙伴微軟之外，Llama 2 還可以通過(guò)亞馬遜AWS、Hugging Face 和其他提供商獲取。｜“雙M”聯(lián)盟走向深化，微軟或成最大贏家？除了Llama此次的開(kāi)源、商業(yè)特點(diǎn)之外，Meta 和微軟（Microsoft）的聯(lián)盟也尤其引人注目。Meta和微軟向來(lái)關(guān)系不錯(cuò)，此前Meta搞元宇宙時(shí)，納德拉就為其站臺(tái)并且率先帶著微軟的一眾產(chǎn)品進(jìn)入Meta的VR平臺(tái)。在AI領(lǐng)域，兩家巨頭也有著長(zhǎng)期的合作歷史。從2017年兩家共同推出了可互換人工智能框架的開(kāi)放生態(tài)系統(tǒng)，到ONNX Runtime 與 PyTorch 的集成等，Azure一直都是Meta的云業(yè)務(wù)上的戰(zhàn)略合作伙伴。

圖片來(lái)自扎克伯格Instagram

此次，兩家就Llama 2進(jìn)行了更加深入、全面的合作。微軟表示，Llama 2將在Azure AI模型目錄中提供，使得使用Microsoft Azure的開(kāi)發(fā)者能夠構(gòu)建并使用Llama 2，同時(shí)利用他們的云原生工具進(jìn)行內(nèi)容過(guò)濾和安全功能。Llama 2也已優(yōu)化為可在Windows本地運(yùn)行，為開(kāi)發(fā)者提供無(wú)縫的工作流，將更廣泛地提供給企業(yè)并可由企業(yè)定制。值得注意的是，Meta和微軟也是今年以來(lái)股價(jià)漲幅最大的科技巨頭之一，Meta今年上漲了154%，微軟上漲了48%。總體來(lái)看，一邊抓著OpenAI閉門研究、探索商業(yè)化變現(xiàn)，另一邊跟Meta聯(lián)合搞開(kāi)源生態(tài)，微軟或許是此次AI熱潮中最得意的人。那么，你對(duì)于Meta這一次的商業(yè)版大模型開(kāi)源怎么看，你們認(rèn)為Meta此舉會(huì)引發(fā)行業(yè)內(nèi)的開(kāi)源熱潮嗎？歡迎大家留言討論！注：封面圖來(lái)自于Meta，版權(quán)屬于原作者。如果不同意使用，請(qǐng)盡快聯(lián)系我們，我們會(huì)立即刪除。

*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。