新聞中心

EEPW首頁 > 智能計算 > 市場分析 > ChatGPT背后的開源AI框架Ray,現(xiàn)在值10億美元

ChatGPT背后的開源AI框架Ray,現(xiàn)在值10億美元

作者:機器之心Pro 時間:2023-01-04 來源:搜狐科技 收藏
被 Open、亞馬遜等科技公司用來開發(fā)大模型,是最近異軍突起的框架。

最近一段時間,文本生成的人工智能在互聯(lián)網(wǎng)上掀起了一陣風(fēng)暴: 因為可以對人們能想到的幾乎任何問題提供非常詳細(xì)、近乎逼真的回答而受到追捧。大模型應(yīng)用的出現(xiàn)讓人們對于 技術(shù)突破充滿了信心,不過很少有人知道在其背后,一個分布式機器學(xué)習(xí)框架正為這場生成式 革命提供動力。

本文引用地址:http://m.butianyuan.cn/article/202301/442341.htm

分布式計算框架 來自 A16z 支持的初創(chuàng)公司 Anyscale,它是使 OpenAI 能夠強化其訓(xùn)練 等模型的關(guān)鍵。在 OpenAI 最近的所有大型語言模型背后都有 的身影 —— 它可能也會是 OpenAI 備受期待的 GPT-4 背后的框架。隨著大模型技術(shù)的不斷落地,業(yè)內(nèi)人士認(rèn)為通過生成接近人類的內(nèi)容,一個價值數(shù)十億美元的產(chǎn)業(yè)正在形成。

在這一領(lǐng)域,Ray 是影響力最大的框架。在它出現(xiàn)之前,OpenAI 使用自定義工具集合來開發(fā)大模型。但 OpenAI 總裁 Greg Brockman 在今年早些時候的 Ray 峰會上就表示,隨著面臨的挑戰(zhàn)增多,該公司已轉(zhuǎn)而使用 Ray。

軟件公司 Weights & Biases 的 CEO Lukas Biewald 認(rèn)為,Ray 已是 AI 世界中炙手可熱的后起之秀?!敢驗樾鹿ぞ叱霈F(xiàn),你可以在筆記本電腦和大型分布式服務(wù)器上運行相同代碼。這是巨大的改變,隨著模型變得更大,它的重要性也會隨之增加,」Biewald 表示。

十億美元的賭注

隨著技術(shù)的成熟,Ray 引來了資本市場的關(guān)注。Anyscale 的股權(quán)成為了一種稀缺的商品,據(jù) Business Insider 報道,有知情人士稱,其最近一輪融資是 C 輪融資的延伸,估值超過 10 億美元,幾天內(nèi)就結(jié)束了。

一些投資者將 Anyscale 描述為 Horowitz 充滿希望的「下一個 Databricks」—— 這個描述看來不無道理,因為這家初創(chuàng)公司的創(chuàng)始人之一 Ion Stoica 是市值 310 億美元的數(shù)據(jù)巨頭 Databricks 的聯(lián)合創(chuàng)始人。

「人工智能的發(fā)展速度令人難以置信,人們一直在嘗試新方法,」Anyscale 首席執(zhí)行官 Robert Nishihara 表示?!?a class="contentlabel" href="http://m.butianyuan.cn/news/listbylabel/label/ChatGPT">ChatGPT 結(jié)合了此前大語言模型上的大量工作。在此基礎(chǔ)上,你需要擁有能夠?qū)崿F(xiàn)靈活性、快速創(chuàng)新,并擴展不同算法和方法的基礎(chǔ)設(shè)施?!?/span>

由于像 ChatGPT 這樣熱門的新工具背后是越來越大的模型,科技公司不得不重新考慮從頭開始開發(fā) AI 的方式。Ray 應(yīng)運而生,使訓(xùn)練這些龐大的模型變得更加容易,并且可以包含數(shù)千億個數(shù)據(jù)點,讓每個響應(yīng)都具有準(zhǔn)栩栩如生的感覺。

Ray 如何成為機器學(xué)習(xí)的首選工具

Ray 是一個基于內(nèi)存共享的分布式計算框架,適用于細(xì)粒度的并行計算和異構(gòu)計算,其提供了一個底層基礎(chǔ)架構(gòu),用于管理分配機器學(xué)習(xí)模型訓(xùn)練工作的復(fù)雜任務(wù)。

在 2017 年,UC Berkeley 的研究人員首次提交了 Ray 的論文《 Ray: A Distributed Framework for Emerging AI Applications 》:

在該工作中,研究人員預(yù)測了下一代 AI 應(yīng)用程序的形態(tài):與環(huán)境存在連續(xù)的交互,并從交互動作中進行學(xué)習(xí)。這些應(yīng)用必然越來越多地在動態(tài)環(huán)境中來完成任務(wù),根據(jù)環(huán)境的變化作出反應(yīng),并執(zhí)行一系列的動作來達(dá)到長期目標(biāo)。這些特性對于運行環(huán)境性能和靈活性等方面提出了全新且苛刻的系統(tǒng)要求,因此研究者提出了基于分布式的 Ray 框架。

Ray 實現(xiàn)了統(tǒng)一接口,可以表達(dá)任務(wù)并行和基于參與者的計算,由單個動態(tài)執(zhí)行引擎支持。為了滿足性能要求,Ray 采用分布式調(diào)度程序和分布式容錯存儲來管理系統(tǒng)的控制狀態(tài)。它是首個將訓(xùn)練、仿真和服務(wù)統(tǒng)一起來的分布式計算框架,基于動態(tài)任務(wù)執(zhí)行引擎統(tǒng)一了角色并行(actor)和任務(wù)并行(task)的計算,并保障了框架的高可擴展性和高容錯性。

Ray 的架構(gòu)。

基于該工作,2019 年 12 月,UC Berkeley 的 Robert Nishihara、Philipp Moritz 和 Ion Stoica 以及伯克利教授 Michael I. Jordan 創(chuàng)立了 Anyscale,迄今為止該公司已融資 2.6 億美元。

機器學(xué)習(xí)從業(yè)者通??梢栽谧约旱墓P記本電腦上運行使用有限數(shù)據(jù)集的小型模型,例如預(yù)測用戶購買產(chǎn)品的簡單模型。然而,像 ChatGPT 這樣的超大型模型,筆記本電腦是行不通的,這些模型需要大量服務(wù)器來訓(xùn)練。

使用大量設(shè)備訓(xùn)練一個模型要面對一個重要挑戰(zhàn) —— 在不同硬件上協(xié)調(diào)訓(xùn)練。而 Ray 恰好解決了這個難題,它為從業(yè)者提供了一種將不同硬件作為一個單元來管理的機制,用于確定什么數(shù)據(jù)去哪里,處理故障等等,硬件種類橫跨谷歌云、AWS 和其他處理相同問題的產(chǎn)品組合。此外,Ray 還將其他語言中的一個關(guān)鍵編程概念「actor」擴展到 Python,眾所周知 Python 是機器學(xué)習(xí)程序的首選語言。

作為一個分布式計算框架,Ray 有兩個關(guān)鍵優(yōu)勢,分別是位置感知(Locality-aware)和任務(wù)分配(task placement)。如下圖所示,Ray 能夠橫向擴展系統(tǒng),以支持高吞吐量的細(xì)粒度任務(wù),同時保持容錯和低延遲任務(wù)調(diào)度。

Ray 為 OpenAI 訓(xùn)練大模型消除了巨大的復(fù)雜性,為該公司騰出更多時間和精力專注于模型的關(guān)鍵能力。

新一代 AI 需要新的開發(fā)工具,Ray 只是一系列迅速興起的下一代機器學(xué)習(xí)工具中的一個,這些工具正在迅速顛覆 AI 的開發(fā)方式。例如,Google 的 JAX 框架也獲得了巨大關(guān)注,JAX 有望成為谷歌核心機器學(xué)習(xí)工具的支柱,已經(jīng)在 DeepMind 和 Google Brain 被廣泛采用。

類似地,由 FirstMark Capital 和 Bessemer Venture Partners 支持的初創(chuàng)公司 Coiled 開發(fā)了一個名為 Dask 的并行計算框架。

近來大型語言模型正在釋放更多潛力,這些新型機器學(xué)習(xí)工具將為業(yè)內(nèi)科技巨頭和初創(chuàng)公司構(gòu)建更強大的語言模型。



關(guān)鍵詞: Ray ChatGPT AI

評論


相關(guān)推薦

技術(shù)專區(qū)

關(guān)閉