博客專(zhuān)欄

EEPW首頁(yè) > 博客 > 谷歌首次展示新版語(yǔ)言模型BERT,參數(shù)達(dá)4810億個(gè)

谷歌首次展示新版語(yǔ)言模型BERT,參數(shù)達(dá)4810億個(gè)

發(fā)布人:深科技 時(shí)間:2021-12-08 來(lái)源:工程師 發(fā)布文章
近日,機(jī)器學(xué)習(xí)開(kāi)放組織 MLCommons 發(fā)布了 MLPerf 訓(xùn)練基準(zhǔn)(v1.1) 的結(jié)果。


MLPerf 訓(xùn)練是一個(gè)完整的系統(tǒng)基準(zhǔn)測(cè)試,用于測(cè)試機(jī)器學(xué)習(xí)模型、軟硬件等。上一輪 MLPerf 訓(xùn)練基準(zhǔn)(v1.0)發(fā)布于 5 個(gè)月前,與之相比,本次最佳基準(zhǔn)測(cè)試結(jié)果提高了 2.3 倍,在軟硬件和系統(tǒng)規(guī)模方面都有了實(shí)質(zhì)性的改進(jìn)。

MLPerf 訓(xùn)練基準(zhǔn)的內(nèi)容由封閉式和開(kāi)放式兩個(gè)部分組成。開(kāi)放式區(qū)別于封閉式的地方是,開(kāi)放式的參與者可以提交各種模型,而封閉式為確保一個(gè)相對(duì)公平的競(jìng)爭(zhēng)環(huán)境,只允許提交相同的參考模型。

值得一提的是,谷歌在本次基準(zhǔn)測(cè)試的開(kāi)放式部分提交了之前從未公開(kāi)過(guò)的新版 BERT 自然語(yǔ)言程序。

新的 BERT 程序規(guī)模比通行的 BERT 標(biāo)準(zhǔn)版本大了 3 個(gè)數(shù)量級(jí),神經(jīng)網(wǎng)絡(luò)參數(shù)達(dá)到 4810 億個(gè),而標(biāo)準(zhǔn)版 BERT 只有 3.4 億個(gè)參數(shù)。更多的參數(shù)通常意味著需要更多的計(jì)算能力。

據(jù)了解,為了得到更大的 BERT 模型,谷歌使用的計(jì)算機(jī)搭載了 2048 個(gè) TPU(Tensor Processing Unit)芯片。與英偉達(dá)的 GPU 不同,TPU 是谷歌針對(duì)機(jī)器學(xué)習(xí)專(zhuān)門(mén)定制的芯片。此“2048-TPU 系統(tǒng)”目前可以通過(guò)谷歌云服務(wù)獲得。

谷歌表示,這一新穎的語(yǔ)言模型反映了 AI 規(guī)模日益增長(zhǎng)的重要性。

谷歌還說(shuō),其能夠以 63% 的效率運(yùn)行龐大的 BERT 模型,這比英偉達(dá)和微軟共同開(kāi)發(fā)的 Megatron-Turing 語(yǔ)言模型 52% 的效率要好。該效率是通過(guò)相對(duì)于理論容量每秒執(zhí)行的浮點(diǎn)運(yùn)算數(shù)量來(lái)衡量的。

構(gòu)建越大的 AI 深度學(xué)習(xí)程序,越需要使用更多的 GPU 芯片或新型加速器芯片。研究人員認(rèn)為,程序的準(zhǔn)確性隨著 AI 規(guī)模的增加而增加。

谷歌機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施負(fù)責(zé)人阿魯沙·塞爾萬(wàn)(Aarush Selvan)說(shuō):“我們一直在確保向 MLPerf 提交的文件與自身內(nèi)部需求以及機(jī)器學(xué)習(xí)行業(yè)的需求完全一致。培訓(xùn) AI 大模型在谷歌內(nèi)部變得越來(lái)越重要。其是我們研究和生產(chǎn)的一大重點(diǎn),也是我們的云客戶(hù)所關(guān)注的重點(diǎn)?!?br />
塞爾萬(wàn)還說(shuō)道,AI 大模型有著成百上千億個(gè),甚至超過(guò)萬(wàn)億的參數(shù)。在 MLPerf 競(jìng)賽中有某種大型基準(zhǔn)是非常有好處的,MLCommons 應(yīng)該考慮更多的大模型來(lái)衡量大規(guī)模培訓(xùn)的表現(xiàn),像 ResNet-50 這樣較老、較小的網(wǎng)絡(luò)“只能給我們提供一個(gè)代理”。

MLCommons 的執(zhí)行董事大衛(wèi)·坎特(David Kanter)對(duì)此表示,大模型的建立需要所有成員共同決定。他同時(shí)指出,使用小型神經(jīng)網(wǎng)絡(luò)作為測(cè)試,能夠讓更多的成員參與競(jìng)爭(zhēng)。這有助于為整個(gè)社區(qū)生產(chǎn)更多有價(jià)值的工程產(chǎn)品,并幫助推動(dòng)行業(yè)不斷向前發(fā)展。

“基準(zhǔn)的關(guān)鍵是要公平和有代表性,而且也得考慮到經(jīng)營(yíng)者的承受能力,不能讓其破產(chǎn)。從理論上講,我們可以把 GPT-3 作為 MLPerf 基準(zhǔn),但培訓(xùn) GPT-3 相當(dāng)昂貴,需要數(shù)千萬(wàn)美元?!笨蔡匮a(bǔ)充說(shuō)。據(jù)悉,GPT-3 是 OpenAI 在 2020 年推出的有著 1750 億參數(shù)的自然語(yǔ)言模型。

此外,MLPerf 標(biāo)準(zhǔn)測(cè)試的代碼對(duì)每個(gè)人都是開(kāi)放的,任何 AI 研究人員都可以復(fù)制測(cè)試結(jié)果進(jìn)行重新驗(yàn)證。

谷歌今年早些時(shí)候在高度并行化神經(jīng)網(wǎng)絡(luò)方面做了一定研究,其中概述的設(shè)計(jì)與本次展示的巨型 BERT 模型類(lèi)似。該公司認(rèn)為,巨型 BERT 模型經(jīng)過(guò)訓(xùn)練,可以產(chǎn)生更具準(zhǔn)確性的結(jié)果。

在封閉式部分測(cè)試中,谷歌使用了較小的 BERT 模型。同時(shí),為了達(dá)到與其他供應(yīng)商在封閉式部分相同的準(zhǔn)確性,谷歌還使用了較少的文本數(shù)據(jù)樣本。封閉式部分要求一個(gè)程序訓(xùn)練近 5 億個(gè)令牌序列,每個(gè)序列的長(zhǎng)度大多為 128 個(gè)令牌。谷歌的程序只使用了大約 2000 萬(wàn)個(gè)令牌序列,每個(gè)序列長(zhǎng)度為 512 個(gè)令牌。

塞爾萬(wàn)說(shuō),谷歌打算在未來(lái)繼續(xù)提交 MLPerf 的封閉式部分基準(zhǔn)。“明年或許將看到所有人回到封閉式賽區(qū),雖然不能保證,但我們計(jì)劃那樣做?!彼f(shuō)。

整體來(lái)看,MLPerf 訓(xùn)練基準(zhǔn)(v1.1)的結(jié)果進(jìn)一步推動(dòng)了 MLCommons 的目標(biāo),即通過(guò)比較機(jī)器學(xué)習(xí)系統(tǒng)、軟件和解決方案,提供基準(zhǔn)和指標(biāo),使行業(yè)競(jìng)爭(zhēng)環(huán)境更加公平。

“通過(guò)對(duì)體系結(jié)構(gòu)、系統(tǒng)規(guī)模、軟件、模型劃分等方面的優(yōu)化,”坎特說(shuō),“供應(yīng)商正設(shè)法加速神經(jīng)網(wǎng)絡(luò)的性能,其速度比摩爾定律的歷史軌跡快 11 倍?!?br />
據(jù)了解,本次的基準(zhǔn)測(cè)試共有 14 個(gè)組織參與,包括微軟 Azure、百度、戴爾、富士通、技嘉、谷歌、Graphcore、HabanaLabs、HPE、浪潮、聯(lián)想、英偉達(dá)、三星和超微,發(fā)布的同行評(píng)審結(jié)果數(shù)量超過(guò) 185 個(gè)。

MLCommons 與其合作伙伴,包括全球技術(shù)提供商、學(xué)者和研究人員,通過(guò)各種方式為整個(gè)機(jī)器學(xué)習(xí)行業(yè)構(gòu)建工具。

“回顧 2018 年的第一輪 MLPerf 訓(xùn)練,我們一些基準(zhǔn)的性能提高了 30 倍,”坎特說(shuō),“這種性能的快速增長(zhǎng)將激發(fā)出新的機(jī)器學(xué)習(xí)創(chuàng)新,最終使社會(huì)受益。”

-End-
參考:
https://www.zdnet.com/article/google-uses-mlperf-competition-to-showcase-performance-on-gigantic-version-of-bert-language-model/
https://mlcommons.org/en/news/mlperf-training-v11/



*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布,僅代表博主個(gè)人觀(guān)點(diǎn),如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。

電機(jī)保護(hù)器相關(guān)文章:電機(jī)保護(hù)器原理


關(guān)鍵詞: 谷歌

相關(guān)推薦

技術(shù)專(zhuān)區(qū)

關(guān)閉