總結(jié)機器學(xué)習(xí)3個時代的算力規(guī)律：大模型的出現(xiàn)改變了什么？

作者 | 劉媛媛

來源丨數(shù)據(jù)實戰(zhàn)派

圖 1：1950 年至 2022 年間 118 個里程碑機器學(xué)習(xí)系統(tǒng)的趨勢。我們區(qū)分了三個時代。注意大約 2010 年的斜率變化，與深度學(xué)習(xí)的出現(xiàn)相匹配；2015年底出現(xiàn)了新的大規(guī)模趨勢。
預(yù)測機器學(xué)習(xí)領(lǐng)域的進展是很困難，其與行業(yè)、政策和社會中的參與者有著重要的相關(guān)性。
十年后計算機視覺會好多少？機器能否寫出比我們更好的小說嗎？我們將能夠自動化哪些工作？
這些問題回答起來是很困難，因為它們?nèi)Q于許多因素。然而，隨著時間的推移，所有這些因素的影響中有一個因素——算力，有著驚人地規(guī)律。
已有數(shù)據(jù)顯示，2010年之前，訓(xùn)練算力的增長率符合摩爾定律（Moore’s law），大約每20個月翻一番。
從2010年之后深度學(xué)習(xí)開始來臨，訓(xùn)練算力的增長率大幅度提升，大約每6個月翻一番。2015年末，隨著許多公司開始開發(fā)大規(guī)模的機器學(xué)習(xí)模型，對訓(xùn)練算力的要求提高了10到100倍，于是，一種新的趨勢又出現(xiàn)了。
基于上述發(fā)現(xiàn)，一支聯(lián)合團隊在其研究COMPUTE TRENDS ACROSS THREE ERAS OF MACHINE LEARNING一文中，將機器學(xué)習(xí)的算力趨勢分為三個時代：前深度學(xué)習(xí)時代，深度學(xué)習(xí)時代和大規(guī)模時代，很好地梳理出當(dāng)前的算力演進脈絡(luò)。

圖丨里程碑式大模型信息一覽（https://docs.google.com/spreadsheets/d/1AAIebjNsnJj_uKALHbXNfn3_YsT6sHXtCU0q7OIPuc4/edit#gid=0）：
更具體的，這項研究共有以下三點貢獻：
1）策劃了一個包含100多個具有里程碑意義的機器學(xué)習(xí)系統(tǒng)的數(shù)據(jù)集，并對訓(xùn)練它們所需的算力進行了注釋。
2）初步將算力趨勢劃分為三個不同的時代：深度學(xué)習(xí)前時代、深度學(xué)習(xí)時代和大規(guī)模時代。這項研究提供了每個時代的倍增時間的估計。
3）在一系列附錄中展示了為驗證這項研究的結(jié)論所開展的一些替代實驗，討論了數(shù)據(jù)的替代解釋以及與以前工作的差異。
另外，這項研究所采用的數(shù)據(jù)集、數(shù)據(jù)和交互式可視化均是公開的。
一、深度學(xué)習(xí)的出現(xiàn)
這項研究根據(jù)三個不同的時代和三個不同的趨勢來解釋這項研究整理的數(shù)據(jù)。
簡而言之，在深度學(xué)習(xí)開始之前，有一個增長緩慢的時代。2010 年前后，這一趨勢加速發(fā)展，此后一直沒有放緩。另外，在 2015 年到 2016 年出現(xiàn)了大規(guī)模模型的新趨勢，以相似的速度增長，但超過了之前的一到兩個數(shù)量級（orders of magnitude，OOM）。
表1 主要結(jié)果總結(jié)。2010 年隨著深度學(xué)習(xí)的普及，趨勢加速，2015 年末出現(xiàn)了大規(guī)模模型的新趨勢。
下面，這項研究將首先討論 2010年至2012年左右向深度學(xué)習(xí)的過渡時期。然后討論大約在 2015年至2016 年出現(xiàn)的大規(guī)模模型時代。
深度學(xué)習(xí)出現(xiàn)前后存在兩種截然不同的趨勢機制。在此之前，訓(xùn)練機器學(xué)習(xí)系統(tǒng)所需的計算量每 17 到 29 個月翻一番。隨后，整體趨勢加快，每 4 到 9 個月翻一番。
前深度學(xué)習(xí)時代的趨勢大致符合摩爾定律，根據(jù)該定律，晶體管密度大約每兩年翻一番——通常簡化為計算性能每兩年翻一番。
目前尚不清楚深度學(xué)習(xí)時代從何時開始——從前深度學(xué)習(xí)時代到深度學(xué)習(xí)時代的過渡沒有明顯的不連續(xù)性。此外，這項研究將深度學(xué)習(xí)時代的開始時間分別定在 2010 年和 2012 年，結(jié)果幾乎沒有變化，如表2所示。
圖2. 1952年至2022年間100多個里程碑機器學(xué)習(xí)系統(tǒng)的訓(xùn)練算力趨勢。請注意 2010 年左右趨勢的斜率變化。
表2 1952 年至 2022 年 ML 模型的對數(shù)線性回歸結(jié)果
二、大模型的出現(xiàn)
2015-2016 年左右出現(xiàn)了大規(guī)模模型的新趨勢。
這種新趨勢始于 2015 年底的 AlphaGo，并一直持續(xù)到今天。這些大規(guī)模模型是由大公司訓(xùn)練的，其較大的訓(xùn)練預(yù)算想必能夠打破之前的趨勢。

另外，常規(guī)比例模型的趨勢仍不受干擾。這種趨勢在 2016 年前后是連續(xù)的，斜率相同，每5到6個月翻一番，見表3大規(guī)模模型中計算量增加的趨勢明顯變慢，每9到10個月翻一番。由于這項研究對這些模型的相關(guān)數(shù)據(jù)有限，所以明顯的放緩的趨勢也可能是噪聲的結(jié)果。這項研究發(fā)現(xiàn)的結(jié)果與2018年Amodei & Hernandez等人的發(fā)現(xiàn)形成鮮明的對比，后者發(fā)現(xiàn) 2012 年至 2018 年之間的倍增期更快，為3.4個月，而2021年Lyzhov發(fā)現(xiàn)2018年至2020年之間的倍增期更長，超過2年。
由于他們的分析數(shù)據(jù)樣本有限且假設(shè)單一趨勢，因此與這項研究發(fā)現(xiàn)的結(jié)果存在巨大差異。而這項研究分別研究大規(guī)模模型和常規(guī)規(guī)模模型，且大規(guī)模模型的趨勢是最近幾年才出現(xiàn)，以前的分析無法區(qū)分這兩種不同的趨勢。
圖2. 2010~2022年100多個里程碑式機器學(xué)習(xí)系統(tǒng)的訓(xùn)練計算趨勢。注意 2016 年左右可能出現(xiàn)的大規(guī)模模型新趨勢。其余模型的趨勢在 2016 年前后保持不變。


表3. 2010~2022年數(shù)據(jù)的對數(shù)線性回歸結(jié)果。2015 年之前的常規(guī)尺度模型的趨勢在之后繼續(xù)不間斷。
三、結(jié)論與方向
這項研究通過管理100 多個里程碑式機器學(xué)習(xí)系統(tǒng)的訓(xùn)練計算數(shù)據(jù)集來研究算力趨勢，并使用這些數(shù)據(jù)分析趨勢如何隨著時間的推移而增長。
團隊表示，希望這項研究的工作能夠幫助其他人更好地了解到機器學(xué)習(xí)系統(tǒng)的最新進展是由規(guī)模增加推動的，從而進一步改進對高級機器學(xué)習(xí)系統(tǒng)開發(fā)的預(yù)測。
此外，訓(xùn)練算力的增長趨勢，凸顯了硬件基礎(chǔ)設(shè)施和工程師的戰(zhàn)略重要性。
機器學(xué)習(xí)的前沿研究已成為訪問大量算力預(yù)算或算力集群以及利用它們的專業(yè)知識的代名詞。
這項研究未涉及的一個方面是用于訓(xùn)練機器學(xué)習(xí)模型的另一個關(guān)鍵可量化因素——數(shù)據(jù)，未來可以嘗試研究數(shù)據(jù)集大小及其與算力趨勢的關(guān)系。
論文鏈接：https://arxiv.org/pdf/2202.05924.pdf