蘋果Microsoft縮小人工智能模型以改進它們

科技公司已經(jīng)陷入了一場構(gòu)建最大的大型語言模型（LLM）的競賽中。例如，今年 4 月，Meta 宣布了 4000 億參數(shù)的 Llama 3，它包含的參數(shù)數(shù)量（或決定模型如何響應(yīng)查詢的變量）是 OpenAI 2022 年原始 ChatGPT 模型的兩倍。雖然尚未得到證實，但 GPT-4 估計有大約 1.8 萬億個參數(shù)。
然而，在過去的幾個月里，包括蘋果和Microsoft在內(nèi)的一些最大的科技公司已經(jīng)推出了小型語言模型（SLM）。這些模型的規(guī)模只是 LLM 對應(yīng)模型的一小部分，但在許多基準(zhǔn)測試中，它們可以與它們相媲美，甚至優(yōu)于它們。
6 月 10 日，在蘋果全球開發(fā)者大會上，該公司宣布了其“Apple Intelligence”模型，該模型具有大約 30 億個參數(shù)。4 月下旬，Microsoft 發(fā)布了 Phi-3 系列 SLM，其型號包含 38 億至 140 億個參數(shù)。

OpenAI 的首席執(zhí)行官 Sam Altman 認(rèn)為，我們正處于巨型模型時代的末期。

在一系列測試中，Microsoft最小的模型 Phi-3-mini 可與 OpenAI 的 GPT-3.5（1750 億個參數(shù)）相媲美，后者為 ChatGPT 的免費版本提供支持，并優(yōu)于谷歌的 Gemma（70 億個參數(shù)）。這些測試通過提示模型有關(guān)數(shù)學(xué)、哲學(xué)、法律等問題來評估模型對語言的理解程度。更有趣的是，Microsoft 的 Phi-3-small 擁有 70 億個參數(shù)，在許多基準(zhǔn)測試中的表現(xiàn)明顯優(yōu)于 GPT-3.5。
在波士頓東北大學(xué)研究語言模型的亞倫·穆勒（Aaron Mueller）對SLM可以在選定的函數(shù)中與LLM并駕齊驅(qū)并不感到驚訝。他說，這是因為縮放參數(shù)數(shù)量并不是提高模型性能的唯一方法：在更高質(zhì)量的數(shù)據(jù)上訓(xùn)練它也可以產(chǎn)生類似的結(jié)果。
Mueller 說，Microsoft 的 Phi 模型是在微調(diào)的“教科書質(zhì)量”數(shù)據(jù)上訓(xùn)練的，這些數(shù)據(jù)具有更一致的風(fēng)格，比 LLM 通常依賴的來自互聯(lián)網(wǎng)的高度多樣化的文本更容易學(xué)習(xí)。同樣，蘋果公司只在更豐富、更復(fù)雜的數(shù)據(jù)集上訓(xùn)練其SLM。
SLM 的興起正值 LLM 之間的性能差距正在迅速縮小，科技公司希望偏離標(biāo)準(zhǔn)擴展定律并探索其他性能升級途徑。在 4 月份的一次活動中，OpenAI 的首席執(zhí)行官 Sam Altman 表示，他相信我們正處于巨型模型時代的終結(jié)?！拔覀儠云渌绞阶屗鼈冏兊酶谩！?br/>由于 SLM 消耗的能量幾乎不如 LLM，因此它們還可以在智能手機和筆記本電腦等設(shè)備（而不是在云中）本地運行，以保護數(shù)據(jù)隱私并針對每個人進行個性化設(shè)置。今年3月，谷歌在該公司的Pixel系列智能手機中推出了Gemini Nano。SLM 可以匯總錄音，并在沒有 Internet 連接的情況下對對話生成智能回復(fù)。預(yù)計蘋果將在今年晚些時候效仿。
更重要的是，SLM可以使對語言模型的訪問民主化，Mueller說。到目前為止，人工智能開發(fā)一直集中在幾家有能力部署高端基礎(chǔ)設(shè)施的大公司手中，而其他較小的運營和實驗室則被迫以高額費用獲得許可。
Mueller 說，由于 SLM 可以很容易地在更實惠的硬件上進行訓(xùn)練，因此對于那些資源有限但仍然足以滿足特定應(yīng)用的人來說，它們更容易獲得。
此外，雖然研究人員一致認(rèn)為，要克服幻覺還有很多工作要做，但精心策劃的SLM使他們更接近于構(gòu)建負(fù)責(zé)任的人工智能，該人工智能也是可解釋的，這可能使研究人員能夠調(diào)試特定的LLM問題，并在源頭上修復(fù)它們。
對于蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）的計算機科學(xué)研究員亞歷克斯·沃斯塔特（Alex Warstadt）這樣的研究人員來說，SLM還可以為一個長期存在的科學(xué)問題提供新的、引人入勝的見解：兒童如何獲得他們的第一語言。Warstadt與包括東北大學(xué)的Mueller在內(nèi)的一組研究人員一起組織了BabyLM挑戰(zhàn)賽，參與者在小數(shù)據(jù)上優(yōu)化語言模型訓(xùn)練。
SLM不僅有可能解開人類認(rèn)知的新秘密，而且還有助于改進生成式AI。到13歲時，他們已經(jīng)接觸到大約1億個單詞，并且在語言方面比聊天機器人更好，只能訪問0.01%的數(shù)據(jù)。Warstadt說，雖然沒有人知道是什么讓人類如此高效，但“在小規(guī)模上對高效的類人學(xué)習(xí)進行逆向工程，當(dāng)擴展到LLM規(guī)模時，可能會帶來巨大的改進。