Meta研究員破解大模型逆轉(zhuǎn)詛咒，推出《語(yǔ)言模型物理學(xué)》
發(fā)布人：深科技
時(shí)間：2024-04-14
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
就拿大語(yǔ)言模型的典型代表 GPT-4 來(lái)說(shuō)，即便時(shí)至今日，它依然會(huì)對(duì)一些在人類看來(lái)很簡(jiǎn)單的問(wèn)題，給出錯(cuò)誤的回答（如下圖所示的兩個(gè)案例）。
圖丨案例截圖（來(lái)源：朱澤園）那么，這到底是 GPT-4 本身的問(wèn)題，還是它的訓(xùn)練數(shù)據(jù)不足，亦或是它的數(shù)學(xué)能力太弱？其他模型會(huì)有這個(gè)問(wèn)題嗎？
對(duì)于追求嚴(yán)謹(jǐn)?shù)目茖W(xué)家來(lái)說(shuō)，有必要思考這一系列問(wèn)題的原因，并嘗試發(fā)現(xiàn)其背后存在的普適性定律。
6 個(gè)月前，來(lái)自 Meta 旗下的人工智能基礎(chǔ)研究實(shí)驗(yàn)室（FAIR Labs）的朱澤園和合作者 MBZUAI 的李遠(yuǎn)志教授，在研究大語(yǔ)言模型是“如何學(xué)習(xí)知識(shí)”的過(guò)程中，發(fā)現(xiàn)了一些意想不到的復(fù)雜情況。
譬如：有些知識(shí)，模型可以記住，但說(shuō)不出來(lái)；有些知識(shí)，模型可以說(shuō)出來(lái)，但是無(wú)法推演。
有些具備順序性的知識(shí)，比如成語(yǔ)“繼往開(kāi)來(lái)”這四個(gè)字，始終是按順序出現(xiàn)的，所以不管大語(yǔ)言模型有多大以及訓(xùn)練了多久，它都只能記住正序，而無(wú)法記住逆序知識(shí)。這種涉及到“知識(shí)的順序性”的現(xiàn)象，被學(xué)術(shù)界稱為“逆轉(zhuǎn)詛咒”。
圖丨逆轉(zhuǎn)詛咒的案例：如果一個(gè)事實(shí)大多只在一個(gè)方向上出現(xiàn)，例如詩(shī)歌的上下句，那么即使是最有能力的大語(yǔ)言模型也無(wú)法反向回憶起這個(gè)事實(shí)。在該案例中，兩個(gè)模型顯然都知道這些歌詞的順序（左），但卻無(wú)法反向生成（右）（來(lái)源：arXiv [3]）為了克服這一難題，近日，F(xiàn)AIR Labs 實(shí)驗(yàn)室提出了一種替代訓(xùn)練方案名為“逆轉(zhuǎn)訓(xùn)練”，大致思路是對(duì)所有的數(shù)據(jù)，都正向和“逆向”同時(shí)訓(xùn)練兩次，然后通過(guò)尋找最可靠的“逆向”訓(xùn)練方法，來(lái)效地解決逆轉(zhuǎn)詛咒問(wèn)題。
近日，相關(guān)論文以《逆轉(zhuǎn)訓(xùn)練攻克逆轉(zhuǎn)詛咒》（Reverse Training to Nurse the Reversal Curse）為題在預(yù)印本平臺(tái) arXiv 上發(fā)表[1]。
作者包括 FAIR Labs 研究工程師奧爾加·戈洛夫涅娃（Olga Golovneva）、研究科學(xué)家朱澤園（Zeyuan Allen-Zhu）、研究科學(xué)家杰森·韋斯頓（Jason Weston）和研究科學(xué)家桑巴亞爾·蘇赫巴托爾（Sainbayar Sukhbaatar）。
圖丨相關(guān)論文（來(lái)源：arXiv）
提出逆轉(zhuǎn)訓(xùn)練方案，攻克大語(yǔ)言模型的逆轉(zhuǎn)詛咒難題其實(shí)，在探究大模型針對(duì)簡(jiǎn)單的問(wèn)題卻給出錯(cuò)誤回答背后的原因時(shí)，朱澤園認(rèn)為，過(guò)度追求大語(yǔ)言模型在基準(zhǔn)數(shù)據(jù)集上的表現(xiàn)，也可能讓人類和通用人工智能漸行漸遠(yuǎn)。
例如，最近發(fā)表在 Nature 上的 AlphaGeometry[2]，是 DeepMind 開(kāi)發(fā)的一個(gè) AI 系統(tǒng)，能夠解決國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽 30 道平面幾何題中的 25 道。
但它的主算法卻是一個(gè)沒(méi)有 AI 參與的暴力搜索，搜索的步驟從數(shù)百條由人工挑選的引理中選擇。
有沒(méi)有一種可能是，DeepMind 人工挑選了上百條為 30 道國(guó)際數(shù)學(xué)奧林匹克競(jìng)賽題量身定做的引理呢？
“我們對(duì)此表示質(zhì)疑（僅代表本團(tuán)隊(duì)，并非 Meta 官方立場(chǎng)）。但從科學(xué)的角度來(lái)看，我們應(yīng)該盡量避免人工干預(yù)，以防‘有多少人工，就有多少智能’。” 朱澤園表示。
圖丨朱澤園（來(lái)源：朱澤園）基于類似以上的擔(dān)憂，朱澤園提出了“語(yǔ)言模型物理學(xué)”這一新概念。
此概念主張，在物理學(xué)的啟發(fā)下化繁為簡(jiǎn)，將“智能”分拆成多個(gè)維度，包括語(yǔ)法、知識(shí)、推理、解題等，并給每個(gè)維度創(chuàng)建全新的合成數(shù)據(jù)，搭建理想化的大語(yǔ)言模型訓(xùn)練和測(cè)試環(huán)境，以探索模型所具備的普適性定律。類似在真空中研究牛頓定律，或是理想環(huán)境下研究氣體方程。
需要說(shuō)明的是，研究人員并不應(yīng)該局限于類似 GPT-4 這樣的個(gè)別模型，而是應(yīng)該總結(jié)出在理想的數(shù)據(jù)集下，任何模型所展現(xiàn)出的普適性質(zhì)。
“對(duì)于人工智能領(lǐng)域來(lái)說(shuō)，通過(guò)在理想環(huán)境中去偽存真，我們可以排除數(shù)據(jù)作弊、人工挑選等因素，真正找出大語(yǔ)言模型的普適定律，并提出增強(qiáng)性能的方案?！敝鞚蓤@表示。
據(jù)了解，《語(yǔ)言模型物理學(xué)》項(xiàng)目的第一部分專注于語(yǔ)法研究，第二部分側(cè)重于推理研究，第三部分則聚焦于知識(shí)研究，其他更多部分的研究也在積極推進(jìn)中，并在 Meta 內(nèi)部立項(xiàng)，得到 FAIR 研究院的海量算力支持。
“不過(guò)因?yàn)榘l(fā)現(xiàn)過(guò)多，僅是其中第三部分‘知識(shí)研究’就拆成了至少三篇論文 Part 3.1、3.2、3.3，每篇都有幾個(gè)甚至十幾個(gè)結(jié)論，均已在 arXiv 上發(fā)表?！敝鞚蓤@說(shuō)。
對(duì)于發(fā)表在 Part 3.2 論文中的“知識(shí)的順序性”這一現(xiàn)象來(lái)說(shuō)，朱澤園和李遠(yuǎn)志最早是在理想環(huán)境中觀察到它，而后又在市面上可見(jiàn)的預(yù)訓(xùn)練模型，如 GPT-4 和 LLaMA-2 中，驗(yàn)證了它的存在。
那么用“理想環(huán)境”而不是現(xiàn)實(shí)模型來(lái)做研究，有什么好處呢？
譬如這個(gè)課題里，在理想環(huán)境中我們可以固定知識(shí)的順序，也不用擔(dān)心測(cè)試數(shù)據(jù)的污染。
假如我們永遠(yuǎn)都說(shuō)“某某人，在 XXXX 年 X 月 XX 日出生”，以保證數(shù)據(jù)集中的知識(shí)都是人名在生日之前；然后，再提取出該數(shù)據(jù)集中一半的人員信息，訓(xùn)練模型的逆向知識(shí)提取能力，比如“在 XXXX 年 X 月 XX 日出生的人，叫什么名字”。
我們就會(huì)發(fā)現(xiàn)，不管模型多大、訓(xùn)練多久，它都只能對(duì)這一半的人完成逆向知識(shí)提?。ㄕ_率 100%，因?yàn)檫@一半人在訓(xùn)練集里），而無(wú)法推演（generalize）到剩下一半的人（正確率 0%）。
圖 | 在理想環(huán)境下，所有逆向知識(shí)提取的正確率都幾乎是 0（來(lái)源：arxiv[3]）換言之，理想環(huán)境下，不僅可以將測(cè)試集和訓(xùn)練集完全分開(kāi)，也能讓數(shù)據(jù)量無(wú)限增大，甚至還可以把模型打開(kāi)，觀察出“為什么”知識(shí)無(wú)法逆向提取，并得到提取知識(shí)的充分必要條件。
更重要的是，理想環(huán)境下的研究，可以推廣到包括 GPT-4 在內(nèi)的現(xiàn)實(shí)模型上，也能觀察到“逆轉(zhuǎn)詛咒”。
比如，除了如上所說(shuō)的成語(yǔ)逆轉(zhuǎn)，還可以向大語(yǔ)言模型詢問(wèn)“西出陽(yáng)關(guān)無(wú)故人”的上一句話，或是給出百科上名人的出生年月日/工作單位/城市，來(lái)反問(wèn)大語(yǔ)言模型這個(gè)人名是誰(shuí)。
“大量的測(cè)試告訴我們，現(xiàn)實(shí)模型也無(wú)法很好地回答這樣的逆序知識(shí)類問(wèn)題?！敝鞚蓤@說(shuō)。
不過(guò)，需要指出的是，在現(xiàn)實(shí)模型上很難確定造成這些錯(cuò)誤回答的原因，究竟是模型訓(xùn)練得不夠久，還是數(shù)據(jù)不夠多。
即便現(xiàn)實(shí)模型答對(duì)了，會(huì)不會(huì)它的訓(xùn)練數(shù)據(jù)中看到了原題（也就是數(shù)據(jù)污染）。綜上，在現(xiàn)實(shí)模型上直接研究，很難得到令人信服的、科學(xué)的結(jié)論。
“這就是為什么我們要做《語(yǔ)言模型物理學(xué)》的原因，即希望探索出一種全新的研究 AI 模型的思路?！敝鞚蓤@表示。
發(fā)現(xiàn)問(wèn)題是一方面，要想解決“逆轉(zhuǎn)詛咒”，就是一個(gè)新的延伸課題了。為此，朱澤園和 FAIR Labs 實(shí)驗(yàn)室的“推理記憶”課題組聯(lián)手，基于理想環(huán)境中的發(fā)現(xiàn)，給出現(xiàn)實(shí)生活中的一個(gè)解決方案——隨機(jī)拆詞反轉(zhuǎn)訓(xùn)練。
主要是把每 1-25 個(gè)連續(xù) token（對(duì)應(yīng)約 1-15 個(gè)英語(yǔ)單詞）隨機(jī)拆成一組，在保持每組順序不變的前提下，將整個(gè)文章進(jìn)行反轉(zhuǎn)。
同時(shí)使用正向的原文，和反轉(zhuǎn)后的文字對(duì)語(yǔ)言模型進(jìn)行訓(xùn)練。如果同一數(shù)據(jù)會(huì)多次進(jìn)行反轉(zhuǎn)訓(xùn)練，則可以每次用不同的隨機(jī)方法拆詞，這在無(wú)形之中增加了數(shù)據(jù)的多樣性，從而增強(qiáng)大模型對(duì)知識(shí)的存取效率。
從另一方面來(lái)看，隨機(jī)拆詞并翻轉(zhuǎn)也模擬了人類速讀。也就是說(shuō)，當(dāng)我們快速閱讀一段文字的時(shí)候，眼睛也在進(jìn)行隨機(jī)拆解，甚至也會(huì)無(wú)序地閱讀。包括在學(xué)習(xí)重要知識(shí)時(shí)，還會(huì)前后翻書(shū)和反復(fù)閱讀。
研究人員將上述方法稱為“逆轉(zhuǎn)訓(xùn)練”，并且在 LLaMA-2 模型上做了真實(shí)數(shù)據(jù)的測(cè)試。
同時(shí)，他們還得到了一個(gè)重要的發(fā)現(xiàn)：如果正反向都進(jìn)行訓(xùn)練，既不會(huì)影響正向的訓(xùn)練結(jié)果，又不會(huì)讓傳統(tǒng)的基準(zhǔn)數(shù)據(jù)集得分降低。
對(duì)于《語(yǔ)言模型物理學(xué)》系列作品給應(yīng)用領(lǐng)域帶來(lái)的影響，朱澤園認(rèn)為會(huì)是非常全面的。作為該系列作品的一個(gè)衍生成果，《逆轉(zhuǎn)訓(xùn)練攻克逆轉(zhuǎn)詛咒》很可能在幫助解決大語(yǔ)言模型的諸多問(wèn)題之一的同時(shí)，在所有公司的所有應(yīng)用場(chǎng)景中得到應(yīng)用。
“當(dāng)然，一切的理論研究走到實(shí)際落地都有一個(gè)過(guò)程。我歡迎所有的研究人員參考我們論文給出的理論指導(dǎo)建議，在實(shí)際應(yīng)用中找到增益。”朱澤園說(shuō)。
另外，值得一提的是，2024 年 7 月，朱澤園將在 ICML 2024 上，受邀開(kāi)展《語(yǔ)言模型物理學(xué)》系列講壇（tutorial）課程。
致力于挑戰(zhàn)人工智能的每個(gè)維度，希望探索出大語(yǔ)言模型的普適性物理定律據(jù)了解，朱澤園本科就讀于清華大學(xué)物理系，博士畢業(yè)于美國(guó)麻省理工計(jì)算機(jī)系，是圖靈獎(jiǎng)得主希爾維奧·米卡利（Silvio Micali）教授的弟子，后在美國(guó)普林斯頓大學(xué)和從事博士后研究，師從剛剛獲得圖靈獎(jiǎng)的艾維·維格森（Avi Wigderson）教授。
他曾是國(guó)際信息學(xué)奧林匹克競(jìng)賽兩屆金牌、國(guó)際大學(xué)生程序設(shè)計(jì)競(jìng)賽全球總決賽金牌的獲得者，也在谷歌全球編程挑戰(zhàn)賽（Google Code Jam）中獲得世界第二的成績(jī)。
在 2022 年加入 FAIR Labs 之前，朱澤園曾在微軟研究院總部任職。
“加入 FAIR Labs 以后，我被給予了 100% 的科研自由，可以獨(dú)立發(fā)起項(xiàng)目，選擇我認(rèn)為最重要的人工智能課題進(jìn)行長(zhǎng)期研究?！墩Z(yǔ)言模型物理學(xué)》項(xiàng)目，就是我所負(fù)責(zé)的長(zhǎng)期項(xiàng)目?！敝鞚蓤@介紹說(shuō)。
如上所說(shuō)，《逆轉(zhuǎn)訓(xùn)練攻克逆轉(zhuǎn)詛咒》，是該項(xiàng)目的一個(gè)衍生課題。
不過(guò)，在最早參與該課題時(shí)，朱澤園并不十分“積極”。這主要是因?yàn)樗紤]到精力有限，所以對(duì)參與科研課題一貫持謹(jǐn)慎態(tài)度。
“當(dāng)這一課題負(fù)責(zé)人蘇赫巴托爾聯(lián)系我時(shí)，我從理論的角度出發(fā)，告訴他已經(jīng)在理想環(huán)境下證明了數(shù)據(jù)反向訓(xùn)練有效。所以，我認(rèn)為逆轉(zhuǎn)訓(xùn)練這個(gè)方法太過(guò)簡(jiǎn)單，只需要多做點(diǎn)大規(guī)模的實(shí)驗(yàn)而已?！彼f(shuō)。
但蘇赫巴托爾反問(wèn)道：“那你當(dāng)初為什么要發(fā)表 LoRA 呢？”
這個(gè)問(wèn)題促使朱澤園進(jìn)行了長(zhǎng)時(shí)間的思考和反省，并最終做出了改變想法的決定。
其中，LoRA 是朱澤園在微軟研究院供職時(shí)參與開(kāi)發(fā)的一個(gè)簡(jiǎn)單有效的微調(diào)工具。當(dāng)時(shí)他也曾認(rèn)為該工具過(guò)于簡(jiǎn)單，但如今后者已經(jīng)成為行業(yè)內(nèi)最常用的微調(diào)算法，業(yè)內(nèi)幾乎無(wú)人不曉。
《逆轉(zhuǎn)訓(xùn)練攻克逆轉(zhuǎn)詛咒》課題開(kāi)始進(jìn)行之后，朱澤園和合作者發(fā)現(xiàn)不同的逆轉(zhuǎn)訓(xùn)練策略在效果上存在差異，與他們最初的預(yù)期不同。對(duì)此，他們也在論文中進(jìn)行了詳細(xì)的比較。
“總的來(lái)說(shuō)，如果一個(gè)算法簡(jiǎn)易且有用，還不需要復(fù)雜的數(shù)學(xué)公式，這不正是我們?nèi)祟愖钕Ｍ@得的嗎？”朱澤園表示。
另外，在目前研究的基礎(chǔ)上，他告訴我們，《語(yǔ)言模型物理學(xué)》項(xiàng)目也制定了后續(xù)計(jì)劃，包括 2 個(gè)月內(nèi)可以發(fā)布的項(xiàng)目第二部分“語(yǔ)言模型推理研究”的兩篇論文，會(huì)在理想環(huán)境下研究并提高 AI 模型在小學(xué)數(shù)學(xué)題上的推理能力等。
朱澤園說(shuō)：“我們有一個(gè)很遠(yuǎn)大的目標(biāo)，那就是在理想的環(huán)境里去偽存真，挑戰(zhàn)人工智能的每一個(gè)維度，總結(jié)出大語(yǔ)言模型的普適物理定律?！?/span>
與此同時(shí)，他也認(rèn)為，致力于研究理想環(huán)境下的大語(yǔ)言模型的《語(yǔ)言模型物理學(xué)》項(xiàng)目，與大部分科研都不相同。
“在我眼中，這仿佛是一個(gè)新的學(xué)科和一個(gè)新的研究問(wèn)題的方式，非常刺激。因此，我?guī)缀跬Ｏ铝耸稚弦磺锌蒲蟹较颍硇牡負(fù)湎蚱渲??！彼硎尽?/span>
即便在研究過(guò)程中受到諸多批評(píng)和質(zhì)疑，包括測(cè)得的數(shù)據(jù)是否過(guò)于理想化、可能太過(guò)局限，以及和實(shí)際有差異等，但他對(duì)此卻依然毫不擔(dān)心。
他始終奉行堅(jiān)持日心說(shuō)的意大利科學(xué)家喬爾丹諾·布魯諾（Giordano Bruno）曾經(jīng)說(shuō)過(guò)的這句話，“真理不會(huì)因?yàn)榇蠖鄶?shù)人相信或不相信而改變”。
排版：劉雅坤
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
