?CriticGPT：OpenAI 構(gòu)建 AI 來批判 AI

為 ChatGPT 等聊天機(jī)器人提供支持的大型語言模型的最大問題之一是，您永遠(yuǎn)不知道何時(shí)可以信任它們。他們可以生成清晰而有說服力的散文來回答任何問題，并且他們提供的大部分信息都是準(zhǔn)確和有用的。但它們也會(huì)產(chǎn)生幻覺——用不那么禮貌的話來說，它們會(huì)編造東西——這些幻覺以同樣清晰而有說服力的散文呈現(xiàn)，讓人類用戶來檢測錯(cuò)誤。他們也是阿諛奉承的人，試圖告訴用戶他們想聽什么。你可以通過讓 ChatGPT 描述從未發(fā)生過的事情來測試這一點(diǎn)（例如：“描述埃隆·馬斯克的芝麻街情節(jié)”，或“告訴我小說《米德爾馬契》中的斑馬”），并檢查其完全合理的回答。

OpenAI在解決這個(gè)問題方面邁出了最新的一小步，它以一種上游工具的形式出現(xiàn)，該工具將幫助訓(xùn)練模型的人類引導(dǎo)它走向真實(shí)和準(zhǔn)確。今天，該公司發(fā)布了一篇博客文章和一篇預(yù)印本論文，描述了這項(xiàng)工作。這種類型的研究屬于“對齊”工作的范疇，因?yàn)檠芯咳藛T正試圖使人工智能系統(tǒng)的目標(biāo)與人類的目標(biāo)保持一致。

這項(xiàng)新工作的重點(diǎn)是從人類反饋中強(qiáng)化學(xué)習(xí)（RLHF），這種技術(shù)對于采用基本語言模型并對其進(jìn)行微調(diào)，使其適合公開發(fā)布變得非常重要。借助 RLHF，人類培訓(xùn)師可以評估來自語言模型的各種輸出，這些輸出都是針對同一問題生成的，并指出哪種響應(yīng)是最好的。當(dāng)大規(guī)模完成時(shí)，這種技術(shù)有助于創(chuàng)建更準(zhǔn)確、更少種族主義、更禮貌、更不傾向于制定生物武器配方的模型，等等。
人工智能能抓住謊言中的人工智能嗎？

OpenAI 研究員 Nat McAleese 解釋說，RLHF 的問題在于“隨著模型變得越來越智能，這項(xiàng)工作變得越來越困難。隨著 LLM 對從文學(xué)理論到分子生物學(xué)的所有方面都產(chǎn)生了越來越復(fù)雜和復(fù)雜的反應(yīng)，典型的人類判斷最佳輸出的能力越來越弱?！耙虼耍@意味著我們需要超越RLHF的東西來調(diào)整更先進(jìn)的系統(tǒng)，”McAleese告訴IEEE Spectrum。

OpenAI 打出的解決方案是——令人驚訝！——更多的 AI。

具體來說，OpenAI 研究人員訓(xùn)練了一個(gè)名為 CriticGPT 的模型來評估 ChatGPT 的反應(yīng)。在這些初步測試中，他們只讓 ChatGPT 生成計(jì)算機(jī)代碼，而不是文本響應(yīng)，因?yàn)殄e(cuò)誤更容易被發(fā)現(xiàn)，而且不那么模棱兩可。目標(biāo)是制作一個(gè)可以幫助人類完成 RLHF 任務(wù)的模型。“我們對此感到非常興奮，”McAleese說，“因?yàn)槿绻阌腥斯ぶ悄軒椭龀鲞@些判斷，如果你在提供反饋時(shí)能做出更好的判斷，你就可以訓(xùn)練出更好的模型。這種方法是一種“可擴(kuò)展的監(jiān)督”，旨在讓人類能夠監(jiān)視人工智能系統(tǒng)，即使它們最終在智力上超過了我們。

“使用 LLM 輔助的人工注釋器是改進(jìn)反饋過程的自然方法?！薄猄TEPHEN CASPER，麻省理工學(xué)院

當(dāng)然，在用于這些實(shí)驗(yàn)之前，CriticGPT 必須使用通常的技術(shù)（包括 RLHF）進(jìn)行自我訓(xùn)練。有趣的是，研究人員讓人類訓(xùn)練師故意將錯(cuò)誤插入 ChatGPT 生成的代碼中，然后再將其交給 CriticGPT 進(jìn)行評估。CriticGPT 隨后提供了各種響應(yīng)，人類能夠判斷最佳輸出，因?yàn)樗麄冎滥Ｐ蛻?yīng)該捕獲哪些錯(cuò)誤。

OpenAI 使用 CriticGPT 的實(shí)驗(yàn)結(jié)果令人鼓舞。研究人員發(fā)現(xiàn)，CriticGPT 捕獲的 bug 比合格的人類為代碼審查支付的費(fèi)用要多得多：CriticGPT 捕獲了大約 85% 的 bug，而人類只捕獲了 25%。他們還發(fā)現(xiàn)，將 CriticGPT 與人類訓(xùn)練師配對會(huì)產(chǎn)生比人類單獨(dú)撰寫的評論更全面的評論，并且比 ChatGPT 撰寫的評論包含更少的幻覺錯(cuò)誤。McAleese 表示，OpenAI 正在努力在其訓(xùn)練管道中部署 CriticGPT，但目前尚不清楚它在更廣泛的任務(wù)中有多大用處。
CriticGPT 發(fā)現(xiàn)編碼錯(cuò)誤，但可能沒有斑馬

重要的是要注意這項(xiàng)研究的局限性，包括它對短代碼段的關(guān)注。雖然這篇論文不經(jīng)意地提到了一項(xiàng)使用 CriticGPT 捕捉文本響應(yīng)錯(cuò)誤的初步實(shí)驗(yàn)，但研究人員還沒有真正涉足這些更渾濁的水域。這很棘手，因?yàn)槲谋局械腻e(cuò)誤并不總是像斑馬在維多利亞時(shí)代的小說中跳華爾茲那樣明顯。更重要的是，RLHF 通常用于確保模型在其響應(yīng)中不會(huì)表現(xiàn)出有害的偏見，并確實(shí)在有爭議的主題上提供可接受的答案。McAleese 表示，CriticGPT 在這種情況下不太可能有幫助：“它不是一個(gè)足夠強(qiáng)大的方法。

一位與OpenAI無關(guān)的AI研究人員表示，這項(xiàng)工作在概念上并不新鮮，但它在方法論上做出了有用的貢獻(xiàn)。麻省理工學(xué)院博士生、2023 年一篇關(guān)于 RLHF 局限性的預(yù)印本論文的主要作者之一 Stephen Casper 說：“RLHF 的一些主要挑戰(zhàn)源于人類認(rèn)知速度、注意力和對細(xì)節(jié)的關(guān)注的限制?！皬倪@個(gè)角度來看，使用LLM輔助的人工注釋器是改善反饋過程的自然方法。我相信這是朝著更有效地訓(xùn)練對齊模型邁出的重要一步。

但卡斯珀也指出，將人類和人工智能系統(tǒng)的努力結(jié)合起來“可能會(huì)產(chǎn)生全新的問題”。例如，他說，“這種方法增加了人類敷衍參與的風(fēng)險(xiǎn)，并可能允許在反饋過程中注入微妙的人工智能偏見。

新的對齊研究是 OpenAI 自公司以來首次推出的對齊研究......委婉地說，重組了其對齊團(tuán)隊(duì)。據(jù)報(bào)道，OpenAI 聯(lián)合創(chuàng)始人 Ilya Sutskever 和 Alignment 負(fù)責(zé)人 Jan Leike 于 5 月離職，兩人都擔(dān)心該公司沒有優(yōu)先考慮 AI 風(fēng)險(xiǎn)，OpenAI 證實(shí)它已經(jīng)解散了其對齊團(tuán)隊(duì)，并將剩余的團(tuán)隊(duì)成員分配給其他研究小組。每個(gè)人都在等著看該公司是否會(huì)繼續(xù)開展可信和開創(chuàng)性的對齊研究，以及規(guī)模如何。（2023 年 7 月，該公司曾宣布將其 20% 的計(jì)算資源用于對齊研究，但 Leike 在 2024 年 5 月的一條推文中表示，他的團(tuán)隊(duì)最近一直在“為計(jì)算而苦苦掙扎”。今天發(fā)布的預(yù)印本表明，至少對齊研究人員仍在研究這個(gè)問題。