?CriticGPT：OpenAI 構(gòu)建 AI 來批判 AI

為 ChatGPT 等聊天機器人提供支持的大型語言模型的最大問題之一是，您永遠不知道何時可以信任它們。他們可以生成清晰而有說服力的散文來回答任何問題，并且他們提供的大部分信息都是準(zhǔn)確和有用的。但它們也會產(chǎn)生幻覺——用不那么禮貌的話來說，它們會編造東西——這些幻覺以同樣清晰而有說服力的散文呈現(xiàn)，讓人類用戶來檢測錯誤。他們也是阿諛奉承的人，試圖告訴用戶他們想聽什么。你可以通過讓 ChatGPT 描述從未發(fā)生過的事情來測試這一點（例如：“描述埃隆·馬斯克的芝麻街情節(jié)”，或“告訴我小說《米德爾馬契》中的斑馬”），并檢查其完全合理的回答。

OpenAI在解決這個問題方面邁出了最新的一小步，它以一種上游工具的形式出現(xiàn)，該工具將幫助訓(xùn)練模型的人類引導(dǎo)它走向真實和準(zhǔn)確。今天，該公司發(fā)布了一篇博客文章和一篇預(yù)印本論文，描述了這項工作。這種類型的研究屬于“對齊”工作的范疇，因為研究人員正試圖使人工智能系統(tǒng)的目標(biāo)與人類的目標(biāo)保持一致。

這項新工作的重點是從人類反饋中強化學(xué)習(xí)（RLHF），這種技術(shù)對于采用基本語言模型并對其進行微調(diào)，使其適合公開發(fā)布變得非常重要。借助 RLHF，人類培訓(xùn)師可以評估來自語言模型的各種輸出，這些輸出都是針對同一問題生成的，并指出哪種響應(yīng)是最好的。當(dāng)大規(guī)模完成時，這種技術(shù)有助于創(chuàng)建更準(zhǔn)確、更少種族主義、更禮貌、更不傾向于制定生物武器配方的模型，等等。
人工智能能抓住謊言中的人工智能嗎？

OpenAI 研究員 Nat McAleese 解釋說，RLHF 的問題在于“隨著模型變得越來越智能，這項工作變得越來越困難。隨著 LLM 對從文學(xué)理論到分子生物學(xué)的所有方面都產(chǎn)生了越來越復(fù)雜和復(fù)雜的反應(yīng)，典型的人類判斷最佳輸出的能力越來越弱。“因此，這意味著我們需要超越RLHF的東西來調(diào)整更先進的系統(tǒng)，”McAleese告訴IEEE Spectrum。

OpenAI 打出的解決方案是——令人驚訝！——更多的 AI。

具體來說，OpenAI 研究人員訓(xùn)練了一個名為 CriticGPT 的模型來評估 ChatGPT 的反應(yīng)。在這些初步測試中，他們只讓 ChatGPT 生成計算機代碼，而不是文本響應(yīng)，因為錯誤更容易被發(fā)現(xiàn)，而且不那么模棱兩可。目標(biāo)是制作一個可以幫助人類完成 RLHF 任務(wù)的模型。“我們對此感到非常興奮，”McAleese說，“因為如果你有人工智能幫助做出這些判斷，如果你在提供反饋時能做出更好的判斷，你就可以訓(xùn)練出更好的模型。這種方法是一種“可擴展的監(jiān)督”，旨在讓人類能夠監(jiān)視人工智能系統(tǒng)，即使它們最終在智力上超過了我們。

“使用 LLM 輔助的人工注釋器是改進反饋過程的自然方法?！薄猄TEPHEN CASPER，麻省理工學(xué)院

當(dāng)然，在用于這些實驗之前，CriticGPT 必須使用通常的技術(shù)（包括 RLHF）進行自我訓(xùn)練。有趣的是，研究人員讓人類訓(xùn)練師故意將錯誤插入 ChatGPT 生成的代碼中，然后再將其交給 CriticGPT 進行評估。CriticGPT 隨后提供了各種響應(yīng)，人類能夠判斷最佳輸出，因為他們知道模型應(yīng)該捕獲哪些錯誤。

OpenAI 使用 CriticGPT 的實驗結(jié)果令人鼓舞。研究人員發(fā)現(xiàn)，CriticGPT 捕獲的 bug 比合格的人類為代碼審查支付的費用要多得多：CriticGPT 捕獲了大約 85% 的 bug，而人類只捕獲了 25%。他們還發(fā)現(xiàn)，將 CriticGPT 與人類訓(xùn)練師配對會產(chǎn)生比人類單獨撰寫的評論更全面的評論，并且比 ChatGPT 撰寫的評論包含更少的幻覺錯誤。McAleese 表示，OpenAI 正在努力在其訓(xùn)練管道中部署 CriticGPT，但目前尚不清楚它在更廣泛的任務(wù)中有多大用處。
CriticGPT 發(fā)現(xiàn)編碼錯誤，但可能沒有斑馬

重要的是要注意這項研究的局限性，包括它對短代碼段的關(guān)注。雖然這篇論文不經(jīng)意地提到了一項使用 CriticGPT 捕捉文本響應(yīng)錯誤的初步實驗，但研究人員還沒有真正涉足這些更渾濁的水域。這很棘手，因為文本中的錯誤并不總是像斑馬在維多利亞時代的小說中跳華爾茲那樣明顯。更重要的是，RLHF 通常用于確保模型在其響應(yīng)中不會表現(xiàn)出有害的偏見，并確實在有爭議的主題上提供可接受的答案。McAleese 表示，CriticGPT 在這種情況下不太可能有幫助：“它不是一個足夠強大的方法。

一位與OpenAI無關(guān)的AI研究人員表示，這項工作在概念上并不新鮮，但它在方法論上做出了有用的貢獻。麻省理工學(xué)院博士生、2023 年一篇關(guān)于 RLHF 局限性的預(yù)印本論文的主要作者之一 Stephen Casper 說：“RLHF 的一些主要挑戰(zhàn)源于人類認(rèn)知速度、注意力和對細節(jié)的關(guān)注的限制。“從這個角度來看，使用LLM輔助的人工注釋器是改善反饋過程的自然方法。我相信這是朝著更有效地訓(xùn)練對齊模型邁出的重要一步。

但卡斯珀也指出，將人類和人工智能系統(tǒng)的努力結(jié)合起來“可能會產(chǎn)生全新的問題”。例如，他說，“這種方法增加了人類敷衍參與的風(fēng)險，并可能允許在反饋過程中注入微妙的人工智能偏見。

新的對齊研究是 OpenAI 自公司以來首次推出的對齊研究......委婉地說，重組了其對齊團隊。據(jù)報道，OpenAI 聯(lián)合創(chuàng)始人 Ilya Sutskever 和 Alignment 負責(zé)人 Jan Leike 于 5 月離職，兩人都擔(dān)心該公司沒有優(yōu)先考慮 AI 風(fēng)險，OpenAI 證實它已經(jīng)解散了其對齊團隊，并將剩余的團隊成員分配給其他研究小組。每個人都在等著看該公司是否會繼續(xù)開展可信和開創(chuàng)性的對齊研究，以及規(guī)模如何。（2023 年 7 月，該公司曾宣布將其 20% 的計算資源用于對齊研究，但 Leike 在 2024 年 5 月的一條推文中表示，他的團隊最近一直在“為計算而苦苦掙扎”。今天發(fā)布的預(yù)印本表明，至少對齊研究人員仍在研究這個問題。