為什么谷歌AI Overviews會(huì)給出離譜答案？或因采取統(tǒng)計(jì)計(jì)算來(lái)生成答案
發(fā)布人：深科技
時(shí)間：2024-06-02
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢(xún)
（來(lái)源：SARAH ROGERS/MITTR）一旦用戶輸入查詢(xún)信息，該系統(tǒng)就會(huì)根據(jù)構(gòu)成系統(tǒng)信息源的文檔進(jìn)行檢查，并生成響應(yīng)。因?yàn)樗軌驅(qū)⒃疾樵?xún)與網(wǎng)頁(yè)的特定部分相匹配，所以它能夠給出答案的引用來(lái)源，這是普通大模型無(wú)法做到的。檢索增強(qiáng)生成技術(shù)的一個(gè)主要優(yōu)點(diǎn)是，它對(duì)用戶查詢(xún)生成的響應(yīng)應(yīng)該比僅基于訓(xùn)練數(shù)據(jù)生成答案的典型模型的響應(yīng)更及時(shí)、更準(zhǔn)確、更相關(guān)。這種技術(shù)經(jīng)常被用來(lái)防止大模型產(chǎn)生“幻覺(jué)”。但谷歌發(fā)言人沒(méi)有證實(shí) AI Overviews 是否使用了檢索增強(qiáng)生成技術(shù)。而檢索增強(qiáng)生成技術(shù)并非完美無(wú)缺。為了讓使用該技術(shù)的大模型得出一個(gè)好的答案，它必須正確地檢索信息并正確地生成響應(yīng)。當(dāng)這兩個(gè)步驟中的一個(gè)或全都失敗時(shí)，模型就會(huì)給出一個(gè)糟糕的答案。AI Overviews 推薦在披薩里加入膠水的回應(yīng)，源自于 Reddit 論壇上的一篇搞笑回帖。該帖子很可能與用戶一開(kāi)始提到的如何解決奶酪不粘在披薩上的查詢(xún)有關(guān)，但在檢索過(guò)程中出現(xiàn)了問(wèn)題。僅僅因?yàn)閮?nèi)容是相關(guān)的并不意味著它是正確的，這個(gè)過(guò)程的信息生成步驟并不會(huì)質(zhì)疑這一點(diǎn)。同樣，如果檢索增強(qiáng)生成系統(tǒng)遇到相互沖突的信息，如老版和新版的政策手冊(cè)，它將無(wú)法確定從哪個(gè)版本中獲取信息并構(gòu)建響應(yīng)。它可能會(huì)將兩者的信息結(jié)合起來(lái)，產(chǎn)生一個(gè)潛在的誤導(dǎo)性答案。荷蘭萊頓大學(xué)專(zhuān)門(mén)研究自然語(yǔ)言處理的教授蘇珊·韋伯恩（Suzan Verberne）說(shuō)：“大型語(yǔ)言模型會(huì)根據(jù)你提供的信息來(lái)源生成流利的回復(fù)，但流利的回復(fù)與正確的信息不同?！?/span>她說(shuō)，一個(gè)主題越具體，在大型語(yǔ)言模型的輸出中出現(xiàn)錯(cuò)誤信息的幾率就越高。并補(bǔ)充道：“這個(gè)問(wèn)題不僅出現(xiàn)在醫(yī)學(xué)領(lǐng)域，也出現(xiàn)在教育領(lǐng)域和科學(xué)領(lǐng)域?！?/span>谷歌發(fā)言人表示，在許多情況下，當(dāng) AI Overviews 返回錯(cuò)誤答案時(shí)，是因?yàn)榫W(wǎng)絡(luò)上沒(méi)有太多高質(zhì)量的信息可供顯示，或者是因?yàn)橛脩舨樵?xún)的東西與諷刺網(wǎng)站或搞笑帖子最匹配。這位發(fā)言人表示，AI Overviews 在絕大多數(shù)情況下都提供了高質(zhì)量的信息，許多錯(cuò)誤案例都是針對(duì)不常見(jiàn)的查詢(xún)。其補(bǔ)充說(shuō)，AI Overviews 在回復(fù)中包含有害、淫穢或其他不可接受內(nèi)容的概率是 700 萬(wàn)分之一，即每 700 萬(wàn)個(gè)獨(dú)特查詢(xún)會(huì)導(dǎo)致一個(gè)糟糕的回復(fù)。其還表示，會(huì)繼續(xù)根據(jù)其內(nèi)容政策刪除某些查詢(xún)的 AI Overviews。盡管“披薩膠水”的錯(cuò)誤很好地展示了 AI Overviews 如何指向不可靠來(lái)源，但該系統(tǒng)也可能從事實(shí)正確的來(lái)源產(chǎn)生錯(cuò)誤信息。美國(guó)新墨西哥州圣達(dá)菲研究所的人工智能研究員梅蘭妮·米切爾（Melanie Mitchell）搜索了“美國(guó)有多少位穆斯林總統(tǒng)？”AI Overviews 回應(yīng)道：“美國(guó)有一位穆斯林總統(tǒng)，巴拉克·侯賽因·奧巴馬（Barack Hussein Obama）?！?/span>巴拉克·奧巴馬不是穆斯林，因此 AI Overviews 的回應(yīng)是錯(cuò)誤的，但它是從一本名為《巴拉克·侯賽因·奧巴馬：美國(guó)第一位穆斯林總統(tǒng)？》的書(shū)中提取到的信息。因此，人工智能系統(tǒng)不僅沒(méi)有抓住文章的全部要點(diǎn)，而且以與預(yù)期完全相反的方式對(duì)其進(jìn)行了解釋。人工智能有幾個(gè)問(wèn)題；一個(gè)是找到一個(gè)不是玩笑的好的信息來(lái)源，另一個(gè)是正確地解釋消息來(lái)源。這是人工智能系統(tǒng)很難做到的事情，重要的是要注意，即使它得到了一個(gè)好的信息來(lái)源，它仍然會(huì)出錯(cuò)。最終，我們會(huì)知道人工智能系統(tǒng)是不可靠的，只要它們使用概率逐字逐句地生成文本，就總會(huì)有出現(xiàn)“幻覺(jué)”的風(fēng)險(xiǎn)。雖然隨著谷歌做出調(diào)整，AI Overviews 可能會(huì)有所改進(jìn)，但我們永遠(yuǎn)無(wú)法確定它是否會(huì) 100% 準(zhǔn)確。該公司表示，它正在為 AI Overviews 添加觸發(fā)限制，如果對(duì)查詢(xún)沒(méi)有太多幫助的話，并為與健康相關(guān)的查詢(xún)添加了額外的“觸發(fā)改進(jìn)”。韋伯恩說(shuō)，該公司可以在信息檢索過(guò)程中增加一個(gè)步驟，用于標(biāo)記有風(fēng)險(xiǎn)的查詢(xún)，并讓系統(tǒng)在這些情況下拒絕生成答案。谷歌發(fā)言人表示，該公司的目標(biāo)不是顯示危險(xiǎn)話題或脆弱狀況的 AI Overviews。從人類(lèi)反饋中進(jìn)行強(qiáng)化學(xué)習(xí)等技術(shù)，將這種反饋納入大模型的訓(xùn)練中，也有助于提高其答案的質(zhì)量。同樣，大模型可以針對(duì)無(wú)法回答的問(wèn)題進(jìn)行專(zhuān)門(mén)訓(xùn)練。在生成答案之前，讓它們仔細(xì)評(píng)估檢索到的文檔的質(zhì)量也很有用，因此正確的指導(dǎo)很有幫助。盡管谷歌在 AI Overviews 的答案中添加了一個(gè)標(biāo)簽，上面寫(xiě)著“生成式人工智能是實(shí)驗(yàn)性的”，但它應(yīng)該考慮讓人們更清楚地知道該功能正在測(cè)試中，并強(qiáng)調(diào)它還沒(méi)有準(zhǔn)備好提供完全可靠的答案。“它現(xiàn)在還是測(cè)試版，而且還會(huì)持續(xù)一段時(shí)間，在它不再是測(cè)試版之前，它應(yīng)該是一個(gè)選項(xiàng)，而不應(yīng)該作為核心搜索的一部分強(qiáng)加給用戶?！鄙嘲⒄f(shuō)。支持：Ren
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
