ChatGPT是“人工智能的里程碑” ？微軟重金押注 欲挑戰(zhàn)谷歌搜索引擎王者地位

ChatGPT如何以假亂真

ChatGPT是一個(gè)采用基于GPT-3.5架構(gòu)的大型語言模型，與InstructGPT模型是姐妹模型（sibling model），使用了人類反饋強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)來更好地讓語言模型與人類指令保持一致。

而GPT（Generative Pre-Trained Transformer）是一系列基于Transformer的深度學(xué)習(xí)語言模型，利用機(jī)器學(xué)習(xí)算法來分析和理解文本輸入的含義，然后根據(jù)該輸入生成響應(yīng)。該模型在大量文本數(shù)據(jù)上進(jìn)行訓(xùn)練，使其能夠?qū)W習(xí)自然語言的模式和結(jié)構(gòu)。

· 2018年6月，OpenAl在“Improving Language Understanding by Generative Pre- Training”的論文中提出了第一個(gè)GPT模型GPT-1，GPT-1以無監(jiān)督預(yù)訓(xùn)練＋有監(jiān)督微調(diào)的方式，針對(duì)特定任務(wù)進(jìn)行訓(xùn)練，實(shí)現(xiàn)了 “強(qiáng)大的自然語言理解”。

· 2019年2月，OpenAl發(fā)表了第二篇論文 “Language Models are Unsupervised Multitask Learners”，其中介紹了由GPT-1演變的GPT-2。GPT-2可以完成多任務(wù)處理，成功地證明了半監(jiān)督語言模型可以在“無需特定任務(wù)訓(xùn)練”的情況下，在多項(xiàng)任務(wù)上也能夠表現(xiàn)出色。

· 2020年5月，OpenAl發(fā)表“Language Models are Few-Shot Learners”，呈現(xiàn)GPT-3，GPT-3比GPT-2大100倍，它擁有1750 億個(gè)參數(shù)。

· 2022年11月底，OpenAl進(jìn)行了兩次更新，ChatGPT由效果更強(qiáng)大的GPT-3.5系列模型提供支持，可以用更接近人類的思考方式參與用戶的查詢過程。

ChatGPT模型的訓(xùn)練過程：

i. 使用有監(jiān)督的微調(diào)訓(xùn)練初始模型：人類訓(xùn)練師之間提供對(duì)話，其中一個(gè)扮演用戶，另一個(gè)扮演ChatGPT中的Al助手。為了創(chuàng)建強(qiáng)化學(xué)習(xí)的獎(jiǎng)勵(lì)模型，需要收集比較數(shù)據(jù)，并使用收集到的數(shù)據(jù)調(diào)整GPT-3.5模型；

ii. 模型會(huì)根據(jù)提示生成多個(gè)輸出，訓(xùn)練師將ChatGPT編寫的回復(fù)與人類的回答進(jìn)行比較，并對(duì)它們的質(zhì)量進(jìn)行排名，以幫助強(qiáng)化機(jī)器的類人對(duì)話風(fēng)格。獎(jiǎng)勵(lì)模型將自動(dòng)執(zhí)行最后一個(gè)訓(xùn)練階段，使用排名后的數(shù)據(jù)訓(xùn)練；

iii. 在最后一步使用近端策略優(yōu)化進(jìn)一步調(diào)整，這是OpenAl廣泛使用的強(qiáng)化學(xué)習(xí)技術(shù)。

曾幾何時(shí)，AI生成的文字內(nèi)容還是“一眼假”，但自從ChatGPT橫空出世以來，這種分辨工作是越來越難做了。語言生成模型來了，學(xué)校作業(yè)會(huì)不會(huì)從此變得形同虛設(shè)？

就在1月3日，擁有全美最大公立學(xué)校系統(tǒng)的紐約市，正式頒布了ChatGPT禁令。也就是說，不管是老師還是學(xué)生，都無法在紐約市公立學(xué)校的網(wǎng)絡(luò)和設(shè)備上使用ChatGPT。最近，洛杉磯和巴爾的摩的學(xué)區(qū)也加入到了這個(gè)行列。

ChatGPT存在的問題

雖然ChatGPT是一個(gè) "人工智能的大里程碑"，但它并不完美，而這正是其工程師需要警惕的地方。

GPT-3.5僅依賴于其訓(xùn)練數(shù)據(jù)中的統(tǒng)計(jì)規(guī)律，不會(huì)在網(wǎng)絡(luò)上抓取時(shí)事信息，使得它的一些回答略顯陳舊，在輸出的準(zhǔn)確性上也會(huì)有所降低；還會(huì)導(dǎo)致某些問題的回答上會(huì)出現(xiàn)致命性錯(cuò)誤，看似有邏輯的表達(dá)實(shí)則為錯(cuò)誤的信息輸出，用戶需要具有鑒別回答質(zhì)量與準(zhǔn)確性的能力。

其次在披露ChatGPT時(shí)，OpenAI說它已經(jīng)進(jìn)行了檢查，努力使模型拒絕不適當(dāng)?shù)恼?qǐng)求，以防止它產(chǎn)生惡意代碼。但有人已經(jīng)找到了欺騙該系統(tǒng)的方法，使其認(rèn)為它只用于研究目的，對(duì)有害的指令作出反應(yīng)或表現(xiàn)出有偏見的行為。

另外，GPT到GPT-2到GPT-3，雖然在算法模型并沒有太大改變，但參數(shù)量從1.17億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練一次的費(fèi)用是460萬美元，總訓(xùn)練成本達(dá)1200萬美元。

根據(jù)OpenAl創(chuàng)始人Sam Altman描述，ChatGPT單輪對(duì)話平均費(fèi)用在0.01-0.2美元。對(duì)于想要復(fù)刻的公司來講，開發(fā)成本是主要的門檻。

微軟重金押注ChatGPT

據(jù)路透社援引Semafor消息報(bào)道，微軟正在考慮計(jì)劃向OpenAI增投100億美元，如果合作達(dá)成，微軟將持有其49%的股份。早在2019年，微軟就向這家初創(chuàng)公司投資了10億美元，這筆交易將OpenAI與微軟云計(jì)算平臺(tái)捆綁在一起。

這一金額也將超過微軟近年來的所有收購，只有三筆除外：2016年斥資260億美元收購的職業(yè)社交網(wǎng)站領(lǐng)英；去年又花200億美元對(duì)Nuance Communications Inc.進(jìn)行收購；以及目前正在尋求反壟斷批準(zhǔn)想以690億美元收購視頻游戲制造商動(dòng)視暴雪公司。

微軟本身幾十年來一直致力于人工智能項(xiàng)目，并在語音和圖像識(shí)別等領(lǐng)域取得了重大進(jìn)展，增持OpenAI股份與微軟要在云計(jì)算市場(chǎng)上占據(jù)更大份額的目標(biāo)一致 —— 將使微軟在Azure上開發(fā)OpenAI技術(shù)方面占據(jù)有利位置，Azure不僅是微軟的云基礎(chǔ)設(shè)施，還是其增長(zhǎng)最快的業(yè)務(wù)之一。

科技行業(yè)對(duì)ChatGPT感到如此興奮的另一個(gè)重要原因是機(jī)器人可能會(huì)改變網(wǎng)絡(luò)搜索，它可能會(huì)打破谷歌和其他科技巨頭在搜索領(lǐng)域的長(zhǎng)期主導(dǎo)地位。

對(duì)微軟來說，加大對(duì)OpenAI的投資，還可以防止OpenAI的產(chǎn)品流向競(jìng)爭(zhēng)對(duì)手，包括亞馬遜網(wǎng)絡(luò)服務(wù)和谷歌。確保一旦人工智能開始顛覆現(xiàn)狀，微軟不僅能夠毫發(fā)無損，還可以從中受益。

根據(jù)業(yè)內(nèi)人士爆料，微軟目前正準(zhǔn)備籌備推出新版本的Bing搜索引擎，預(yù)計(jì)會(huì)在2023年3月底前推出這項(xiàng)功能。產(chǎn)品亮點(diǎn)是會(huì)使用人工智能技術(shù)來回答搜索查詢，而不是像之前的那些搜索引擎，僅顯示搜索結(jié)果的列表。

值得注意的是，根據(jù)微軟和OpenAI的協(xié)議，微軟應(yīng)該可以提前獲得OpenAI語言模型的下一次迭代GPT-4的技術(shù)，并且會(huì)在今年年內(nèi)推出。如果GPT-4能解決搜索的準(zhǔn)確性問題，而且微軟能做出一個(gè)吸引人的搜索界面，那么它就可能對(duì)谷歌搜索構(gòu)成威脅。

如果解決了上文提到的問題，并且將ChatGPT技術(shù)整合到微軟的全部生態(tài)，例如 LinkedIn、Nuance Communications、Two Hat Security甚至GitHub Inc… 那就毫無疑問微軟將會(huì)擁有一個(gè)更光明的前景。