復(fù)旦發(fā)布中國(guó)版ChatGPT：MOSS開啟測(cè)試沖上熱搜，服務(wù)器擠爆
發(fā)布人：傳感器技術(shù)
時(shí)間：2023-02-22
來源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
機(jī)器之心報(bào)道
編輯：澤南、蛋醬
不知道這個(gè)人工智能，有沒有獲得完整的一生。
ChatGPT 是最先進(jìn)的 AI，也是最熱門的應(yīng)用 —— 自去年 11 月底發(fā)布以來，它的月活躍用戶兩個(gè)月超過一億，輕松拿到了全球互聯(lián)網(wǎng)史上用戶增長(zhǎng)速度的第一。
它也是一種門檻很高的技術(shù)。由于 ChatGPT 的訓(xùn)練過程所需算力資源大、標(biāo)注成本高，目前國(guó)內(nèi)暫未出現(xiàn)對(duì)大眾開放的同類產(chǎn)品。百度、阿里、京東等互聯(lián)網(wǎng)大廠都放出消息，表示正在打造「國(guó)產(chǎn) ChatGPT」，并將在近期發(fā)布。
在各大廠產(chǎn)品到位之前，學(xué)界先有了消息。2 月 20 日晚，復(fù)旦大學(xué)自然語言處理實(shí)驗(yàn)室發(fā)布了具備 ChatGPT 能力的語言模型 ——MOSS，并面向大眾公開邀請(qǐng)內(nèi)測(cè)。
- MOSS 體驗(yàn)鏈接：https://moss.fastnlp.top/
- MOSS 項(xiàng)目主頁：https://txsun1997.github.io/blogs/moss.html
MOSS 的名稱來自電影《流浪地球》，和電影一樣火的是，MOSS 發(fā)布的消息很快沖上了知乎等平臺(tái)熱搜榜的第一位。
不過與科幻不同的是，現(xiàn)實(shí)世界的 AI 還沒有量子計(jì)算機(jī)加持，距離開放還沒有過 24 個(gè)小時(shí)，由于瞬時(shí)訪問壓力過大，MOSS 服務(wù)器昨晚已被擠爆，可見大家對(duì)于生成語言模型的期待程度有多高。
據(jù)復(fù)旦大學(xué)研究人員介紹，目前在內(nèi)測(cè)，與用戶交互迭代優(yōu)化，不適合公測(cè)。
我們知道，自然語言處理是 AI 領(lǐng)域的最大挑戰(zhàn)之一，雖然突破已經(jīng)出現(xiàn)，但這個(gè)月上線的新必應(yīng)搜索，以及谷歌發(fā)布的競(jìng)品 BARD 在測(cè)試中不時(shí)會(huì)出現(xiàn)問題，復(fù)旦大學(xué)的 MOSS 水平如何呢？
對(duì)話 MOSS，水平如何？
MOSS 的基礎(chǔ)功能與 ChatGPT 類似，可以按照用戶輸入的指令完成各類自然語言處理任務(wù)，包括文本生成、文本摘要、翻譯、代碼生成、閑聊等等。在預(yù)覽期間，MOSS 的使用是免費(fèi)的。
MOSS 和 ChatGPT 一樣，構(gòu)建的過程包括自然語言基礎(chǔ)模型訓(xùn)練，以及理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。
據(jù)項(xiàng)目主頁介紹，MOSS 和 ChatGPT 的主要區(qū)別在于：
- MOSS 的參數(shù)數(shù)量比 ChatGPT 少得多。
- MOSS 通過與人類和其他人工智能模型交談來學(xué)習(xí)，而 ChatGPT 則通過人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練。
- MOSS 將是開源的，以促進(jìn)未來的研究，但 ChatGPT 可能不會(huì)。
MOSS 的對(duì)話水平如何，讓我們看幾個(gè)示例。以下是 MOSS 生成的一些交互記錄：
在這個(gè)例子中，用戶首先要求 MOSS 推薦五部科幻電影，接著要求 MOSS 生成了一個(gè)表格來展示這些電影以及它們的導(dǎo)演，最后要求 MOSS 在表格中新插入一列來展示這些電影的上映年份。完成這一任務(wù)需要語言模型具備強(qiáng)大的多輪交互能力和指令理解能力，MOSS 顯然在這兩方面表現(xiàn)優(yōu)異。
與 ChatGPT 類似，MOSS 有時(shí)也會(huì)輸出一些事實(shí)性錯(cuò)誤的例子，比如例子中《黑客帝國(guó)》的導(dǎo)演并不是 Thomas Neff，而是沃卓斯基兄弟（姐妹）。
除了多輪對(duì)話，MOSS 生成代碼也不在話下。在下面的例子中，MOSS 不僅可以為用戶提供實(shí)現(xiàn)快速排序的 Python 代碼，還能在用戶的要求下對(duì)這段代碼提供解釋和使用示例，可謂是手把手教學(xué)的程序員了。
除了讓 MOSS 幫忙寫代碼之外，還可以向 MOSS 詢問有關(guān)代碼細(xì)節(jié)的問題，讓其更好地幫助理解代碼。在下面的例子中，用戶向 MOSS 詢問了一段代碼的編程語言和功能，并進(jìn)一步提問了其中一個(gè)函數(shù)的作用，MOSS 均給出了滿意的回復(fù)。
此外，MOSS 還具備人類的價(jià)值觀，當(dāng)被要求回答不合理的問題時(shí)，MOSS 會(huì)拒絕回答并給出正確的勸導(dǎo)。
據(jù)了解，MOSS 采用參數(shù)量為百億級(jí)的自研模型進(jìn)行訓(xùn)練。在對(duì)話能力訓(xùn)練階段，OpenAI 收集了至少幾十萬條人類指令 —— 讓各行各業(yè)的專業(yè)標(biāo)注員寫出指令回復(fù)，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復(fù)旦團(tuán)隊(duì)則采用不同的技術(shù)路線，通過讓 MOSS 和人類以及其它 AI 模型都進(jìn)行交互，顯著提升了學(xué)習(xí)效率和研發(fā)效率，短時(shí)間內(nèi)高效完成了對(duì)話能力訓(xùn)練。
研發(fā)團(tuán)隊(duì)表示，雖然 MOSS 已經(jīng)實(shí)現(xiàn)了 ChatGPT 的一些功能，但仍然存在許多限制，由于缺乏高質(zhì)量的數(shù)據(jù)、計(jì)算資源和模型容量，MOSS 仍然遠(yuǎn)遠(yuǎn)落后于 ChatGPT。
- 由于訓(xùn)練數(shù)據(jù)中的多語言語料庫(kù)有限，MOSS 在理解和生成英語以外的語言的文本方面表現(xiàn)不佳。團(tuán)隊(duì)目前正在開發(fā)一個(gè)改進(jìn)版本，以提高其中文語言技能。
- 由于模型容量相對(duì)較小，MOSS 不包含足夠的世界知識(shí)。因此，MOSS 生成的一些響應(yīng)可能包含誤導(dǎo)性或虛假信息。
- 有時(shí) MOSS 以迂回的方式執(zhí)行，甚至未能遵循指示。在這種情況下，用戶可能需要重新生成幾次或修改 prompt，以獲得令人滿意的回復(fù)。團(tuán)隊(duì)正在積極提高其遵循指示的能力以及生產(chǎn)力。
- 有時(shí) MOSS 可能會(huì)因 prompt 生成不道德或有害的反應(yīng)。用戶可通過單擊 “不喜歡” 來幫助減少此類行為，團(tuán)隊(duì)將在下一個(gè)版本中更新模型。
研究團(tuán)隊(duì)指出，當(dāng)前版本的 MOSS 表現(xiàn)仍不穩(wěn)定，也受到數(shù)據(jù)集問題的影響：「MOSS 的英文回答水平比中文高，因?yàn)樗哪Ｐ突鶎W(xué)習(xí)了 3000 多億個(gè)英文單詞，中文詞語只學(xué)了約 300 億個(gè)。」
發(fā)布之后，團(tuán)隊(duì)將持續(xù)通過提供 MOSS 的可訪問界面，根據(jù)寶貴的用戶反饋（在許可下）不斷改進(jìn)模型。
，時(shí)長(zhǎng)00:37
未來，研究人員還計(jì)劃結(jié)合復(fù)旦在人工智能和相關(guān)交叉學(xué)科的研究成果，賦予 MOSS 繪圖、語音、譜曲等多模態(tài)能力，并加強(qiáng)它輔助科學(xué)家進(jìn)行高效科研的能力等。
期待 MOSS 能為國(guó)內(nèi)對(duì)話大模型的發(fā)展開一個(gè)好頭。
團(tuán)隊(duì)介紹
MOSS 的主要作者共有兩位：復(fù)旦大學(xué)教授邱錫鵬和他的博士生孫天祥。此外還有多位成員對(duì)項(xiàng)目有所貢獻(xiàn)。
邱錫鵬，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院教授，博士生導(dǎo)師。國(guó)家優(yōu)青獲得者，于復(fù)旦大學(xué)獲得理學(xué)學(xué)士和博士學(xué)位。主要從事自然語言處理、深度學(xué)習(xí)等方向的研究，發(fā)表 CCF A/B 類論文 70 余篇，獲得 ACL 2017 杰出論文獎(jiǎng)（CCF A 類）、CCL 2019 最佳論文獎(jiǎng)、《中國(guó)科學(xué)：技術(shù)科學(xué)》2021 年度高影響力論文獎(jiǎng)，有 5 篇論文入選 PaperDigest 發(fā)布的 IJCAI/ACL/EMNLP 的最有影響力論文（被引用數(shù)進(jìn)入前當(dāng)屆會(huì)議的 20 名）。出版開源專著《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》，Github 關(guān)注數(shù) 1.5 萬，豆瓣評(píng)分 9.4 分。主持開發(fā)了開源框架 FudanNLP 和 FastNLP，已被國(guó)內(nèi)外數(shù)百家單位使用。2015 年入選首屆中國(guó)科協(xié)青年人才托舉工程項(xiàng)目，2018 年獲錢偉長(zhǎng)中文信息處理科學(xué)技術(shù)獎(jiǎng)青年創(chuàng)新獎(jiǎng)一等獎(jiǎng)，2020 獲第四屆上海高校青年教師教學(xué)競(jìng)賽優(yōu)等獎(jiǎng)，2021 年獲首屆上海市計(jì)算機(jī)學(xué)會(huì)教學(xué)成果獎(jiǎng)一等獎(jiǎng)（第一完成人）等。培養(yǎng)學(xué)生多次獲得一級(jí)學(xué)會(huì)優(yōu)博、微軟學(xué)者、百度獎(jiǎng)學(xué)金等。
孫天祥，復(fù)旦大學(xué)計(jì)算機(jī)科學(xué)學(xué)院博士生，導(dǎo)師為邱錫鵬教授和黃萱菁教授。2019 年畢業(yè)于西安電子科技大學(xué)。研究興趣集中于機(jī)器學(xué)習(xí)及其在自然語言處理中的應(yīng)用，特別是預(yù)訓(xùn)練語言模型的高效微調(diào)及推理、多任務(wù)學(xué)習(xí)、知識(shí)表示學(xué)習(xí)等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等會(huì)議發(fā)表多篇論文。
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
