大模型修復(fù)傳世名畫，飛槳幫助母羊產(chǎn)羔……這屆百度世界大會，科技感與接地氣并存

2022 年的百度世界大會上，百度諸多亮眼發(fā)布背后的飛槳和文心大模型正在受到越來越多的關(guān)注。

在中國古代的水墨山水畫中，元代畫壇宗師、「元四家」之首黃公望的《富春山居圖》稱得上巔峰之筆，更被列為「中國十大傳世名畫之一」。然而，該畫作由于遭火焚斷為長短兩卷。前半卷《剩山圖》現(xiàn)藏于浙江省博物館，后半卷《無用師卷》現(xiàn)藏于臺北故宮博物院。
在今天上午舉行的 2022 百度世界大會上，我們見證了 AI 讓兩岸畫卷完成「合璧」的智能創(chuàng)作能力。現(xiàn)場，百度首席技術(shù)官王海峰博士展示了基于文心大模型補(bǔ)全后的《富春山居圖》。文心大模型還按照古人傳統(tǒng)作文以記之，生成的畫作更是得到黃公望紀(jì)念館負(fù)責(zé)人毛傳鑌的高度評價，「補(bǔ)全的富春山居圖與現(xiàn)存真跡風(fēng)格一致?！?/span>

不過，《富春山居圖》畫作的補(bǔ)全只是百度 AI 實力的牛刀小試。會上，百度與中國航天聯(lián)合推出世界首個航天領(lǐng)域大模型 —— 航天 - 百度?文心大模型；百度第六代量產(chǎn)無人駕駛汽車 Apollo RT6 亮相，車輛成本 25 萬，僅為同行業(yè)十分之一；百度智能交通幫助人們實現(xiàn)「綠燈自由」，車均延遲率降低近三成；百度智能云開物 2.0 深耕重點行業(yè)，讓企業(yè)低成本享受 AI 紅利；智慧大腦讓城市會思考；數(shù)字人度曉曉在唱歌、畫畫、寫作之余，更在百度 APP 端陪伴億萬用戶；全屋智能構(gòu)建未來生活……
與此同時，百度在會上以實際案例展示自身踐行普惠 AI 的行動，讓 AI 技術(shù)走入田間地頭和車間廠房，讓牧民、農(nóng)民和電廠工人親身體驗到 AI 的魅力，助力萬物生長。
這所有的一切都離不開百度飛槳、文心大模型等底層 AI 技術(shù)能力的支持。作為百度自主研發(fā)的中國首個開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺，飛槳已經(jīng)成為 AI 開發(fā)應(yīng)用、賦能千行百業(yè)、惠及千家萬戶的技術(shù)支撐。目前，飛槳平臺凝聚了 477 萬開發(fā)者、服務(wù) 18 萬家企事業(yè)單位，創(chuàng)建 56 萬個 AI 模型，根據(jù)國際權(quán)威調(diào)研機(jī)構(gòu)報告，位列中國深度學(xué)習(xí)平臺市場綜合份額第一。

文心則是百度自主研發(fā)的產(chǎn)業(yè)級知識增強(qiáng)大模型，涵蓋基礎(chǔ)大模型、任務(wù)大模型和行業(yè)大模型，并結(jié)合豐富的工具與平臺支撐企業(yè)與開發(fā)者開展高效便捷的應(yīng)用開發(fā)。文心大模型已經(jīng)在百度內(nèi)外部實現(xiàn)了包括 AI 智能創(chuàng)作在內(nèi)的多樣化能力，各行各業(yè)都能找到它的身影。
本次世界大會上，百度借助飛槳平臺和文心大模型彰顯其長久以來利用 AI 技術(shù)惠及人們生產(chǎn)生活的決心，以及不斷創(chuàng)新 AI 應(yīng)用場景的內(nèi)驅(qū)力。
正如王海峰博士在會上所講的那樣，「人工智能現(xiàn)在已經(jīng)遍地開花，成為新一輪科技革命和產(chǎn)業(yè)變革的重要驅(qū)動力量。既能夠支持人類對星辰大海的探索，也在實實在在改善人們的生產(chǎn)生活，賦能千行百業(yè)，惠及千家萬戶?！?/span>

走入牧場、農(nóng)田和電廠，百度用飛槳促進(jìn) AI 技術(shù)、產(chǎn)業(yè)、生態(tài)繁榮
自 2016 年飛槳開源以來，百度就立足于開源開放，與廣大企業(yè)和個人開發(fā)者一起為推動 AI 技術(shù)、產(chǎn)業(yè)和生態(tài)繁榮努力。在這一過程中，飛槳平臺以及依托該平臺的文心大模型成為了重要的助推力。
今天的世界大會上，百度通過三個生動的產(chǎn)業(yè)案例闡釋了飛槳如何助力牧民、農(nóng)民和電廠工人用上強(qiáng)大的 AI。
首先談到了內(nèi)蒙古草原上重要的生產(chǎn)資料 —— 母羊。內(nèi)蒙古草原上，為了應(yīng)對母羊生產(chǎn)時難產(chǎn)、小羊羔被凍死的情況，牧民在寒冬深夜里需要多次往返住所和羊圈，費時費力。內(nèi)蒙古工業(yè)大學(xué)教授秦俊平帶領(lǐng)團(tuán)隊與內(nèi)蒙古智慧牧業(yè)信息技術(shù)集團(tuán)公司合作，使用飛槳開發(fā)母羊分娩預(yù)測和預(yù)警系統(tǒng)，切實減輕了牧民工作量，提高羊羔成活率。

對牧羊的智能化分析。
接著關(guān)注農(nóng)業(yè)領(lǐng)域近年來發(fā)展迅速的無人駕駛農(nóng)機(jī)，但由于相關(guān)技術(shù)的作業(yè)精度要求極高，且農(nóng)田中存在的暗溝等對全程自主作業(yè)帶來很多困難。因此，國家農(nóng)業(yè)智能裝備工程技術(shù)研究中心王昊博士開展農(nóng)田地塊分割和農(nóng)田障礙物識別方法研究，利用飛槳克服各種技術(shù)難題，成功在相關(guān)系統(tǒng)當(dāng)中完成落地，即使在形狀不規(guī)則、環(huán)境復(fù)雜的農(nóng)田地塊里，也能方便快速獲取高精度農(nóng)田場景模型，保障農(nóng)機(jī)精準(zhǔn)作業(yè)。 

無人駕駛拖拉機(jī)。
最后來到關(guān)乎國計民生的電力行業(yè)。能源安全、電力保供關(guān)系國計民生，但傳統(tǒng)發(fā)電生產(chǎn)依靠人員 “傳幫帶” 傳授業(yè)務(wù)技能，信息經(jīng)驗分享溝通不夠及時高效；面對新技術(shù)問題老師傅也會出現(xiàn)研判不準(zhǔn)確的問題，可能會給電網(wǎng)安全、居民用電帶來不便。浙能集團(tuán)數(shù)字科技有限公司算法工程師朱凌風(fēng)和團(tuán)隊利用飛槳開發(fā)電廠設(shè)備智能研判系統(tǒng)，可智能診斷設(shè)備故障，自動分析故障原因及可能產(chǎn)生的后果，還能結(jié)合業(yè)務(wù)流程自動推送處置信息和運維策略，幫助生產(chǎn)人員有效提高了設(shè)備運維工作質(zhì)量，提升應(yīng)急搶險和設(shè)備故障搶修效率。 

電廠設(shè)備維護(hù)工人在作業(yè)中。
從以上三個案例中，百度飛槳的開源開放以及產(chǎn)業(yè)級屬性表現(xiàn)得淋漓盡致。開發(fā)者利用飛槳共享且經(jīng)過大量產(chǎn)業(yè)實踐驗證的底層技術(shù)，從實際情況出發(fā)創(chuàng)新 AI 技術(shù)或系統(tǒng)，切實解決自身問題，提升生產(chǎn)效益。
這些案例只是飛槳賦能千行百業(yè)的一個縮影，百度更在智慧產(chǎn)業(yè)、智慧生活、前沿科技、創(chuàng)新與公益等更廣闊領(lǐng)域中以多樣化的方式造福著不同用戶群體。
文心繼續(xù)探索行業(yè)大模型以及 AIGC 全新內(nèi)容生產(chǎn)方式
近年來，深度學(xué)習(xí)領(lǐng)域掀起了一波聲勢浩大的「練大模型」潮流。從 OpenAI 發(fā)布 1750 億參數(shù)的 GPT-3 開始，千億、萬億級大模型不斷涌現(xiàn)。大模型具有效果好、泛化能力強(qiáng)等特點，能夠進(jìn)一步促進(jìn) AI 的通用性。開發(fā)者也能以更低的成本和門檻開發(fā) AI 模型，使 AI 擁有更廣泛的應(yīng)用場景。種種優(yōu)勢之下，大模型已經(jīng)成為了 AI 技術(shù)和應(yīng)用的新基座。
百度從 2019 年就開始積累預(yù)訓(xùn)練和大模型技術(shù)，力爭在 AI 巨頭的競爭中始終保持「頭雁」地位，因而于近年做出了一系列重磅動作，并在探索過程中形成了自己的核心競爭力 —— 知識增強(qiáng)。2021 年 12 月，參數(shù)量達(dá) 2600 億的全球首個知識增強(qiáng)大模型鵬城 - 百度?文心發(fā)布，產(chǎn)業(yè)級知識增強(qiáng)大模型文心全景圖也在當(dāng)時首次亮相。
今年 5 月的 Wave Summit 峰會上，全新升級的文心大模型在知識增強(qiáng)和產(chǎn)業(yè)級這兩方面得到了進(jìn)一步加強(qiáng)，新增 10 個大模型，在業(yè)界首發(fā)兩個行業(yè)大模型 —— 國網(wǎng) - 百度?文心和浦發(fā) - 百度?文心，融合任務(wù)相關(guān)知識的 ERNIE 3.0 Zeus 千億大模型讓百度 AI 數(shù)字人度曉曉 40 秒完成 40 篇高考作文，拓展了 AI 的內(nèi)容生產(chǎn)能力。
截至目前，文心大模型已經(jīng)發(fā)布了 20 多個大模型，構(gòu)建了一套完整的大模型生態(tài)體系。在今天的大會上，文心不僅迎來了新的行業(yè)大模型成員，它的視覺大模型更是通過《富春山居圖》畫作的補(bǔ)全進(jìn)一步拓展了百度 AI 的智能創(chuàng)作實力。

航天領(lǐng)域有了自己的大模型
百度與中國探月航天一直保持著密切合作，2021 年 12 月正式成為了中國探月航天工程人工智能全球戰(zhàn)略合作伙伴。中國航天對百度 AI 技術(shù)的深度認(rèn)可是雙方合作的前提，比如采用 AI 實現(xiàn)即時優(yōu)化飛行軌道與姿態(tài)控制，最大限度規(guī)避飛行風(fēng)險；再比如將 AI 與遙操作結(jié)合，更好實現(xiàn)深空探測器自主規(guī)劃探測路線、自主選擇探測目標(biāo)等。
與此同時，雙方也在不斷探索新的合作模式和途徑，此次行業(yè)大模型成為了新的合作契合點。
會上，王海峰博士宣布與航天合作研制出了世界上第一個航天領(lǐng)域的大模型 —— 航天 - 百度?文心大模型，成為了文心行業(yè)大模型行列中的新成員。 

王海峰博士與中國探月工程副總指揮、國家航天局探月與航天工程中心主任劉繼忠主任現(xiàn)場連線。
就其功能而言，航天 - 百度?文心大模型可以將航天領(lǐng)域的數(shù)據(jù)和知識融合學(xué)習(xí)，對航天數(shù)據(jù)進(jìn)行智能的采集、分析和理解，助力深空智能感知、規(guī)劃和控制等技術(shù)突破。
正如王海峰博士所說，「人工智能在航天領(lǐng)域有著非常大的應(yīng)用場景，將推動深空探測的智能化?！?/span>
文心視覺大模型補(bǔ)全傳世名畫《富春山居圖》
除了繼續(xù)研發(fā)引入行業(yè)特色數(shù)據(jù)和知識的行業(yè)大模型之外，文心大模型在助力智能創(chuàng)作領(lǐng)域有了新的成果 —— 視覺大模型實現(xiàn)了對黃公望《富春山居圖》的補(bǔ)全。這也表明，文心大模型的理解和生成能力得到了進(jìn)一步的增強(qiáng)。
與以往 AI 復(fù)原畫作最大的不同是，每個人都可以親身體驗《富春山居圖》的虛擬修復(fù)過程，根據(jù)自己的想法補(bǔ)全缺失的部分。只要在百度 APP 搜索「富春山居圖」，在中間空白處簡單勾勒幾筆，不到 1 秒鐘即可在文心大模型的支持下自動補(bǔ)全畫卷，畫出屬于自己的傳世之作。生成的畫作還能左右滑動，非常地神奇。

《富春山居圖》的修復(fù)需要解決清晰度、還原度和全民參與這三方面的問題，這就要求模型既要足夠大，滿足分辨率訴求和創(chuàng)意泛化需求，又能充分考慮生成結(jié)果與原畫作的一致性。該團(tuán)隊基于文心視覺大模型 VIMER，提出了「視覺生成大模型 + 單樣本微調(diào)」的方案。
針對類似畫作的樣本稀缺問題，百度技術(shù)團(tuán)隊搜集大量的山水畫樣本數(shù)據(jù)，提出讓基于多尺度圖像塊的生成大模型來學(xué)習(xí)模擬筆觸和畫作之間的關(guān)系。在過程中，為了生成更加逼真的畫作，團(tuán)隊還引入了層次化先驗信息編碼模塊來指導(dǎo)模型完成細(xì)膩的高質(zhì)量筆觸生成。
雖然團(tuán)隊沒有接觸到《富春山居圖》的實物畫，但爭取到了電子掃描版的授權(quán)。他們針對這一單幅畫對生成大模型進(jìn)行了單樣本微調(diào)訓(xùn)練，使補(bǔ)全出來的畫作在風(fēng)格、筆觸等細(xì)節(jié)上與現(xiàn)存真跡保持高度一致。
修復(fù)過程中，團(tuán)隊需要解決的最大難點是：如何同時滿足不同用戶多樣化的創(chuàng)作期望。由于不同用戶輸入的筆觸在形態(tài)上千變?nèi)f化，既要保證生成畫作風(fēng)格與原畫的一致性，又要充分體現(xiàn)用戶的創(chuàng)作意圖，因此一方面在模型結(jié)構(gòu)設(shè)計上準(zhǔn)確提取畫作多尺度圖像塊中的風(fēng)格特征作為生成依據(jù)，另一方面保證生成的畫面結(jié)構(gòu)盡可能符合用戶筆觸。
百度技術(shù)團(tuán)隊通過大量調(diào)試確定畫作風(fēng)格與用戶筆觸的對應(yīng)關(guān)系，并收集更多不同用戶參與修復(fù)過程中繪制筆觸的特點，做好修復(fù)效果與用戶筆觸引導(dǎo)結(jié)果之間的權(quán)衡。同時在部分尺度上引入隨機(jī)性來讓生成結(jié)果擁有更多可能性，模型也能通過強(qiáng)大的泛化能力來保證生成結(jié)果的穩(wěn)定。
得益于參數(shù)量大、建模能力強(qiáng)的優(yōu)勢，文心視覺大模型在補(bǔ)全《富春山居圖》過程中實現(xiàn)了高分辨率的生成結(jié)果，這在當(dāng)前大模型中非常少見。文心視覺大模型還能「以不變應(yīng)萬變」，將不同用戶多樣化的創(chuàng)意實時轉(zhuǎn)換生成看得見的實物畫作。
未來 10 年，AIGC 將顛覆現(xiàn)有內(nèi)容生產(chǎn)模式
此前，文心大模型支持下的度曉曉就顯示出了 AI 寫作、AI 繪畫、AI 寫歌等 AIGC（AI generated content）能力，即運用人工智能技術(shù)自主生產(chǎn)內(nèi)容。此次文心視覺大模型的畫作補(bǔ)全是百度探索 AI 智能創(chuàng)作一系列動作的延續(xù)，契合了當(dāng)下這一備受關(guān)注的新型內(nèi)容生產(chǎn)方式。繼 UGC、PGC 之后，大模型賦能下的 AIGC 已經(jīng)成為了近來百度 AI 技術(shù)加速落地的著陸點。
可以看到，在不斷完善的 AI 大模型技術(shù)的加持下，AIGC 這一新型內(nèi)容生產(chǎn)方式不僅能夠提升內(nèi)容生產(chǎn)的效率和效果，而且?guī)砹诵碌膬?nèi)容創(chuàng)意和方式。這也意味著 AIGC 的適用性不斷擴(kuò)展，更多內(nèi)容生產(chǎn)領(lǐng)域勢必會被發(fā)掘出來。
在會上，百度創(chuàng)始人、董事長兼 CEO 李彥宏對 AIGC 發(fā)表了自己的觀點。他認(rèn)為，AIGC 不僅可以提升內(nèi)容生產(chǎn)的效率，還能創(chuàng)造獨有價值和獨有視角的內(nèi)容。
李彥宏將 AIGC 的發(fā)展分為了三個階段。第一階段是 “助手階段”，AIGC 輔助人類進(jìn)行內(nèi)容生產(chǎn)；第二階段是 “協(xié)作階段”，AIGC 以虛實并存的虛擬人形態(tài)出現(xiàn)，形成人機(jī)共生的局面；第三階段是 “原創(chuàng)階段”，AIGC 將獨立完成內(nèi)容創(chuàng)作。
未來十年，AIGC 將顛覆現(xiàn)有內(nèi)容生產(chǎn)模式，實現(xiàn)以十分之一的成本、百倍千倍的生產(chǎn)速度去生成 AI 原創(chuàng)內(nèi)容。在這一過程中，效率更高、學(xué)習(xí)能力更高且能夠跨語言跨模態(tài)學(xué)習(xí)的百度文心大模型勢必發(fā)揮重要作用。
但同時，文心大模型帶來提升的遠(yuǎn)不止 AIGC 方向。目前，文心大模型不僅正在搜索、信息流、百度地圖等百度內(nèi)部場景中發(fā)揮作用，更在工業(yè)、能源、金融、教育、通信、媒體、醫(yī)療等外部行業(yè)逐漸找到契合的應(yīng)用場景，在助力這些行業(yè)的智能化轉(zhuǎn)型升級中進(jìn)一步實現(xiàn)自身的應(yīng)用價值。
在生態(tài)和社區(qū)層面，百度也專門面向文心大模型推出了創(chuàng)意社區(qū) —— 文心?旸谷社區(qū)，將大模型的能力開放給更多普通開發(fā)者，讓他們通過實操親身體驗文心大模型的能力，并充分發(fā)揮開發(fā)者群體的智慧探索大模型的更多玩法。目前，文心大模型的個人、企業(yè)開發(fā)者數(shù)量已超過 6 萬人。
開源開放、生態(tài)繁榮這條路要一直走下去
開源開放、生態(tài)繁榮絕不只是空喊的口號，更要落到實處。百度也正是這樣做的，近年來不斷創(chuàng)新底層技術(shù)，在與開發(fā)者和社會各界的共同努力下，在各行各業(yè)中持續(xù)降低 AI 應(yīng)用門檻。其中，飛槳和文心大模型都發(fā)揮了「主力軍」作用。
就飛槳而言，該平臺集深度學(xué)習(xí)框架、產(chǎn)業(yè)級模型庫以及豐富的開發(fā)套件和工具組件為一體，持續(xù)在技術(shù)、場景和生態(tài)三大領(lǐng)域進(jìn)行深化，夯實工業(yè)大生產(chǎn)強(qiáng)大底座，推動 AI 規(guī)?；涞?。開發(fā)者依托開源開放的飛槳平臺在產(chǎn)業(yè)實踐中開展技術(shù)創(chuàng)新，最終形成更廣闊的技術(shù)和應(yīng)用生態(tài)。
同時，大模型作為深度學(xué)習(xí)技術(shù)的新突破，已經(jīng)成為 AI 應(yīng)用的「基礎(chǔ)設(shè)施」，不僅進(jìn)一步增強(qiáng) AI 技術(shù)的通用性，也讓廣大深度學(xué)習(xí)開發(fā)者以更低成本、低門檻親身體驗。文心大模型在做好基礎(chǔ)通用大模型和任務(wù)大模型之外，細(xì)分出了行業(yè)大模型，更精準(zhǔn)地匹配真實場景的方方面面。
未來，飛槳和文心大模型將持續(xù)降低應(yīng)用門檻，推動產(chǎn)業(yè)智能化升級，讓 AI 技術(shù)惠及每一個人。王海峰博士表示，希望飛槳能夠在促進(jìn)我國人工智能技術(shù)和產(chǎn)業(yè)繁榮的同時，助力實現(xiàn)科技自立自強(qiáng)。
參考連接：https://wenxin.baidu.com/https://www.sohu.com/a/559610000_129720https://www.jiqizhixin.com/articles/2021-08-19https://video.cdn.huierkj.com/PaddlePaddle.pdfhttps://www.jiqizhixin.com/articles/2022-05-20-8