大模型將成為AI開發(fā)新范式

在大模型的早期階段，廠商宣傳中常提到千億級(jí)、萬(wàn)億級(jí)參數(shù)為特大模型、超大模型。而在產(chǎn)業(yè)實(shí)際落地階段，不再追求模型參數(shù)的數(shù)量。IDC認(rèn)為，大模型是對(duì)原有算法模型的技術(shù)升級(jí)，基于海量數(shù)據(jù)開發(fā)預(yù)訓(xùn)練模型，到最終用戶環(huán)境中使用少量數(shù)據(jù)即可獲得比之前的算法模型更好的結(jié)果，其要點(diǎn)在于：

1 預(yù)訓(xùn)練型學(xué)習(xí)了多少數(shù)據(jù)

2 遷移學(xué)習(xí)的效果如何

3 部署的整體成本如何

大模型浪潮最早起源于預(yù)訓(xùn)練模型，Google發(fā)布的Bert模型即是自然語(yǔ)言處理領(lǐng)域最為典型的預(yù)訓(xùn)練模型。OpenAI則提出的GPT模型，尤其是2020年發(fā)布的GPT-3模型參數(shù)量即達(dá)到1750億，在全球掀起大模型的浪潮?？梢哉f(shuō)，在AI模型開發(fā)領(lǐng)域，經(jīng)歷了預(yù)訓(xùn)練模型-大規(guī)模預(yù)訓(xùn)練模型-超大規(guī)模預(yù)訓(xùn)練模型的演進(jìn)。

在國(guó)內(nèi)，IDC觀察到目前大力投入大模型的研發(fā)和落地的廠商以大型云服務(wù)商為主。例如，百度智能云“文心大模型”，包括了NLP大模型、CV大模型以及跨模態(tài)大模型，其特色在于注重跨模態(tài)技術(shù)研發(fā)，融入海量知識(shí)進(jìn)行知識(shí)增強(qiáng)，應(yīng)用場(chǎng)景廣泛且落地實(shí)踐豐富。阿里達(dá)摩院則推出“通義大模型”系列，以M6大模型為底座，發(fā)布Alice一系列模型合集，該大模型系列既在阿里內(nèi)部核心業(yè)務(wù)場(chǎng)景落地，也在外部醫(yī)療、能源、金融行業(yè)積累了多個(gè)實(shí)踐案例。華為則從框架層、算力層以及軟件層面全面發(fā)力大模型，既有內(nèi)部自主研發(fā)的盤古大模型，也開放華為昇思MindSpore框架支持業(yè)界進(jìn)行大模型的訓(xùn)練，華為在大模型領(lǐng)域強(qiáng)調(diào)強(qiáng)泛化能力、模型精度的提升以及研發(fā)成本的降低。此外，京東云、浪潮以及主流的人工智能研究院也在積極投入大模型的研發(fā)，典型的大模型有智源研究院悟道2.0模型、浪潮“源1.0”大模型等。