中國電信發(fā)布全球首個(gè)單體稠密萬億參數(shù)語義模型 Tele-FLM-1T

IT之家 6 月 19 日消息，中國電信人工智能研究院（TeleAI）和智源研究院聯(lián)合發(fā)布全球首個(gè)單體稠密萬億參數(shù)語義模型 Tele-FLM-1T，該模型與百億級的 52B 版本，千億級的 102B 版本共同構(gòu)成 Tele-FLM 系列模型。

TeleAI 和智源研究院基于模型生長和損失預(yù)測等技術(shù)，Tele-FLM 系列模型僅使用了業(yè)界普通訓(xùn)練方案 9% 的算力資源，基于 112 臺 A800 服務(wù)器，用 4 個(gè)月完成 3 個(gè)模型總計(jì) 2.3T tokens 的訓(xùn)練。模型訓(xùn)練全程做到了零調(diào)整零重試，算力能效高且模型收斂性和穩(wěn)定性好，Tele-FLM-1T 版本即將開源。

目前，TeleFLM 系列模型已經(jīng)全面開源了 52B 版本，核心技術(shù) (生長技術(shù)、最優(yōu)超參預(yù)測)、訓(xùn)練細(xì)節(jié) (loss 曲線、最優(yōu)超參、數(shù)據(jù)配比和 Grad Norm 等) 均開源，開源模型下載量過萬，積累超 40 萬用戶。

此外，中國電信在某市民生訴求場景項(xiàng)目上，通過引入 TeleChat-52B 模型能力，整體應(yīng)用效果提升 40%，達(dá)到行業(yè)領(lǐng)先水平。

IT之家附 Tele-FLM-52B 版本開源地址：https://huggingface.co/CofeAI/Tele-FLM

Tele-FLM-Chat 試用 (純模型單輪對話版) 地址：https://modelscope.cn/studios/FLM/ChatFLM