為解決算力問題,中企選擇“多芯片混合”訓練AI模型
7月4日消息,據(jù)Digitimes報道,為解決人工智能(AI)芯片算力問題,中國AI公司正實施“多芯片混合”的策略來提高在AI計算方面的能力的同時,進一步避免供應鏈安全問題。
多芯片混合計算的方法有諸多優(yōu)勢,包括利用多個不同型號的GPU并行訓練,來共同提高大語言模型(LLM)訓練速度,因同時可以處理更多數(shù)據(jù),可更好利用內(nèi)存,中國廠商可以降低對于更昂貴的英偉達(NVIDIA)芯片的依賴,進而降低成本。
自2022年10月以來,受美國持續(xù)升級的限制政策的影響,中國獲取國外高性能AI芯片受到了極大的限制。因此,目前也依然存在著一些灰色渠道,但是供給量還是比較有限的。同樣,雖然中國本土也有一些AI芯片,但是性能和產(chǎn)能也都比較有限。
傳聞稱,目前中國公司已經(jīng)開始開發(fā)“多芯片混合”技術,將不同芯片組成一個訓練集群,包括百度和阿里巴巴都在研究這項解決方案。例如,百度在其 2024 年財報電話會議上宣布,它可以組合來自不同供應商的 GPU 并將其用于 AI 訓練。另一家中國大型科技公司阿里巴巴自 2021 年以來一直致力于“一云多芯片”解決方案。但也面臨諸多挑戰(zhàn),例如需要像NVIDIA NVLink這樣的高速構架,確保不同的加速器能高效通信。不過,阿里云已經(jīng)開始轉向使用基于以太網(wǎng)的高性能網(wǎng)絡。
編輯:芯智訊-林子
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權請聯(lián)系工作人員刪除。