華為ModelEngine支持DeepSeek全系列本地部署
2月7日消息,日前,華為技術(shù)有限公司宣布,華為DCS AI全棧解決方案中的重要產(chǎn)品ModelEngine AI平臺,全面支持DeepSeek大模型R1&V3和蒸餾系列模型的本地部署與優(yōu)化,加速客戶AI應(yīng)用快速落地。
本文引用地址:http://m.butianyuan.cn/article/202502/466682.htm此次 ModelEngine 基于昇騰AI芯片,通過推理框架優(yōu)化和MoE存算協(xié)同,提供動態(tài)換入換出和全局統(tǒng)一緩存,實現(xiàn)推理高并發(fā)和低時延,用戶通過ModelEngine體驗DeepSeek的推理能力。
另外,華為官方表示,DCS AI全棧解決方案近期將上線DeepSeek體驗環(huán)境。
評論