研華正式發(fā)布國(guó)產(chǎn)化昇騰AI Box與Deepseek R1模型部署全流程！

隨著深度求索（DeepSeek）大模型的發(fā)布引發(fā)行業(yè)熱議，研華科技基于昇騰Atlas平臺(tái)邊緣AI Box MIC-ATL3S正式發(fā)布與Deepseek R1模型的部署流程。該平臺(tái)依托昇騰芯片的強(qiáng)大異構(gòu)計(jì)算能力，結(jié)合研華邊緣AI Box高可靠特點(diǎn)，通過模型輕量化、算子適配等技術(shù)實(shí)現(xiàn)大模型邊緣端部署。

硬件部署

■ CPU：Atlas 310P

□ 10個(gè)DaVinciV200 AI core，主頻最高達(dá)1.08GHz

□ 16個(gè)64位TaishanV200M處理器核，核主頻最高1.9GHz

□ 8個(gè)DaVinciV200 Vector core，主頻最高達(dá)1GHz

■ 內(nèi)存：24G LPDDR4

■ AI算力：176TOPS INT8

■ 操作系統(tǒng)：OpenEuler

■ 模型：DeepSeek-R1

推理模型

根據(jù)MIC-ATL3S硬件規(guī)格，我們選取了DeepSeek-R1-Distill-Qwen-1.5B這個(gè)精度和對(duì)硬件配置要求相對(duì)平衡的蒸餾模型進(jìn)行適配和部署。

部署步驟

昇騰310P + openEuler22.03部署deepseek-R1

1.     安裝驅(qū)動(dòng)包以及CANN

前往昇騰社區(qū)獲當(dāng)前芯片版本的驅(qū)動(dòng)、FW、以及CANN（昇騰異構(gòu)計(jì)算架構(gòu)）

driver：Ascend-hdk-310p-npu-driver_xxxxx_linux-aarch64_chip-enable.runFirmware：Ascend-hdk-310p-npu-firmware_xxxxx_chip-enable.runCANN：Ascend-cann-toolkit_xxxxx_linux-aarch64.run

2.     安裝依賴組件

3.     安裝mindspore （昇思模型框架）

4.     DeepSeek-R1模型拉取

拉取模型指令，以1.5B為例

yum install git-lfs -ygit lfs installgit clone https://ai.gitee.com/hf-models/DeepSeek-R1-Distill-Qwen-1.5B

克隆完成示例如下，包含HF完整的倉(cāng)庫(kù)：

5.     模型轉(zhuǎn)換

下載后的模型為safetensors格式，還不能直接使用，先用transformers轉(zhuǎn)換為ONNX格式，再使用atc轉(zhuǎn)換為OM(昇騰)格式才能使用。

創(chuàng)建python腳本將safetensors格式轉(zhuǎn)換為ONNX格式，最終轉(zhuǎn)換為OM格式。

執(zhí)行腳本后會(huì)生成對(duì)應(yīng)模型文件，生成對(duì)應(yīng)格式模型文件 執(zhí)行：

Python3 convert.py./convert.sh

最后，需要用一個(gè)簡(jiǎn)單的python腳本去做互動(dòng)窗口，運(yùn)行指令：python3 deepseek_r1.py

示例：

總結(jié)：目前研華進(jìn)行MIC-ATL3S適配更多Deepseek模型，以及與生態(tài)伙伴展開具體應(yīng)用場(chǎng)景測(cè)試，后續(xù)我們會(huì)持續(xù)公布研華邊緣AI平臺(tái)產(chǎn)品的部署&測(cè)試內(nèi)容，敬請(qǐng)關(guān)注。

研華昇騰310系列邊緣AI平臺(tái)

研華基于昇騰Atlas 310系列平臺(tái)開發(fā)出三款不同形態(tài)的邊緣AI產(chǎn)品：工業(yè)標(biāo)準(zhǔn)化AI模組、邊緣AI開發(fā)套件以及邊緣AI盒子。此系列產(chǎn)品算力高達(dá)176 Tops，專注于工業(yè)場(chǎng)景下的細(xì)分應(yīng)用。同時(shí)，在軟件方面，研華聚焦底層開發(fā)，定期更新SDK套件以滿足客戶的開發(fā)需求，并自主研發(fā)工業(yè)領(lǐng)域遠(yuǎn)程部署和管理工具。