手把手教你本地部署DeepSeek:享受AI帶來的便利
國內(nèi)的大語言模型DeepSeek近日迅速出圈,憑借其在自然語言處理、代碼生成和多輪對(duì)話等任務(wù)中的出色表現(xiàn),吸引了眾多開發(fā)者和研究者的關(guān)注,甚至登上了不少地區(qū)的app榜單。
本文引用地址:http://m.butianyuan.cn/article/202502/466870.htm不過在使用時(shí)經(jīng)常會(huì)遇到服務(wù)器繁忙的困擾,解決辦法也很簡單,就是將其部署到本地,無需依賴云端服務(wù)即可享受AI帶來的便利。
要在本地部署DeepSeek,需要借助運(yùn)行大語言模型的工具,這里我們建議使用LM Studio,這是一款專為本地運(yùn)行大語言模型設(shè)計(jì)的客戶端工具。
它支持多種開源模型,并提供了簡單易用的界面,使得用戶無需編寫復(fù)雜的代碼即可加載和運(yùn)行模型。LM Studio的最大優(yōu)勢在于其“本地化”特性,確保數(shù)據(jù)的隱私和安全。
除了數(shù)據(jù)安全和避免服務(wù)器繁忙之外,在本地部署DeepSeek還可以做到靈活定制,我們可以根據(jù)硬件性能調(diào)整模型參數(shù),優(yōu)化運(yùn)行效率,獲得更加定制化的體驗(yàn)。
在開始部署之前,先確保設(shè)備滿足以下硬件要求:顯卡GTX 1060(6GB)及以上,推薦RTX3060及以上;內(nèi)存容量8GB,推薦16GB及更高;存儲(chǔ)空間C盤剩余20GB,推薦使用NVMe固態(tài)硬盤。
首先是安裝LMStudio客戶端,在官網(wǎng)lmstudio.ai下載對(duì)應(yīng)操作系統(tǒng)的安裝包即可,隨后雙擊運(yùn)行并按照提示完成安裝。安裝完成后啟動(dòng)LM Studio,就來到了用戶界面。
進(jìn)入LM Studio之后先點(diǎn)擊右下角的設(shè)置圖標(biāo)(小齒輪)將語言改為簡體中文,然后就可以加載模型了。這里有兩種情況,如果能自己找到各種不同版本的模型,那就下載到本地,然后點(diǎn)擊左上方文件夾的圖標(biāo),選擇模型目錄導(dǎo)入即可,優(yōu)點(diǎn)是可以選擇自定義的模型,而且下載速度有保障。
不會(huì)自己找模型的話就在LMStudio的設(shè)置里,常規(guī)部分選中Use LM Studio's Hugging Face的復(fù)選框,然后點(diǎn)擊左上方的搜索圖標(biāo)(放大鏡),搜索deepseek即可找到各種不同版本的模型,優(yōu)點(diǎn)是使用簡單,但是下載非常不穩(wěn)定。
這里簡單介紹一下選擇模型時(shí)不同參數(shù)規(guī)模的區(qū)別,參數(shù)規(guī)模以B(Billion,十億)表示,數(shù)值越高,意味著模型就越復(fù)雜,理解和生成能力就越強(qiáng),但是對(duì)系統(tǒng)的性能要求就越高,生成內(nèi)容的速度也就越慢。
具體來說,1.5B適合體驗(yàn)/嘗鮮的場景,只有大約3GB的文件,不做推薦。7B適合普通內(nèi)容創(chuàng)作及開發(fā)測試場景,文件提升至8GB,推薦16GB內(nèi)存+8GB顯存,畢竟適合大多數(shù)用戶。8B在7B的基礎(chǔ)上更精細(xì)一些,適合對(duì)內(nèi)容要求更高更精的場景,同樣適合大多數(shù)用戶。14B則提升至16GB,建議12核CPU+32GB內(nèi)存+16GB顯存,適合專業(yè)及深度內(nèi)容創(chuàng)作場景。更高的參數(shù)規(guī)模需要的硬件太高,而且生成速度會(huì)更慢,所以不做推薦。
DeepSeek的生成速度和顯卡性能有很大關(guān)系,作為參考,8B模型在移動(dòng)端RTX 3060上的生成速度約為5字/秒,在桌面端RTX 3060平臺(tái)的生成速度約為8字/秒,14B模型在桌面端RTX 3060平臺(tái)的生成速度約為2字/秒,其他模型和配置可以近似估算,大家可以根據(jù)自己的配置和需求選擇參數(shù)規(guī)模。
部署完成之后,點(diǎn)擊LMStudio左上方的對(duì)話框,然后在頂部選擇要加載的模型即可。開始前可以先在頂部的模型這里設(shè)置上下文長度和GPU負(fù)載等等,模型加載完成之后就可以開始使用了。
對(duì)于有更高要求的用戶,LMStudio中支持創(chuàng)建多個(gè)文件夾,分類存放不同用途的模型,方便快速切換,LM Studio支持通過本地API接口與其他應(yīng)用程序集成,實(shí)現(xiàn)更復(fù)雜的AI應(yīng)用,本文因?yàn)槠虿蛔錾钊虢榻B了。
最后再介紹一下常見問題與解決方案。下載速度慢:可以通過修改LM Studio的配置文件,將默認(rèn)的Hugging Face鏡像替換為國內(nèi)鏡像。
模型加載失?。捍_保模型文件的擴(kuò)展名為`.gguf`,并檢查LM Studio是否為最新版本。運(yùn)行速度慢/GPU未調(diào)用:確認(rèn)已安裝最新的CUDA驅(qū)動(dòng),并重啟LM Studio。
評(píng)論