盤點(diǎn)在使用openvino過程中遇到的一些問題,如何解決的-第1篇

1. 問題：跑前向推斷的時(shí)候都沒有報(bào)錯(cuò)，跑到這一步ie_exec_network_create_infer_request(exe_network, &infer_request);的時(shí)候，也不報(bào)錯(cuò)，也沒有l(wèi)og，直接就退出了，可能是什么原因？

建議：在推理的輸入階段報(bào)錯(cuò)的話，建議查看是否是openvino環(huán)境沒有配置好，導(dǎo)致IEplugin加載失?。炕蛘咄评碛布热鏲pu沒有指定？

2. 問題：不知道infer_request->Infer();這一步為啥執(zhí)行這么久

onnx用yolov5自帶的detect檢測0.1s，轉(zhuǎn)了IR后用C++ openvino推理就3s多了

建議：有可能是模型轉(zhuǎn)換過程中層的問題，可以用openvino直接推理onnx來對比下推理延遲

回復(fù)：和IR文件的推理差別大不大

回復(fù)：還是不太熟vino的api，C++推理自己的模型寫起來很吃力

3. 問題：檢測框很多可能是啥原因啊

建議：你的blob輸出有問題，是人臉檢測嗎？你查看下代碼，檢測到再繪矩形框

回復(fù)：不是人臉，就是簡單的5分類目標(biāo)檢測
       結(jié)論：我看了blob，和yolo預(yù)訓(xùn)練的還真不一樣，yolov5s的blob

我自己的模型

4. 問題：請教個(gè)大家個(gè)問題，使用opencv模板匹配（ matchTemplate）除了肉眼看有匹配上，還有沒有別的方式來判斷匹配上還是沒有匹配上，需要一個(gè)返回值

建議：printf大法

5. 問題：這兩天被openvino折磨的不行了

答：是安裝嗎

回復(fù)：不是，主要還是model optimizer, 經(jīng)常導(dǎo)出錯(cuò)誤, 還有推理的時(shí)候的設(shè)置, 目前在11代nuc上, 部署yolov5s，幀率在70-50浮動(dòng)，也不知道怎么穩(wěn)定

答：你做邊緣計(jì)算用nuc嗎

為了兼容其他環(huán)境,英偉達(dá)那套cpu確實(shí)不夠用, 包也少

nuc拿來搞這個(gè)真的性價(jià)比真的一言難盡

回復(fù)：確實(shí),核顯也就那樣

6. 問題：amd cpu 能用OpenVINO嗎？

答：其實(shí)openvino可以用，但是加速?zèng)]那么明顯，我5800h推理yolov5s用openvino感覺只有20fps不到，i7 1165g7卻有30fps

答：cpu amd核顯性能其實(shí)很好的，但是沒有配套軟件，真要cpu，建議試試tf

答：openvino基于oneapi，oneapi是intel自己的硬件統(tǒng)一平臺(tái)，所以使用intel硬件能帶來不小的性能提升

答：據(jù)說現(xiàn)在都是建議amd處理器配nv的ai單元或xilinx fpga，讓這兩個(gè)跑ai去，amd適配ai軟件還有些不足

7. 問題：有人遇到過這個(gè)問題嗎？

答：我遇過，后面降版本就沒報(bào)錯(cuò)了

8. 問題：我把這個(gè)代碼在ubuntu下和win下跑，win下耗時(shí)比ubuntu多得多，這是為什么？操作系統(tǒng)不一樣也有差異嗎

同一臺(tái)電腦裝的雙系統(tǒng)

答：有一臺(tái)沒有用核顯

9. 問題：運(yùn)行demo_security_barrier_camera demo的時(shí)候報(bào)錯(cuò) CMake Error: Could not create named generator Visual Studio，有知道怎么解決的嗎，網(wǎng)上搜了一下修改bat路徑，但是沒有解決

建議：如果別的demo也無法正常運(yùn)行的話，問題可能出在你的配置環(huán)境有問題，https://www.bilibili.com/video/BV1Wy4y1m7wg?spm_id_from=333.999.0.0，這是Dylan錄制的windows系統(tǒng)openvino安裝教程，可以看看哪一步出錯(cuò)了

10. 問題：我這里按照官方文檔安裝工具包，到這一步并沒有文檔里的目錄路徑。是我安裝少了什么嗎？我最終的目的就是想用download.py下載一些模型用，不用來開發(fā)，只下載模型跑自己的性能測試

建議：出現(xiàn)這個(gè)問題，應(yīng)該是安裝沒成功。建議刪除opt里邊的ov相關(guān)目錄，重新安裝試試

11. 問題：請問有人知道程序卡在LoadNetwork是什么原因嗎

建議：Openvino的demo執(zhí)行推理可以運(yùn)行成功嗎？如果可以說明環(huán)境配置是沒有問題的，問題可能出在你的代碼上，建議先排查一下這個(gè)，定位一下問題

12. 問題：openvino能直接下載onnx模型嗎

建議：可以的。你可以在github或者gitee搜索openvino倉庫，找到open-model-zoo，然后下來該源碼，就可以執(zhí)行相關(guān)操作了

13. 問題：我這Release缺少幾個(gè)lib，網(wǎng)上沒找到解決方案，你們可以發(fā)一下lib文件嗎

建議：去官網(wǎng)下載

14. 問題：請問 open-model中的模型文件要怎么調(diào)用啊，要轉(zhuǎn)換為IR模型才可以嗎？
建議：是的，要轉(zhuǎn)換為IR文件才能使用，轉(zhuǎn)換也比較簡單。

這樣就可以完成轉(zhuǎn)換

回復(fù)：謝謝，我大致明白了。先要把模型文件下載下來，下載后可以直接用。測試了它自己帶的語音識(shí)別的例子，C++的可以，PYTHON的用的時(shí)候，老是說ASR啟動(dòng)有問題。可能PYTHON解析DLL的時(shí)候有問題，但路徑啥的都是對的。可能是缺DLL依賴的別的動(dòng)態(tài)庫

15. 問題：推理報(bào)錯(cuò)，什么原因？

建議：看報(bào)錯(cuò)應(yīng)該是opencv的環(huán)境有問題，檢查一下環(huán)境，openvino自帶的demo可以運(yùn)行嗎？

16. 問題：那個(gè) openvino的項(xiàng)目編譯完，exe和部署腳本生成的文件搬到另一臺(tái)沒裝框架的windows電腦，有辦法調(diào)用集顯加速嗎
建議：環(huán)境遷移的話理論上如果你把所有的編譯生成的相關(guān)動(dòng)態(tài)文件都拷貝過去是可以的。不過你如果不太清楚環(huán)境配置的話，是比較復(fù)雜的。建議你可以采取一個(gè)更方便安全的方式，就是使用openvino的container版本，這樣可以不同機(jī)器上無縫遷移。

17. 問題：我在使用openvino+c++部署onnx時(shí)，release能編譯通過且能運(yùn)行，在debug下編譯不能通過，有遇到同樣問題的嗎？

建議：可能是ov環(huán)境變量初始化的問題，建議你查看下openvino的自帶的build腳本，看它怎么寫的

18. 問題：win10環(huán)境下安裝好CUDA，環(huán)境也配置好了，命令行輸入nvcc -V，結(jié)果輸出nvcc不是內(nèi)部或外部命令，有沒有大佬知道該怎么解決嗎？

建議：其實(shí)CUDA不算openvino的問題。如果環(huán)境配置確定沒問題，重啟一下應(yīng)該就可以了。windows一般都需要重啟才能加載到環(huán)境。