基于英特爾OpenVINO優(yōu)化，愛奇藝已將深度學(xué)習(xí)應(yīng)用于視頻產(chǎn)品

隨著 AI 技術(shù)逐漸應(yīng)用于網(wǎng)絡(luò)視頻之中，算力優(yōu)化和平衡成本逐漸成為了視頻平臺關(guān)注的重點(diǎn)。36氪近期通過采訪愛奇藝技術(shù)部門相關(guān)負(fù)責(zé)人，了解到了 OpenVINO 為愛奇藝視頻平臺產(chǎn)品帶來的體驗(yàn)提升。

事實(shí)上，2018 年 5 月，英特爾便推出了 OpenVINO 工具包，其功能為將計(jì)算機(jī)圖形和深度學(xué)習(xí)推理整合到前沿的視覺應(yīng)用中。

OpenVINO（開放式視覺推理和神經(jīng)網(wǎng)絡(luò)優(yōu)化）工具包使開發(fā)人員能夠基于不同的深度學(xué)習(xí)框架（例如當(dāng)下流行的TensorFlow, MXNet和Caffe等框架），進(jìn)行AI模型優(yōu)化，并將其部署到各種產(chǎn)品中。OpenVINO 的高效得益于英特爾此前投資的多項(xiàng)技術(shù)，包括CPU，F(xiàn)PGA（現(xiàn)場可編程門陣列）和Movidius視覺處理單元（VPU）等。

“AI 雷達(dá)”與“蒙版彈幕”

由于愛奇藝與英特爾是長期的合作伙伴，所以近期在各端平臺上推出的“AI 雷達(dá)”和“蒙版彈幕”功能，便已采用了基于 OpenVINO 的 CPU 優(yōu)化方案。

據(jù)愛奇藝智能平臺高級總監(jiān)劉俊暉介紹，AI 雷達(dá)最早是從 TV 端開始上線的，用戶可隨時(shí)在劇集中開啟 AI 雷達(dá)，搜索此時(shí)畫面中的人物、商品及其相關(guān)信息；蒙版彈幕則是通過機(jī)器視覺分析出劇集中主要角色的輪廓，并讓彈幕繞過人物顯示。

由于AI雷達(dá)是實(shí)時(shí)請求的服務(wù)，需要讓TV用戶快速得到反饋結(jié)果，所以需要按全量部署資源。如果服務(wù)部署在GPU平臺上，協(xié)調(diào)大量的GPU資源用于滿足峰值服務(wù)調(diào)用會產(chǎn)生很大的浪費(fèi)，因?yàn)檫@些GPU的利用率在非峰值期間會很低，且價(jià)格偏高。相比之下，CPU 相對容易資源協(xié)調(diào)，價(jià)格也低許多。但 CPU 方案同樣具有弱點(diǎn)，就是沒有優(yōu)化的服務(wù)在 CPU 上的延時(shí)性能沒法滿足需求。

愛奇藝基礎(chǔ)架構(gòu)高級總監(jiān)吳杰珂表示，英特爾的 OpenVINO 工具包便是根據(jù)這類需求而推出的。采用 OpenVINO 進(jìn)行優(yōu)化后，AI雷達(dá)服務(wù)中最核心的人臉檢測模型和人臉識別模型，延時(shí)性能上可以有大約6～8倍的提升。

基于英特爾 OpenVINO 并從計(jì)算機(jī)視覺的角度與 AI 結(jié)合應(yīng)用于流媒體，已在愛奇藝完成數(shù)十個(gè)應(yīng)用的 CPU 優(yōu)化，基于CPU進(jìn)行人工智能服務(wù)的優(yōu)化和部署，提升CPU上人工智能服務(wù)性能最高可達(dá)到10倍以上，數(shù)千核 CPU 服務(wù)的部署，等量替換一百多個(gè) GPU 資源，可降低深度學(xué)習(xí)云平臺超過 50% 成本。

另一個(gè)基于 OpenVINO 的產(chǎn)品“蒙版彈幕”，則已經(jīng)在部分劇目上試運(yùn)行了。值得一提的是，如果片源發(fā)生變化，整集的人形分析就需要重新生產(chǎn)，但“及時(shí)更新”意味著大量的AI模型推理需求。

“蒙版彈幕的核心是圖像語義分割，用OpenVINO優(yōu)化之后，推理處理能力大約能有3～4倍的提升，這樣生產(chǎn)能力就得到了大幅提高，更新的頻率就可以更快，能更加及時(shí)地為用戶提供有蒙版彈幕功能的劇目。”

截至目前，各大視頻平臺已開始陸續(xù)推出“蒙版彈幕”類功能，未來針對深度學(xué)習(xí)優(yōu)化的工作也將愈發(fā)重要。

GPU、CPU 混用方案

據(jù)了解，對于人工智能的推理服務(wù)優(yōu)化，除了常見的CPU與GPU計(jì)算資源，愛奇藝已對多種使用OpenVINO 進(jìn)行異構(gòu)計(jì)算加速人工智能算法的方案進(jìn)行了開發(fā)評估，包括FPGA、VPU等計(jì)算資源。已完成開發(fā)的多種性能自動(dòng)化評估工具、以及延時(shí)與吞吐最優(yōu)部署自動(dòng)化評估工具，也大幅提升了對不同人工智能算法加速與優(yōu)化的開發(fā)效率。

GPU、CPU混用的方案，能夠在不同情況下切換算力硬件，滿足視頻平臺的各種需求。

以愛奇藝的 AI 布局為例，公司里面CPU的資源池要比GPU的資源池大得多，CPU池子比較容易做負(fù)載的調(diào)度，從而得到較強(qiáng)的抗高峰能力；另一方面，非高并發(fā)情況下，整體基于CPU的推理成本也比GPU要低很多，吳杰珂介紹道。

在OpenVINO調(diào)整好（準(zhǔn)確率和延時(shí)）之后，平臺整體獲得了6~8倍的延時(shí)性能的提升，基本已接近純GPU方案的性能了。

吳杰珂表示，OpenVINO 工具包自面世以來也一直在優(yōu)化，在特定應(yīng)用和場景下，GPU和CPU各有優(yōu)略，另外，除了后臺應(yīng)用，OpenVINO還能在前端如Window設(shè)備上落地優(yōu)化方案。所以，對于愛奇藝來說，兩種硬件混合調(diào)用的方案能夠?qū)?yōu)勢結(jié)合，且通過長期優(yōu)化硬件的布局?jǐn)?shù)量，能夠持續(xù)提升性價(jià)比。

值得一提的是，英特爾這幾年在人工智能領(lǐng)域的投入逐年升高，在并購Altera后不到一年，又并購了Movidius公司。未來，愛奇藝也將和英特爾開展更多合作。

“神經(jīng)網(wǎng)絡(luò)計(jì)算棒可能是這家公司給大部分人的第一印象，現(xiàn)在在京東上大約550元和750元就可以分別買到第一代和第二代計(jì)算棒。我們也正在對基于Movidius芯片的方案進(jìn)行評估，當(dāng)然，不是計(jì)算棒，而是單板集成多片Movidius芯片的推理加速板卡?！?/p>

想要查看更多OpenVINO相關(guān)技術(shù)與資料，請戳>> http://m.butianyuan.cn/openvino