摘 要：近年來, 物聯(lián)網(wǎng)的普及讓數(shù)以億計的移動設(shè)備連接到互聯(lián)網(wǎng)上，在網(wǎng)絡(luò)邊緣產(chǎn)生了海量的數(shù)據(jù)，使得一種全新的計算范式———邊緣計算興起。同時,得益于深度學習算法和摩爾定律的突破，使得人工智能的發(fā)展再一次迎來了高潮。在這一趨勢下，將邊緣計算與人工智能相結(jié)合是必然的，由此產(chǎn)生的新的交叉研究———邊緣智能引起了許多學者的廣泛關(guān)注。

在該綜述中，邊緣智能被分為基于邊緣計算的人工智能和基于人工智能的邊緣計算（ 即 AI on edge 和 AI for edge）兩部分。AI on edge 側(cè)重于研究如何在邊緣計算平臺上進行人工智能模型的構(gòu)建，主要包括模型訓練和模型推理兩部分；AI for edge側(cè)重于借助先進的人工智能技術(shù)，為邊緣計算中的關(guān)鍵問題提供更優(yōu)的解決方案，主要包括任務(wù)卸載和邊緣緩存兩部分。該綜述從一個廣闊的視角對邊緣智能的研究進行了歸納總結(jié)，為涉足該領(lǐng)域的相關(guān)學者提供了一個詳細的背景知識。

關(guān)鍵詞：物聯(lián)網(wǎng)；邊緣計算；深度學習；人工智能；邊緣智能

0.引言

隨著5G技術(shù)的發(fā)展和物聯(lián)網(wǎng)（Internet of Things，IoT）的普及，網(wǎng)絡(luò)邊緣的數(shù)據(jù)由地理上分布廣泛的移動終端和IoT設(shè)備所創(chuàng)建，這些在網(wǎng)絡(luò)邊緣生成的數(shù)據(jù)比大型云數(shù)據(jù)中心生成的數(shù)據(jù)還要多。另外，根據(jù)IDC的預(yù)測，到2025年［2］，全球物聯(lián)網(wǎng)產(chǎn)生數(shù)據(jù)的70％都要在網(wǎng)絡(luò)邊緣處理。同時，人們在日常生活中使用這些智能終端設(shè)備時對其服務(wù)質(zhì)量的需求有了進一步的提高［3］。因此，在這種情形下，用傳統(tǒng)的云集中式處理模式將無法高效率地處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)，也不能滿足用戶對智能終端高服務(wù)質(zhì)量的需求。具體來說，傳統(tǒng)云計算在處理這些網(wǎng)絡(luò)邊緣數(shù)據(jù)時存在三點不足：①實時性不夠；②帶寬不足；③能耗較大。因此，為了解決以上問題，更適用的方式是直接在邊緣網(wǎng)絡(luò)側(cè)處理用戶需求，這催生了一種全新的計算范式——邊緣計算（Edge Computing，EC）［4］。

EC將云服務(wù)從網(wǎng)絡(luò)核心推向更接近物聯(lián)網(wǎng)設(shè)備和數(shù)據(jù)源的網(wǎng)絡(luò)邊緣，它是一種在終端設(shè)備中分析和處理數(shù)據(jù)的技術(shù)。通過這種技術(shù)，數(shù)據(jù)可以在網(wǎng)絡(luò)邊緣進行實時處理，以實現(xiàn)數(shù)據(jù)流加速的目的。從本質(zhì)上講，與傳統(tǒng)基于云的計算模式相比，EC使得計算和數(shù)據(jù)源之間的物理距離更加接近，大大降低了數(shù)據(jù)傳輸?shù)臅r延，緩解了網(wǎng)絡(luò)帶寬的壓力，減少了數(shù)據(jù)通信的能耗，使得用戶的服務(wù)質(zhì)量大大提升［5-7］ 。

近些年來，得益于摩爾定律的突破，使得人工智能（Artificial Intelligence，AI）的發(fā)展再一次迎來了高潮。日常生活中，熟知的 AlphaGo［8］ 、無人駕駛汽車［9］ 、智慧醫(yī)療［10］ 等， 都是AI發(fā)展的延伸?？梢哉f，我們目前生活在一個 AI蓬勃發(fā)展的時代。另外，在算法、算力、大數(shù)據(jù)等最新進展的推動下，深度學習（Deep Learning，DL）［11］ 作為AI領(lǐng)域最耀眼的領(lǐng)域，在計算機視覺、語音識別、自然語言處理等多個領(lǐng)域取得了實質(zhì)性突破。得益于這些突破，以智能個人助理、個性化購物推薦、智能家電等為代表的一系列智能應(yīng)用迅速進入了人們的視野，得到了巨大的青睞。

現(xiàn)代社會普遍認為這些智能應(yīng)用極大地豐富了人們的生活方式，提高了社會生產(chǎn)效率。由于AI算法的實現(xiàn)需要大量的計算，當前AI大部分的計算任務(wù)都是依靠部署在云及其他大規(guī)模計算資源密集的平臺上實現(xiàn)的，但考慮到大規(guī)模計算資源密集平臺與智能終端的物理距離以及網(wǎng)絡(luò)邊緣海量數(shù)據(jù)的現(xiàn)實，就極大地限制了AI帶來的便利。因此，催生了人們將EC與AI進行結(jié)合的想法，這也就產(chǎn)生了邊緣智能（Edge Intelligence，EI）。

EI并不是將EC和AI進行簡單的結(jié)合，EI涉及到的主題十分廣泛，目前學術(shù)界還沒有給出一個統(tǒng)一的定義。但是，很多涉足EI的學者都給出了自己對EI的理解，例如，Zhou 等人認為EI的范圍不應(yīng)該僅僅局限于邊－端上運行AI算法，而也應(yīng)該包括在邊－云上運行AI算法［12］ ；Zhang 等人將EI定義為使邊緣設(shè)備能夠執(zhí)行AI算法的能力［13］ ；李肯立等人將EI 定義為融合網(wǎng)絡(luò)、計算、存儲、應(yīng)用核心能力的開放平臺［14］。

處于初級階段的EI吸引了學者的廣泛關(guān)注。他們對EI的進展做了較為全面的研究總結(jié)，例如，Zhou 等人從 AI模型的訓練、推理以及邊－云和端－ 邊－云協(xié)作等方面對 EI進行了較為全面的闡述［12］；Chen 等人對網(wǎng)絡(luò)邊緣DL應(yīng)用的場景以及在網(wǎng)絡(luò)邊緣部署分布式DL算法的常見方法進行了研究［15］；Wang 等人從AI 、EC各自的應(yīng)用場景以及二者相結(jié)合的應(yīng)用場景角度更加全面地介紹了EI［16］；也有一些文獻從AI驅(qū)動的霧計算的角度對 EI進行了研究［17－18］。

例如，Peng和 Zhang全面總結(jié)了霧－無線電接入網(wǎng)的性能分析和無線電資源分配的最新進展。然而，EI的主題涉及范圍廣泛，無論是起源還是性質(zhì)，這些文獻都沒有完全涵蓋。還有許多問題沒有得到解決，正因為如此，本文對EI進行分類闡述，以一種簡單明了的方式將EI的重點內(nèi)容呈現(xiàn)出來。具體來說，本文將EI分為基于EC的 AI（AI on edge）和基于AI 的EC（AI for edge）。AI on edge可以理解為在邊緣環(huán)境中部署AI算法；AI for edge可以理解為利用AI算法解決EC中的優(yōu)化問題，現(xiàn)有關(guān)于EI的研究都可以大致分為這兩大類。

1.EC和AI的關(guān)系

AI和EC的結(jié)合是必然，它們之間存在著一種互動關(guān)系。AI為EC提供解決問題的技術(shù)和方案，而EC為AI提供釋放潛力的平臺。

1.1 AI為EC提供技術(shù)和方法

EC是一種分布式計算范式，通過構(gòu)建軟件定義的網(wǎng)絡(luò)來分散數(shù)據(jù)，提供具有魯棒性和彈性的服務(wù)。EC在不同的層次上面臨資源分配問題，如CPU周期頻率、訪問權(quán)限、射頻、帶寬等。因此，對各種功能強大的優(yōu)化算法提出了很高的要求，以提高系統(tǒng)的效率。從本質(zhì)上講，EC將真實場景中的優(yōu)化問題進行建模，然后用梯度下降方法迭代地尋找漸近最優(yōu) 解。無論是統(tǒng)計學習方法還是DL方法都可以為邊緣提供幫助。此外，包括多智能體學習、深度Ｑ－網(wǎng)絡(luò)（Deep Q－Network，DQN）在內(nèi)的強化學習在邊緣資源分配問題中發(fā)揮著越來越重要的作用。

1.2 EC為AI提供場景和平臺

IOT設(shè)備的激增使萬物互聯(lián)成為現(xiàn)實。除了云數(shù)據(jù)中心外，更多的數(shù)據(jù)是由邊緣網(wǎng)絡(luò)設(shè)備創(chuàng)建的。更多的應(yīng)用場景，如自動駕駛、智能家居、智慧城市等，都可以極大地促進AI從理論到實踐的實現(xiàn)。此外，通信質(zhì)量高、計算能力要求低的AI 應(yīng)用可以從云遷移到邊緣，可以說，EC為AI提供了一個功能豐富的平臺，得以讓AI盡情地釋放其內(nèi)在潛力。

2.AI on edge

在這一部分，本文將 AI on edge的研究工作分為模型訓練和模型推理兩部分。其中模型訓練部分重點介紹目前流行的聯(lián)邦學習（Federated Learning，F(xiàn)L）在邊緣環(huán)境中的一些研究工作；在模型推理部分，本文主要介紹模型的優(yōu)化、分割以及共享三方面的工作。最后，本文對上述兩部分的工作做相應(yīng)的總結(jié)分析。

2.1 模型訓練

在邊緣環(huán)境中，本文將在邊緣側(cè)進行的AI模型訓練稱之為“AI on edge ”。這種訓練需要大量資源來進行數(shù)據(jù)參數(shù)的交換更新，但往往存在著數(shù)據(jù)隱私暴露的風險。幸運的是，F(xiàn)L作為一種新興的分布式學習架構(gòu)，能夠很好地解決AI on edge存在的一些問題。對于EC中能力多樣、網(wǎng)絡(luò)條件有限的設(shè)備，F(xiàn)L可以在處理Non?IID訓練數(shù)據(jù)時保護隱私，在高效通信、資源優(yōu)化和安全等方面具有良好的擴展性。表1中列出了一些關(guān)于FL的工作。

丨2.1.1 標準FL

FL［19］作為端－邊－云之間的一種實用的深度學習訓練機制而出現(xiàn)。在 FL的框架下，移動設(shè)備被視為執(zhí)行本地訓練的客戶端。同時，云中的終端設(shè)備、邊緣節(jié)點和服務(wù)器在一定條件下也可以等價地視為FL 中的客戶端。下面討論基于邊緣計算的聯(lián)邦學習基本原理。FL不需要上傳數(shù)據(jù)到中心云進行訓練，邊緣設(shè)備只需要使用本地數(shù)據(jù)訓練本地DL模型，然后上傳更新后的DL模型參數(shù)。在標準FL中有兩個角色：具有本地數(shù)據(jù)的客戶端和負責模型聚合的聚合服務(wù)器。

整個FL的過程如下：① 請求一組客戶端從服務(wù)器下載初始化全局DL模型參數(shù)；② 用本地數(shù)據(jù)在下載的全局模型參數(shù)上訓練本地模型；③ 將更新后的本地模型參數(shù)上傳到服務(wù) 器，接著對本地模型參數(shù)進行加權(quán)聚合得到全局模 型參數(shù)。如圖 1所示，根據(jù)FL中的兩個角色和EC三個層次之間的關(guān)系，有3種可行的訓練FL的解決 方案：① 端－邊合作：邊緣節(jié)點代替云作為服務(wù)器， 端側(cè)作為客戶端；② 邊－云合作：邊側(cè)作為客戶端參與 FL，而云作為聚合服務(wù)器；③ 端－邊－云合作：端邊兩側(cè)作為客戶端參與FL，而云作為聚合服務(wù)器，這種方式可以結(jié)合上述兩種方式的優(yōu)點。

丨2.1.2 高效通信FL

在FL訓練過程中，不用將原始數(shù)據(jù)上傳到服務(wù)器，可以說在很大程度上降低了通信代價。但如果本地訓練的DL模型足夠大，從邊緣設(shè)備向中心 服務(wù)器上傳模型參數(shù)也會消耗大量的通信資源。為了解決這一問題，有學者提出讓FL邊緣設(shè)備定期地（不是持續(xù)地）與中央服務(wù)器通信，以尋求關(guān)于全局DL模型的共識［20］。此外，F(xiàn)L框架下，DL模型參數(shù)的壓縮和學習策略的創(chuàng)新也能實現(xiàn)FL高效通信的目的。例如，在文獻［21－22］中，提出了一種稀疏三元壓縮方法，實現(xiàn)客戶端和服務(wù)器之間參數(shù)傳輸?shù)纳舷掠瓮ㄐ艍嚎s，達到降低通信代價的目的；文獻［23］提出了一種異步學習策略，該學習策略將不同層次的深度神經(jīng)網(wǎng)絡(luò)分為淺層和深層，深層的參數(shù)更新頻率低于淺層。此外，在服務(wù)器上引入時間加權(quán)聚合策略，利用之前訓練的局部模型，從而提高中心模型的準確性和收斂性。

另外，與云相比，邊緣設(shè)備的計算資源非常稀缺。提高通信效率還需要考慮其他挑戰(zhàn)：① 計算資源在邊緣設(shè)備上是異構(gòu)的和有限的；② 邊緣設(shè)備上 的訓練數(shù)據(jù)可能是Non-IID的。基于此，文獻［24］推導出的Non-IID分布式學習的收斂界，可以保證在理論上優(yōu)化所有參與設(shè)備在給定資源預(yù)算下的聚集頻率。

丨2.1.3 資源優(yōu)化FL

當FL將相同的神經(jīng)網(wǎng)絡(luò)模型部署到異構(gòu)的邊緣設(shè)備時，計算能力較弱的設(shè)備可能會極大地延遲全局模型的聚合。雖然將掉隊者從協(xié)作中剔除可以 在一定程度上緩解延遲問題，但掉隊者可能會保留從非相同數(shù)據(jù)集學習到的獨特和關(guān)鍵信息，直接剔除會損害整體協(xié)作性能。因此，文獻［25］中提出了異構(gòu)感知FL框架Helios 來解決設(shè)備能力異構(gòu)的問題。Helios識別單個設(shè)備的異構(gòu)訓練能力，因此預(yù)期的神經(jīng)網(wǎng)絡(luò)模型訓練量與協(xié)作訓練速度有關(guān)。針對掉隊設(shè)備，提出了一種軟訓練方法，通過旋轉(zhuǎn)神經(jīng)元訓練方法將原始相同訓練模型動態(tài)壓縮到期望體積。通過廣泛的算法分析和優(yōu)化方案，可以在保持局部訓練和聯(lián)邦協(xié)作收斂的同時，充分利用掉隊者的信息。實驗表明，在不同的協(xié)作設(shè)置下，Helios可以提供高達2.5倍的訓練加速度并提高4.64％的收斂精度。

同時，在移動EC場景中部署FL 時，F(xiàn)L的執(zhí)行時間主要取決于客戶端數(shù)量及其計算能力。因此，為了最小化FL的訓練時間，對FL 進行適當?shù)馁Y源分配不僅需要考慮FL參數(shù)（如計算通信的精度水平），還需要考慮客戶端的資源分配（如功率和CPU周期）。但是，客戶端能耗的最小化和 FL執(zhí)行時間 存在沖突。例如，客戶端可以通過始終保持低頻率的CPU 來節(jié)省能源，但這肯定會增加訓練時間。

因此，為了在能量消耗和訓練時間之間取得平衡，文獻［26］首先為每個客戶端設(shè)計了一種新的算法———FEDL，對其局部問題進行近似求解，直到達到局部精度水平。然后，利用帕累托效率模型，提出了無線網(wǎng)絡(luò)中FEDL的非凸資源分配問題，以獲取客戶端能量成本和FL執(zhí)行時間之間的權(quán)衡。最后，利用該問題的特殊結(jié)構(gòu)，將其分解為3個子問題，并據(jù)此推導出閉解，表征了帕累托效率控制旋鈕對最優(yōu)解的影響。

此外，F(xiàn)L中涉及的設(shè)備數(shù)量通常很大，從數(shù)億到數(shù)百萬不等。當設(shè)備數(shù)量巨大時，在每輪客戶端和服務(wù)器進行通信時，將這些設(shè)備的本地模型參數(shù)全部上傳到服務(wù)器進行加權(quán)聚合是不現(xiàn)實的。為了解決設(shè)備數(shù)量帶來的通信壓力問題，文獻［27］提出了一個經(jīng)驗驅(qū)動的控制框架，該框架利用強化學習智能地選擇客戶端設(shè)備參與每一輪的全局聚合，在減少通信輪數(shù)的情況下達到同等模型精度的實現(xiàn)。

丨2.1.4 安全增強FL

在分布式訓練場景中，客戶端的信息交流是涉及到分布式機器學習中的隱私核心問題。FL避免了上傳訓練數(shù)據(jù)可能導致的隱私泄露，但同時也引 入了模型更新的隱私問題?？梢砸氩罘蛛[私（Differential Privacy ,DP） 的技術(shù)，在敏感數(shù)據(jù)中添加噪聲來嚴格量化表達式控制信息的公開，有助于降低FL訓練更新中隱私泄露的威脅，常見的幾種FL 的模型如圖2所示。

為了解決FL訓練時的隱私問題，客戶端首先利用自己的數(shù)據(jù)計算模型參數(shù)更新，然后進行差分隱私處理，最后上傳處理后的模型參數(shù)并進行模型 聚合。從另一個角度來看，聚合服務(wù)器對訓練設(shè)備也不應(yīng)該完全信任，因為對手可能會毒害他們的訓練數(shù)據(jù)或直接篡改模型更新，從而導致對全局模型的破壞。為了使FL能夠容忍擁有中毒數(shù)據(jù)集的少量設(shè)備參與訓練，魯棒聯(lián)邦優(yōu)化［28］定義了一個修剪的平均操作。通過過濾有毒設(shè)備產(chǎn)生的值和正常設(shè)備中的自然離群值，實現(xiàn)了魯棒聚合，保護全局模型不受中毒數(shù)據(jù)的影響。

除故意攻擊外，還應(yīng)關(guān)注不可預(yù)測的網(wǎng)絡(luò)條件和計算能力給安全帶來的被動不利影響。無線通信噪聲不可避免地阻礙了訓練設(shè)備與聚合服務(wù)器之間的信息交換，這可能對訓練延遲和模型可靠性產(chǎn)生重大影響。在文獻［29］中，提出了基于期望模型和最壞情況模型下的并行優(yōu)化問題，并分別采用正則化的損失函數(shù)逼近算法和基于抽樣的逐次凸逼近算法求解這兩個模型。理論分析表明，該方法具有可接受的收斂速度；仿真結(jié)果表明，該方法提高了模型精度，降低了損耗函數(shù)。

反過來，F(xiàn)L中聚合服務(wù)器的故障也可能導致不準確的全局模型更新，從而污染所有本地模型參數(shù)的更新過程。此外，數(shù)據(jù)樣本數(shù)量較多的邊緣設(shè)備可能不太愿意與貢獻較少的其他設(shè)備一起參與FL。因此，在文獻［30］中，提出了將區(qū)塊鏈和FL結(jié)合為Block FL，以實現(xiàn)：① 在每個邊緣設(shè)備而不是特定服務(wù)器上進行局部全局模型更新，確保在更新全局模型時，設(shè)備故障不會影響其他局部更新；② 刺激邊緣裝置參與FL的適當獎勵機制。

2.2 模型推理

隨著對精度要求的提高，深度神經(jīng)網(wǎng)絡(luò)（DNN）的層數(shù)也越來越深，如此就需要更大規(guī)模的數(shù)據(jù)集，這樣會造成昂貴的計算費用。因此，之前的 AI模型都是部署在高性能的云計算平臺上，而終端設(shè)備只是將輸入數(shù)據(jù)發(fā)送到云端，然后等待AI推理結(jié)果。然而，僅云推理限制了AI服務(wù)的部署。此外，對于重要的數(shù)據(jù)源，應(yīng)解決數(shù)據(jù)安全和隱私保護問題。為了解決這些問題，AI服務(wù)往往訴諸EC。因此，AI模型需要進一步定制，以適應(yīng)資源受限的邊緣，同時仔細處理其推理精度和執(zhí)行延遲之間的權(quán)衡。本小節(jié)從模型優(yōu)化、模型分割以及模型共享三方面對模型推理做了詳細的闡述。

丨2.2.1 模型優(yōu)化AI

任務(wù)通常是計算密集型的，需要很大的內(nèi)存占用。但在邊緣，沒有足夠的資源來支持原始的大規(guī)模AI模型。優(yōu)化AI 模型并量化其權(quán)重可以降低資源成本。下面討論3種常用的模型優(yōu)化方法。

(1) 參數(shù)剪枝與共享

大量的參數(shù)是制約AI模型訓練效率的重要因素。因此，為了實現(xiàn)更高效、快速的AI模型訓練，一些研究者對AI模型進行了參數(shù)剪枝和共享的優(yōu)化。文獻［31］中提出了緩存相鄰層之間的中間數(shù)據(jù)，以減少數(shù)據(jù)移動。此外，像二值化一樣的量化也是一個很好的分支。在XNOR-Net ［32］中，不僅濾波器近似于二進制值，卷積層的輸入也是二進制的。卷積主要是用二元運算來近似的。這些措施提供了58倍的加速，同時在某些數(shù)據(jù)集（如CIFAR-10）上實現(xiàn)了類似的精度。

(2) 傳輸/緊湊卷積濾波器

為了實現(xiàn)AI模型的優(yōu)化，可以設(shè)計一種特殊結(jié)構(gòu)的卷積濾波器來節(jié)省參數(shù)。但該方法只適用于卷積層。在文獻［33］中，提出的SqueezeNet 比AlexNet 的參數(shù)減少了50倍，且在ImageNet上實現(xiàn)了相同的精度水平。減少參數(shù)的方法是用1×1濾波器代替3 × 3濾波器，并減少輸入通道的數(shù)量。同時，在網(wǎng)絡(luò)后期進行降采樣是為了使精度最大化。

(3) 知識蒸餾

文獻［34］中首次提出了知識蒸餾的概念，它是一種將知識從復雜的AI模型轉(zhuǎn)移到緊湊的AI模型的方法。一般來說，復雜的AI模型是強大的，而緊 湊的AI模型更靈活和高效。知識蒸餾可以利用一個復雜的AI模型來訓練一個緊湊的AI模型，使其具有與復雜 AI模型相似的性能。這些方法可以應(yīng)用于不同類型DNN或組合來優(yōu)化復雜的邊緣AI模型。

丨2.2.2 模型分割

以往，大多數(shù)智能應(yīng)用程序只在云中執(zhí)行，而邊緣設(shè)備只扮演收集和上傳數(shù)據(jù)的角色。如今，隨著技術(shù)的進步，邊緣設(shè)備有了更好的硬件配置，研究人員開始思考是否通過深度學習模型的分割將部分或全部計算任務(wù)推到邊緣。這樣可以將大量的計算任務(wù)分解成不同的部分，不同的設(shè)備可以協(xié)同解決問題。

在文獻［35］中，對最先進的AI模型在云和邊 緣設(shè)備上的延遲和功耗進行了評估，發(fā)現(xiàn)將數(shù)據(jù)上 傳到云是當前AI服務(wù)方法的瓶頸（導致傳輸開銷很大）。劃分AI模型并進行分布式計算，可以獲得更好的端到端延遲性能和能源效率。此外，通過將部分DL任務(wù)從云推送到邊緣，可以提高云的吞吐量。

最常用的一種分割方法是將AI模型水平分割，即沿端－邊－云進行分割。數(shù)據(jù)分析的過程通常分為兩部分［36］，一部分在邊緣處理，另一部分在云中處理。由于上傳數(shù)據(jù)減少了中間數(shù)據(jù)，這樣既減少了邊緣與云之間的網(wǎng)絡(luò)流量，又避免了數(shù)據(jù)傳輸中安全隱私泄露的風險.

另一種模型分割方法是垂直分割，特別是CNN。相對于水平分區(qū)，垂直分區(qū)將層進行融合，以網(wǎng)格的方式進行垂直分區(qū)，將CNN各層劃分為獨立的可分布計算任務(wù)。Deep Things［37］利用了一種名為“融合TilesPartitioning（FTP）”的新方法，融合層以網(wǎng)格方式垂直劃分。實驗結(jié)果表明，在不降低精度的情況下，F(xiàn)TP至少可以將內(nèi)存占用減少到32％。同樣，J.Zhang的團隊在文獻［38］中為本地分布式移動計算設(shè)計了一個框架，提出了一種通用的神經(jīng)網(wǎng)絡(luò)層分割工具，測試了一些常見的神經(jīng)網(wǎng)絡(luò)，其中Google Net 的實驗得到了最好的性能，該系統(tǒng)幾乎 將總延遲減少了一半。

丨2.2.3 模型共享

AI的計算往往是復雜的，密集的計算是對設(shè)備資源的巨大考驗。然而，AI計算具有高度的邏輯性，使得不同的DL操作過程具有一定的相關(guān)性。因此，如何利用DL操作的相關(guān)性成為優(yōu)化AI模型的出發(fā)點。對于AI計算的共享，一種思路是對推理結(jié)果進行緩存和重用，以避免冗余操作，該思路在一些場景中取得了良好的實踐效果。

邊緣節(jié)點覆蓋范圍內(nèi)附近用戶的請求可能表現(xiàn)出時空局域性［39］。例如，同一區(qū)域內(nèi)的用戶可能會 請求對同一感興趣的對象進行識別任務(wù)，這可能會引入DL推理的冗余計算。在這種情況下，Cachier ［39］在對應(yīng)用進行離線分析和在線估計網(wǎng)絡(luò)條件的基礎(chǔ)上，提出將識別應(yīng)用的相關(guān)AI模型緩存到邊緣節(jié)點，并通過動態(tài)調(diào)整其緩存大小來最小化預(yù)期的端到端延遲。因此，當緩存中的AI模型能夠滿足請求的要求時，可以直接從緩存中獲取AI模型進行使用。通過這種方式，可以通過使用緩存和重用來避免冗余操作。

此外，為了繼續(xù)進行有效的緩存和結(jié)果重用，必須解決可重用結(jié)果的精確查找問題，即緩存框架必須系統(tǒng)地容忍變化并評估關(guān)鍵的相似性。Foggy Cache［40］首先將異構(gòu)原始輸入數(shù)據(jù)嵌入到具有通用表示的特征向量中；然后，提出了自適應(yīng)局部敏感哈希（Adaptive Locality Sensitive Hashing，A-LSH），即一種常用來索引高維數(shù)據(jù)的局部敏感哈希的變體， 對這些向量進行索引，以實現(xiàn)快速準確的查找；最后，基于Ｋ?緊鄰（k-Nearest Neighbor，KNN） 實現(xiàn)均勻化，利用緩存的值去除離群值，確保初始選擇的K條記錄之間存在主導聚類，從而確定A-LSH查詢記錄的重用輸出。因此，通過對可重用結(jié)果的精確查找和計算結(jié)果的緩存，可以減少AI模型的計算量，減輕對硬件資源的壓力。

與共享推理結(jié)果不同的是，文獻［41］通過不同AI模型之間的共享來減少計算量。通過考慮訓練樣本之間的相關(guān)性，作者提出了同一目標區(qū)域內(nèi)的 遷移學習算法，即如果一個目標區(qū)域內(nèi)存在多個相關(guān)的AI模型，那么一個AI模型的訓練也可以使其他相關(guān)的AI模型受益。該方法通過共享訓練良好的AI模型，減少了未訓練的AI模型在同一目標區(qū)域的AI計算量。

2.3 目前面臨的挑戰(zhàn)

盡管AI on edge的工作研究很多，但也存在一些很明顯的挑戰(zhàn)。本文分別從數(shù)據(jù)可用性、模型訓練、協(xié)調(diào)機制和性能指標四方面列舉了AI on edge的重大挑戰(zhàn)。

數(shù)據(jù)質(zhì)量

數(shù)據(jù)的可用性是一切模型訓練的基礎(chǔ)。首先，對于提供原始數(shù)據(jù)的用戶需要提供一定的激勵才能獲得更加有用的真實數(shù)據(jù)，所以對提供數(shù)據(jù)的用戶設(shè)計合理的激勵機制是十分重要的。否 則，原始數(shù)據(jù)可能無法用于模型訓練和推斷。此外，來自各個終端設(shè)備的原始數(shù)據(jù)可能會有明顯的偏差，這將極大地影響學習性能。盡管聯(lián)合學習可以 克服Non?IID所帶來的問題，在一定程度上，訓練過程在設(shè)計魯棒通信協(xié)議方面仍面臨很大困難。因此，在數(shù)據(jù)可用性方面存在著巨大的挑戰(zhàn)。

模型訓練

目前，從模型本身到訓練框架和硬件，AI 模型的訓練面臨著以下兩方面的嚴峻挑戰(zhàn)。第一，基于AI模型時效的考量，如何確定合適的模 型學習精度閾值，以利于AI模型的快速交付和部署；第二，如何在有限的資源下選擇探索性訓練框架和加速器架構(gòu)。模型選擇、資源配置和管理耦合，問題復雜而富有挑戰(zhàn)性。

協(xié)調(diào)機制

考慮到異構(gòu)設(shè)備之間的計算能力和通信資源的差異，得到的AI模型無法在所有的設(shè)備適用，這可能會導致相同的方法在不同的移動設(shè)備 集群中獲得不同的學習結(jié)果。因此，考慮異構(gòu)邊緣 器件之間的兼容性和協(xié)調(diào)具有重要的意義。所以，在端－邊－云之間設(shè)計一種協(xié)調(diào)機制是十分必要的， 這種機制將為不同的邊緣設(shè)備提供一個統(tǒng)一的API接口。

性能指標

由于EC網(wǎng)絡(luò)的不確定性特征（無線信道質(zhì)量變化、并發(fā)業(yè)務(wù)請求不可預(yù)測等），常用的標準性能指標（如Top?k精度或平均精度）不能反 映邊緣環(huán)境中AI模型推理的運行性能。因此，這將導致無法準確量化和比較不同AI模型的性能。除了模型精度之外，推理延遲、資源消耗和服務(wù)收入也是關(guān)鍵指標。由于服務(wù)類型和應(yīng)用場景的不同，一個邊緣AI服務(wù)往往涉及多個指標，這時就會出現(xiàn)一個新的問題，即多個指標之間的權(quán)衡。由于EI服務(wù)的特點，不同的指標對服務(wù)的影響也不同。然而，如何準確地平衡多個指標，使綜合績效最大化，已成為定量EI服務(wù)性能的關(guān)鍵。因此需要識別EI的關(guān)鍵性能指標，并探索這些指標之間的權(quán)衡，以幫助提高EI部署的效率。

3.AI for edge

在這一部分，將AI for edge的研究工作分為任務(wù)卸載和邊緣緩存兩部分。

3.1 任務(wù)卸載

邊緣計算允許邊緣設(shè)備在能量、延遲、計算能力等約束下，將部分計算任務(wù)卸載給邊緣節(jié)點［42］。但如圖3所示，存在如下一些挑戰(zhàn)：① 當一個邊緣設(shè)備處于多個邊緣節(jié)點的服務(wù)范圍時，如何選擇合適的節(jié)點進行任務(wù)卸載；②對于有一定計算資源的邊緣設(shè)備，需要平衡在本地和在邊緣節(jié)點執(zhí)行任務(wù)時的資源消耗和延遲程度，以此達到一個最優(yōu)的執(zhí)行策略；③由于應(yīng)用程序服務(wù)的多樣性，邊緣設(shè)備也需要處理各種各樣的任務(wù)。但是，不同類型的任務(wù)對資源的需求不同。因此，對各種資源的分配也是一個挑戰(zhàn)。

解決這類任務(wù)卸載問題是NP?hard［43］，因為至少需要結(jié)合優(yōu)化通信和計算資源以及邊緣設(shè)備的競爭。特別是，優(yōu)化需要考慮無線環(huán)境的時變（如信道質(zhì)量的變化）和任務(wù)卸載的要求，因此需要使用學習方法。在所有與基于學習的優(yōu)化方法相關(guān)的工作中，當有多個邊緣節(jié)點和無線信道可進行計算卸載時，基于DL的方法比其他方法更具有優(yōu)勢。下面介紹兩種基于DL的方法。

丨3.1.1 DNN用例

為了更高效地利用網(wǎng)絡(luò)資源，在DNN的基礎(chǔ)上研究者提出了許多高效卸載方案。例如，文獻［44］提出了一種將DNN劃分為多個分區(qū)的技術(shù)，這些分區(qū)可以在本地由終端設(shè)備處理，也可以卸載到一個或多個強大的節(jié)點上。文獻［45］采用最短路徑法 和懲罰因子法確定DNN分區(qū)，并在每個DNN分區(qū)到達時增量構(gòu)建DNN模型，允許客戶端在上傳整個DNN 模型之前就開始部分上傳，從而提高查詢性能；基于上傳開銷罰因子法，文獻［46］提出了一種增強分區(qū)法，該方法利用客戶端與云／邊緣服務(wù)器之 間的DNN執(zhí)行圖上的最短路徑法對DNN層進行分區(qū)，生成更細粒度的上傳計劃；文獻［47］將DNN最優(yōu)計算調(diào)度問題轉(zhuǎn)化為移動云計算環(huán)境下的最短路徑問題和整數(shù)線性規(guī)劃（ICP），并通過層粒度優(yōu)化 公式對DNN架構(gòu)進行劃分，從而實現(xiàn)移動設(shè)備和云之間的協(xié)同計算。

文獻［48］提出了一種端邊云協(xié)同 環(huán)境下的DN推理加速高效卸載方案（Eos DNN），其中DNN推理加速主要體現(xiàn)在遷移延遲的優(yōu)化和實時DNN查詢的實現(xiàn)。此外，文獻［49］研究了關(guān)于區(qū)塊鏈的一個特殊卸載場景。邊緣設(shè)備上挖掘任務(wù)的計算和能量消耗 可能會限制區(qū)塊鏈在EC網(wǎng)絡(luò)中的實際應(yīng)用。當然，這些挖掘任務(wù)可以從邊緣設(shè)備卸載到邊緣節(jié)點，但這可能導致邊緣資源分配不公平。

丨3.1.2 DRL用例

雖然將計算任務(wù)卸載到邊緣節(jié)點可以提高計算任務(wù)的處理效率，但由于無線環(huán)境的潛在質(zhì)量較低，卸載的可靠性受到影響。在文獻［50］中，為了使卸載效用最大化，作者首先量化了各種通信模式對任務(wù)卸載性能的影響，并據(jù)此提出了應(yīng)用DQL（Deep Q?Learning）在線選擇最優(yōu)目標邊緣節(jié)點和傳輸模式的方法。文獻［51］不僅考慮了延遲違反概率，還 考慮了解碼錯誤概率，指出了傳輸數(shù)據(jù)的編碼速率是使卸載達到要求的可靠性水平的關(guān)鍵；考慮了編碼塊長度的影響，提出了計算資源分配的馬爾可夫決策過程（MDP），以提高平均卸載可靠性。

此外，還有不少文獻討論了邊緣設(shè)備細粒度計算資源的調(diào)度問題，主要涉及到任務(wù)卸載中的能量收集問題。例如，文獻［52］使用DDQL提出了一種最佳的動態(tài)電壓頻率縮放算法，實驗結(jié)果顯示與 DQL相比，DDQL可以節(jié)省更多的能量，實現(xiàn)更高的卸載效率。與之前基于DQL 的離散功率控制策略不同，文獻［53］提出了一種具有連續(xù)動作空間（而非離散動作空間）的DRL方法DDPG，對局部執(zhí)行和任務(wù)卸載進行更細粒度的功率控制。該方法可以自適應(yīng)地分配邊緣設(shè)備的功率，以使其長期平均成本最小，數(shù)值仿真驗證了該方法相對于基于DQL的離散功率控制策略的優(yōu)越性。

3.2 邊緣緩存

隨著各類智能終端設(shè)備的興起，多媒體應(yīng)用、手機游戲、社交應(yīng)用等服務(wù)也得到了快速發(fā)展。這一趨勢在給網(wǎng)絡(luò)架構(gòu)帶來越來越大流量壓力的同時，也展示了一個有趣的特性，即相同的內(nèi)容經(jīng)常被同一區(qū)域的設(shè)備多次請求。這一特性促使研究人員考慮如何緩存內(nèi)容，以實現(xiàn)對請求的快速響應(yīng)，并減少網(wǎng)絡(luò)上的流量負載。從內(nèi)容交付網(wǎng)絡(luò)到蜂窩網(wǎng)絡(luò)的 內(nèi)容緩存，網(wǎng)絡(luò)中的內(nèi)容緩存研究從未停歇，以此來應(yīng)對不斷增長的多媒體業(yè)務(wù)需求。邊緣緩存［54］ 符合向用戶推送內(nèi)容的理念，被認為是進一步減少冗余數(shù)據(jù)傳輸、緩解云數(shù)據(jù)中心壓力、提高QoE（Quality of Experience ） 的一種很有前景的解決方案。

邊緣緩存可以利用地理位置上離用戶較近的邊緣節(jié)點緩存熱點內(nèi)容，從而實現(xiàn)對服務(wù)范圍內(nèi)請求 的快速響應(yīng)。因此，邊緣緩存不僅可以實現(xiàn)更快的請求響應(yīng)，還可以減少網(wǎng)絡(luò)中相同內(nèi)容的重復傳輸。然而，邊緣緩存也面臨許多挑戰(zhàn)。通常，邊緣緩存需要解決兩個密切相關(guān)的問題：①邊緣節(jié)點覆蓋范圍內(nèi)熱門內(nèi)容的分布難以估計，可能會隨時空變化而不同，并發(fā)生變化［55］；② 針對EC環(huán)境中海量異構(gòu)設(shè)備的特點，層級化的緩存體系結(jié)構(gòu)和復雜的網(wǎng)絡(luò)特性使內(nèi)容緩存策略的設(shè)計更加困難［56］。具體來說，只有當內(nèi)容流行度分布已知時，才能推導出最佳邊緣緩存策略。然而，用戶對內(nèi)容的偏好實際上是未知的，因為他們的移動性、個人偏好和連通性可能 一直在變化。在本小節(jié)中，將討論用于確定邊緣緩存策略的DL學習算法。

丨3.2.1 DNN用例

傳統(tǒng)的緩存方法通常計算復雜度較高，因為它們需要大量的在線優(yōu)化迭代來確定用戶和內(nèi)容的特 征以及內(nèi)容放置和傳遞策略。

① DL可以用來處理從用戶的移動設(shè)備上收集到的原始數(shù)據(jù)，從而提取用戶和內(nèi)容的特征，作為基于特征的內(nèi)容流行矩陣。這個流行度矩陣可以量化用戶和內(nèi)容的流行度，為緩存決策提供數(shù)字基礎(chǔ)。例如，文獻［57］提出在FL的框架下使用自動編碼器實現(xiàn)用戶信息和文件信息的特征提取，然后根據(jù)相似度矩陣給出推薦的緩存列表。

② 在使用DNN優(yōu)化邊緣緩存策略時，可以通過離線訓練避免在線繁重的計算迭代。DNN由一個用于數(shù)據(jù)正則化的編碼器和后面的隱藏層組成， 可以用最優(yōu)或啟發(fā)式算法生成的解進行訓練并部署，以確定緩存策略［58］，從而避免在線優(yōu)化迭代。類似地，在文獻［59］中，受部分緩存刷新優(yōu)化問題 的輸出具有某些模式的啟發(fā)，訓練 MLP接收當前內(nèi)容流行度和最后一次內(nèi)容放置概率作為輸入，以生成緩存刷新策略。

雖然可以設(shè)計和實現(xiàn)基于DNN的緩存內(nèi)容放置 和傳遞策略，但仍存在一些不足。如文獻［58－59］所示，優(yōu)化算法的復雜性可以轉(zhuǎn)移到DNN 的訓練中， 從而打破了使用優(yōu)化算法的實際局限性。在這種情 況下，DL用于學習輸入———解關(guān)系，而基于DNN的方法只有在原始緩存問題存在優(yōu)化算法時才可用。因此，基于DNN方法的性能受固定的優(yōu)化算法限 制，不具有自適應(yīng)性。

此外，DL還可以用于定制邊緣緩存。例如，為了最小化自動駕駛汽車的內(nèi)容下載延遲，在云中部署一個 MLP來預(yù)測需要請求的內(nèi)容的流行程度，然后將 MLP 的輸出發(fā)送到邊緣節(jié)點（即文獻［60］中RSu的 MEC服務(wù)器），最后根據(jù)這些輸出，每個邊緣節(jié)點緩存最有可能被請求的內(nèi)容。

但是，對于不同特征的用戶，他們對內(nèi)容的偏好是不同的。因此，可以將用戶深度劃分為不同的類別，然后探究每個類別中用戶的偏好，這對提高內(nèi)容緩存的命中率有積極的影響。在自動駕駛汽車方面，CNN被選中預(yù)測車主的年齡和性別。一旦識別出車主的這些特征，就使用Ｋ?means聚類和二值分類算法來確定哪些已經(jīng)緩存在邊緣節(jié)點的內(nèi)容需要進一步從邊緣節(jié)點下載并緩存到汽車上。此外，文獻［61］在充分利用用戶特性方面指出，在不同的環(huán)境中，用戶訪問內(nèi)容的意愿是不同的。受此啟發(fā)，RNN被用來預(yù)測用戶的軌跡。然后根據(jù)這些預(yù)測，將所有用戶感興趣的內(nèi)容預(yù)取并提前緩存到每個預(yù)測位置的邊緣節(jié)點。

丨3.2.2 DRL用例

上節(jié)中描述的DNN功能可以看作是整個邊緣 緩存解決方案的一部分，即 DNN本身并不處理整個優(yōu)化問題。與這些基于DNN的邊緣緩存不同，DRL可以利用用戶和網(wǎng)絡(luò)的上下文環(huán)境，以自適應(yīng)策略最大化長期緩存性能作為優(yōu)化方法的主體。

與傳統(tǒng)的RL，如Q?learning［62］和Multi-ArmedBandit（MAB） Learning［55］相比，DRL的優(yōu)勢在DNN可以從原始觀測數(shù)據(jù)中學習關(guān)鍵特征。結(jié)合RL和DL的集成DRL agent 可以直接從高維觀測數(shù)據(jù)中優(yōu)化EC網(wǎng)絡(luò)的緩存管理策略。

文獻［63］使用DDPG來訓練DRL代理，以最大化長期緩存命中率，做出適當?shù)木彺嫣鎿Q決策。該工作考慮單個BS場景，在該場景中，DRL代理決定是緩存請求的內(nèi)容還是替換緩存的內(nèi)容。在訓練DRL代理時，獎勵被設(shè)計為緩存命中率。此外，利用Wolpertinger架構(gòu)［64］來應(yīng)對大行動空間的挑戰(zhàn)。具體來說，首先為DRL代理設(shè)置一個主要操作集，然后使用KNN將實際操作輸入映射到該集合中的一個。通過這種方式，操作空間被有意地縮小，而不 會丟失最優(yōu)的緩存策略。與基于DQL的算法搜索 整個動作空間相比，經(jīng)過訓練的DRL代理與DDPG和 Wolpertinger體系結(jié)構(gòu)相比，能夠在降低運行時 間的同時實現(xiàn)具有競爭力的緩存命中率。

另外，考慮到流行內(nèi)容的時變性，文獻［65］使用Wolpertinger 架構(gòu)的深度強化學習框架研究無線網(wǎng)絡(luò)邊緣的內(nèi)容緩存。特別地，提出了基于深度行為者－批評強化學習的集中和分散內(nèi)容緩存策略。仿真結(jié)果驗證了該策略相比最少使用策略（LFU）、最少最近使用策略（LRU）和先進先出策略（FIFO）具有很強的優(yōu)越性。

3.3 目前面臨的挑戰(zhàn)

雖然AI for edge 的應(yīng)用比較廣泛，但也存在一些挑戰(zhàn)。本節(jié)從系統(tǒng)建模、算法部署、優(yōu)化與效率的平衡和資源編排四個方面列舉了AI on edge 的重大挑戰(zhàn)。

系統(tǒng)建模

使用AI方法進行系統(tǒng)建模時，公式化模型的數(shù)量必須是有限的。但模型數(shù)量的有限，使得一些以SGD和MBGD優(yōu)化基礎(chǔ)的AI算法可能無法很好地工作。同時針對MDP問題，狀態(tài)集和動作集又不能是無限的，在進一步處理之前需要進行離散化，以避免維數(shù)災(zāi)難問題的出現(xiàn)。一般的解決方法是將約束轉(zhuǎn)化為懲罰，并將其納入全局優(yōu)化目標。這種現(xiàn)狀極大地制約了數(shù)學模型的建立，導致性能下降。這種情況可以被看作是利用AI方法的 一種妥協(xié)。因此，這對在EC中建立合適的系統(tǒng)模型構(gòu)成了挑戰(zhàn)。

算法部署

對于邊緣的AI算法來說，當這些算法以在線方式部署在邊緣時，會面臨諸多挑戰(zhàn)。此外，另一個被忽略的問題是，由哪個邊緣設(shè)備來部署 和運行所提出的復雜算法?，F(xiàn)有的研究工作通常集 中在具體問題上，而沒有提供細節(jié)。

優(yōu)化與效率的平衡

盡管AI技術(shù)確實能夠提 供最優(yōu)的解決方案，但在資源受限的邊緣環(huán)境中，研 究者更多的是關(guān)心如何在有限的資源下實現(xiàn)更高的 算法效率。特別是在嵌入式的行業(yè)中，大多的設(shè)備都是資源受限的，但在嵌入式設(shè)備上部署的任務(wù)確實很 多，要完成這些任務(wù)，就需要把有限的資源最大化。因此，如何在嵌入AI技術(shù)的情況下，提高EC系統(tǒng)在不同應(yīng)用場景下的可用性和效率是一個嚴峻的挑戰(zhàn)。

資源編排

為了充分利用邊緣計算的去中心化資源，需要建立與現(xiàn)有云計算基礎(chǔ)設(shè)施的連接。由于EI的部署環(huán)境通常是高度動態(tài)的，邊緣計算框架需要優(yōu)秀的在線資源編排和參數(shù)配置，才能支持大量的AI服務(wù)。異構(gòu)計算資源、通信資源和緩存資源的實時聯(lián)合優(yōu)化、高維系統(tǒng)參數(shù)配置是關(guān)鍵。然而，目前還沒有相關(guān)的工作深入研究部署和使用這些DL技術(shù)在實際邊緣計算網(wǎng)絡(luò)或測試平臺上，進行長期在線資源編排的性能分析。

４.結(jié)論

EI的發(fā)展處于初始階段，吸引了眾多的學者參與研究，本文通過一個簡單明了的分類對EI的研究現(xiàn)狀提供一些參考。具體來說，本文首先分析了 AI和EC的關(guān)系，提出了在IoT時代二者結(jié)合的必要性，從而引出EI的概念；接著，本文將EI分為AI on edge和AI for edge 兩部分，然后從模型訓練、模型推理兩方面闡述了AI on edge現(xiàn)狀，并給出了存在的一些挑戰(zhàn)；對于AI for edge，本文從任務(wù)卸載和邊緣緩存兩方面進行了闡述，并給出了可能存在的挑戰(zhàn)。最后，希望本文能夠激發(fā)相關(guān)學者對EI未來研究的興趣。

參考文獻如下：

[1] ASIF?UR?RAHMAN M,AFSANA F,MAHMUD M,et al. Toward a Heterogeneous Mist, Fog, and Cloud?based Framework for the Internet of Healthcare Things[ J].IEEE Internet of Things Journal,2019,6(3):4049-4062.

[2] ZWOLENSKI M, WEATHERILL L. The Digital Universe Rich Data and the Increasing Value of the Internet of Things[ J].Journal of Telecommunications and the Digital Economy,2014,2(3):1-9.

[3] CHIANG M, ZHANG T. Fog and IoT: An Overview of Research Opportunities[ J].IEEE Internet of Things Jour? nal,2017,2(6):854-864.

[4] AHMED A,AHMED E.A Survey on Mobile Edge Compu? ting[ C ] ∥ IEEE Conference on Intelligent Systems & Control.Coimbatore:IEEE,2016:1-10.

[5] SHI W,CAO J,ZHANG Q,et al. Edge Computing:Vision and Challenges[ J].IEEE Internet Things Journal,2016,3(5):637-646.

[6] PREMSANKAR G, FRANCESCO M D, TALEB T. Edge Computing for the Internet of Things:A Case Study[ J]. IEEE Internet Things Journal,2018,5(2):1275-1284.

[7] MAO Y, YOU C, ZHANG J, et al. A Survey on Mobile Edge Computing: The Communication Perspective [J]. IEEE Communications Surveys & Tutorials,2017,19(4): 2322-2358.

[8] CHEN J.The Evolution of Computing:AlphaGo[ J]. Com? puting in Science & Engineering,2016,18(4):4-7.

[9] SHAHABI C. The Future of Driverless Cars [ M ]. New York:Springer,2016.

[10] ZENG S,WU M.Based on Public Health Service in Smart Medical Comprehensive Service Platform [ C ] ∥ IEEE Conference on Computation, Communication and Engi? neering.Longyan:IEEE,2019:1-4.

[11] HAO X,ZHANG G,MA S.Deep Learning[J].International Journal of Semantic Computing,2016,10(3):417-439.

[12] ZHOU Z,CHEN X,LI E,et al. Edge Intelligence:Paving the Last Mile of Artificial Intelligence with Edge Computing[ J]. Proceedings of the IEEE,2019,107( 8): 1738-1762.

[13] ZHANG X, WANG Y, LU S, et al. Open EI: An Open Framework for Edge Intelligence[ C] ∥IEEE 39th Inter? national Conference on Distributed Computing Systems( ICDCS).Dallas:IEEE,2019:1840-1851.

[14]李肯立,劉楚波. EI: 現(xiàn)狀和展望[ J]. 大數(shù)據(jù), 2019, 5(3):72-78.

[15] CHEN J, RAN X. Deep Learning with Edge Computing: A Review[ J]. Proceedings of the IEEE, 2019, 107( 8): 1655-1674.

[16] WANG X,HAN Y,LEUNG V,et al.Edge AI:Convergence of Edge Computing and Artificial Intelligence [ M]. New York:Springer Press,2020.

[17] MAO Q, HU F, HAO Q. Deep Learning for Intelligent Wireless Networks: A Comprehensive Survey [ J ]. IEEE Communications Surveys & Tutorials, 2018, 20 ( 4 ): 2595-2621.

[18] CHEN M,CHALLITA U,SAAD W,et al.Artificial Neural Networks?based Machine Learning for Wireless Networks: A Tutorial [ J ]. IEEE Communications Surveys & Tutorials,2019,21(4):3039-3071.

[19] MCMAHAN H,MOORE E,RAMAGE D,et al. Communi? cation?efficient Learning of Deep Networks from Decen? tralized Data[ C] ∥Proceedings of the 20th International Conference on Artificial Intelligence and Statistics. Fort Lauderdale:AISTATS,2017:1273-1282.

[20] ABAD M,OZFATURA E,GUNDUZ D,et al. Hierarchical Federated Learning Across Heterogeneous Cellular Networks[ C] ∥IEEE Conference on Acoustics, Speech, and Signal Processing.Brighton:IEEE,2019:8866-8870.

[21] SATTLER F,WIEDEMANN S,MULLER K,et al. Robust and Communication?Efficient Federated Learning from Non?i.i.d. Data[J].IEEE Transactions on Neural Networks and Learning Systems,2020,31(9):3400-3413.

[22] XU J, DU W, CHENG R, et al. Ternary Compression for Communication?Efficient Federated Learning [ J / OL ]. arXiv:2003. 03564v1, 2020. [ 2021 - 08 - 19]. https: ∥ arxiv.org / abs / 2003.03564.

[23] CHEN Y, SUN X, JIN Y. Communication?Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation [ J]. IEEE Transactions on Neural Networks and Learning Systems, 2020,31(10):4229-4238.

[24] WANG S, TUOR T, SALONIDIS T, et al. When Edge Meets Learning: Adaptive Control for Resource Constrained Distributed Machine Learning [ C ] ∥ IEEE INFOCOM.Honolulu:IEEE,2018:63-71.

[25] XU Z,YU F,YANG Z,et al. Helios:Heterogeneity?Aware Federated Learning with Dynamically Balanced Collabora? tion[ J / OL].arXiv:1912.01684v2,2021.[ 2021- 08- 17]. https:∥arxiv.org / abs / 1912.01684v2.

[26] DINH C,TRAN N,NGUYEN M,et al.Federated Learning over Wireless Networks: Convergence Analysis and Resource Allocation[ J].IEEE / ACM Transactions on Net? working,2021,29(1):398-409.

[27] WANG H,KAPLAN Z,NIU D,et al.Optimizing Federated Learning on Non?IID Data with Reinforcement Learning[ C] ∥IEEE INFOCOM.Honolulu:IEEE,2020:1-10.

[28] XIE C,KOYEJO S,GUPTA I.Practical Distributed Learn? ing:Secure Machine Learning with Communication?efficient Local Updates[J / OL]. arXiv:1903.06996v1,2019.[ 2021- 07-29].https:∥arxiv.org / abs / 1903.06996v1.

[29] ANG F,CHEN L,ZHAO N,et al.Robust Federated Learn? ing with Noisy Communication[ J]. IEEE Transactions on Communications,2020,68(6):3452-3464.

[30] KIM H, PARK J, BENNIS M, et al. On?device Federated Learning via Blockchain and Its Latency Analysis[ J / OL]. arXiv:1808. 03949v2, 2019. [ 2021 - 07 - 28]. https: ∥ arxiv.org / pdf / 1808.03949.pdf.

[31] ALWANI M, CHEN H, FERDMAN M, et al. Fused?layer CNN Accelerators[ C] ∥49th Annual IEEE International Symposium on Microarchitecture. Taipei: IEEE, 2016: 1-12.

[32] RASTEGARI M,ORDONEZ V,REDMON J,et al. XNOR? Net: ImageNet Classification Using Binary Convolutional Neural Networks[C]∥2018 European Conference on Com? puter Vision.Munich:ECCV,2016:525-542.

[33] IANDOLA F,HAN S,MOSKEWICZ M,et al.SqueezeNet: AlexNet?level Accuracy with 50x Fewer Parameters and< 0.5 MB Model Size [ J / OL ]. arXiv: 1602. 07360v4, 2016. [ 2021 - 08 - 02 ]. https: ∥ arxiv. org / abs / 1602. 07360v4.

[34] HINTON G, VINYALS O, DEAN J. Distilling the Knowledge in a Neural Network [ J / OL ]. arXiv: 1503. 02531v1,2015. [ 2021 - 08 - 06]. https: ∥arxiv. org / abs / 1503.02531.

[35] KANG Y, HAUSWALD J, GAO C, et al. Neurosurgeon: Collaborative Intelligence between the Cloud and Mobile Edge[ C] ∥Proceeding of 22nd International Conference Architecture Support Programming Language Operator System.Xi’ an:ASPLOS,2017:615-629.

[36] LI G,LIU L,WANG X,et al. Auto?tuning Neural Network Quantization Framework for Collaborative Inference between the Cloud and Edge[ C] ∥Proceeding of Interna? tional Conference on Artificial Neural Networks. Kuala Lumpur:ICANN,2018:402-411.

[37] ZHAO Z,BARIJOUGH K,GERSTLAUER A,et al. Deep? Things:Distributed Adaptive Deep Learning Inference on Resource?constrained IoT Edge Clusters[ J]. IEEE Trans? actions on Computer?Aided Design of Integrated Circuits and Systems,2018,37(11):2348-2359.

[38] ZHANG J, CHEN B, LIN Y, et al. A Locally Distributed Mobile Computing Framework for DNN Based Android Applications[ C] ∥Proceeding of the Tenth Asia?Pacific Symposium on Internetware.Beijing:CSERIS,2018:1-6.

[39] DROLIA U, GUO K, TAN J, et al. Cachier: Edge?caching for Recognition Applications[C]∥IEEE 37th International Conference on Distributed Computing Systems. Atlanta: ICDCS,2017:276-286.

[40] GUO P, HU B, LI R, et al. Foggy Cache: Cross?device Approximate Computation Reuse[ C] ∥Proceeding of the 24th Annual International Conference on Mobile Computing and Networking.New Delhi:MobiCom,2018:19-34.

[41] WANG L, LIU W, ZHANG D, et al. Cell Selection with Deep Reinforcement Learning in Sparse Mobile Crowdsensing[ C] ∥2018 IEEE 38th International Confer? ence on Distributed Computing Systems. Vienna: IEEE, 2018:1543-1546.

[42] MACH P,BECVAR Z. Mobile Edge Computing:A Survey on Architecture and Computation Offloading [ J ]. IEEE Communications Surveys & Tutorials, 2017, 19 ( 3 ): 1628-1656.

[43] CHEN X,JIAO L,LI W,et al.Efficient Multi?user Compu?tation Offloading for Mobile?edge Cloud Computing [ J]. IEEE / ACM Transactions on Networking, 2016, 24 ( 5): 2795-2808.

[44] MOHAMMED T, JOE?WONG C, BABBAR R, et al. Dis? tributed Inference Acceleration with Adaptive DNN Parti? tioning and Offloading [ C] ∥ IEEE INFOCOM. Toronto: IEEE,2020:1-10.

[45] JEONG H,LEE H,SHIN C,et al. IONN:Incremental Off? loading of Neural Network Computations from Mobile Devices to Edge Servers [ C] ∥ Proceedings of the ACM Symposium on Cloud Computing. Carlsbad: ACM, 2018: 401-411.

[46] SHIN K, JEONG H, MOON S. Enhanced Partitioning of DNN Layers for Uploading from Mobile Devices to Edge Servers[ C] ∥ the 3rd International Workshop on Deep Learning for Mobile Systems and Applications. Korea: ACM 2019:35-40.

[47] ESHRATIFAR A, ABRISHAMI M, PEDRAM M.JointDNN:An Efficient Training and Inference Engine for Intelligent Mobile Cloud Computing Services [ J]. IEEE Transactions on Mobile Computing, 2021, 20 ( 2 ): 565-576.

[48] XUE M,WU H, LI R, et al. EosDNN: An Efficient Off? loading Scheme for DNN Inference Acceleration in Local? Edge?Cloud Collaborative Environments[ J]. IEEE Trans? actions on Green Communications and Networking,2021: 1-17.

[49] LUONG N,XIONG Z,WANG P,et al.Optimal Auction for Edge Computing Resource Management in Mobile Block? chain Networks:A Deep Learning Approach[ C] ∥IEEE Conference on Communications.Kansas City:IEEE,2018: 1-6.

[50] ZHANG K,ZHU Y,LENG S,et al.Deep Learning Empow? ered Task Offloading for Mobile Edge Computing in Urban Informatics [ J ]. IEEE Internet Things Journal, 2019, 6(5):7635-7647.

[51] YANG T, HU Y, GURSOY M, et al. Deep Reinforcement Learning Based Resource Allocation in Low Latency Edge Computing Networks[ C] ∥15th International Symposium on Wireless Communication Systems.Lisbon:IEEE,2018: 1-5.

[52] ZHANG Q, LIN M, YANG L, et al. A Double Deep Q?learning Model for Energy?efficient Edge Scheduling[ J]. IEEE Transactions on Services Computing,2019,12(5):739-749.

[53] CHEN Z,WANG X.Decentralized Computation Offloading for Multi?user Mobile Edge Computing:A Deep Reinforce?ment Learning Approach [ J ]. EURASIP Journal -on Wireless Communcations and Networking,2020(1):1 6.

[54] ZEYDAN E,BASTUG E,BENNIS M,et al.Big Data Cac? hing for Networking:Moving from Cloud to Edge[ J].IEEE Communications Magazine,2016,54(9):36-42.

[55] SONG J, SHENG M, QUEK T, et al. Learning?based Content Caching and Sharing for Wireless Networks[ J]. IEEE Transactions Communications, 2017, 65 ( 10 ): 4309-4324.

[56] LI X,WANG X,WAN P,et al.Hierarchical Edge Caching in Device?to?Device Aided Mobile Networks: Modeling, Optimization, and Design [ J]. IEEE Journal on Selected Areas in Communications,2018,36(8):1768-1785.

[57] YU Z,HU J,MIN G,et al.Federated Learning Based Pro? active Content Caching in Edge Computing [ C] ∥ IEEE Global Communications Conference. Abu Dhabi : IEEE, 2018:1-6.

[58] CHANG Z, LEI L, ZHOU Z, et al. Learn to Cache: Machine Learning for Network Edge Caching in the Big Data Era [ J]. IEEE Wireless Communications, 2018, 25(3):28-35.

[59] YANG J, ZHANG J, MA C, et al. Deep Learning?based Edge Caching for Multi?cluster Heterogeneous Networks[ J]. Neural Computing & Applications, 2019, 32 ( 19): 1-12.

[60] NDIKUMANA A, TRAN N, HONG C. Deep Learning Based Caching for Self?driving Car in Multi?access Edge Computing[ J / OL]. arXiv: 1810. 01548v1, 2020. [ 2021 - 08-07].https:∥arxiv.org / abs / 1810.01548v1.

[61] TANG Y, GUO K, MA J, et al. A Smart Caching Mechanism for Mobile Multimedia in Information Centric Networking with Edge Computing [ J]. Future Generation Computer Systems,2019,91:590-600.

[62] GUO K, YANG C, LIU T. Caching in Base Station with Recommendation Via Q?learning [ C ] ∥ IEEE Wireless Communications and Networking Conference.San Francisco: IEEE,2017:1-6.

[63] ZHONG C,GURSOY M,VELIPASALAR S, et al.A Deep Reinforcement Learning?based Framework for Content Caching[ C] ∥ 52nd Annual Conference on Information Sciences and Systems.Princeton:CISS,2018:1-6.

[64] DULAC?ARNOLD G,EVANS R,HASSELT H,et al.Deep Reinforcement Learning in Large Discrete Action Spaces[ J / OL].(2016-4- 4). arXiv:1512.07679,2016. https:∥arxiv.org / abs / 1512.07679v2

[65] CHEN Z,GURSOY M,VELIPASALAR S.Deep Reinforce? ment Learning?based Edge Caching in Wireless Networks[J]. IEEE Transactions on Cognitive Communications andNetworking,2020,6(1):48-61.