清華團(tuán)隊(duì)研發(fā)光電融合芯片，算力是商用GPU的3000余倍，推動(dòng)構(gòu)建生態(tài)友好的AI計(jì)算框架
發(fā)布人：傳感器技術(shù)
時(shí)間：2023-11-05
來(lái)源：工程師
發(fā)布文章
加入技術(shù)交流群
掃碼加入
和技術(shù)大咖面對(duì)面交流
海量資料庫(kù)查詢
研究人員表示：“形象來(lái)說(shuō)，如果原本的電量可支持現(xiàn)有高性能芯片工作一小時(shí)，那么相同的電量供給下 ACCEL 芯片可以工作五百多年?！?/span>
圖 | 部分團(tuán)隊(duì)成員合影（來(lái)源：資料圖）論文中的實(shí)驗(yàn)演示表明，該芯片的成功研制證明了光子計(jì)算在諸多 AI 任務(wù)中的優(yōu)越性（即光子霸權(quán)），也為解決摩爾定律增速放緩、構(gòu)建生態(tài)能源友好的大規(guī)模 AI 計(jì)算框架開辟了新路徑。
圖 | ACCEL 芯片（來(lái)源：課題組）在論文中，研究人員用“All-analog Chip Combining Electronics and Light”來(lái)描述這款光電融合芯片的特征。這句英文的首字母簡(jiǎn)稱為 ACCEL，恰好是“加速”的含義。
當(dāng)前，人類正處于算力需求爆炸式增長(zhǎng)的時(shí)代，超高性能的計(jì)算架構(gòu)有著大量用武之地。研究人員非常希望能將 ACCEL 芯片快速用于實(shí)踐之中。
目前，他們正在基于 ACCEL 芯片的光電計(jì)算框架，開展一系列應(yīng)用探索例如自動(dòng)駕駛、野外監(jiān)測(cè)、物聯(lián)網(wǎng)傳感器網(wǎng)絡(luò)、計(jì)算機(jī)視覺等。
目前，他們已經(jīng)開展了將超高速圖像計(jì)算，用于光纖通信中的信號(hào)編解碼和誤碼糾錯(cuò)的探索，有望將光纖通信端到端信號(hào)處理的時(shí)延降低四個(gè)數(shù)量級(jí)。
一旦計(jì)算時(shí)間從三小時(shí)變成三秒鐘，很多日常生活應(yīng)用和科學(xué)計(jì)算任務(wù)將會(huì)發(fā)生質(zhì)的變化。
圖 | 光電計(jì)算芯片 ACCEL 的計(jì)算原理和芯片架構(gòu)（來(lái)源：Nature）據(jù)介紹，ACCEL 芯片通過(guò)融合光域計(jì)算和模擬域電計(jì)算，來(lái)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的計(jì)算。在光域之中，ACCEL 芯片通過(guò)一個(gè)多層光學(xué)衍射神經(jīng)網(wǎng)絡(luò)，針對(duì)所輸入的高分辨率圖像，以光速來(lái)進(jìn)行特征提取和數(shù)據(jù)降維。
衍射網(wǎng)絡(luò)的輸出，則由一個(gè)光電二極管陣列加以接收，并通過(guò)光電效應(yīng)轉(zhuǎn)換成模擬電流信號(hào)。通過(guò)這種光域處理，可以極大地減小數(shù)據(jù)維度，從而降低光電轉(zhuǎn)換的規(guī)模。
其中，每一個(gè)光電二極管所產(chǎn)生的光電流，會(huì)根據(jù)電網(wǎng)絡(luò)的權(quán)重參數(shù)流入相應(yīng)的計(jì)算結(jié)點(diǎn)之中，并基于基爾霍夫定律實(shí)現(xiàn)模擬域的電計(jì)算。
這時(shí)，通過(guò)光電二極管這一超高速、低功耗的光電接口，光網(wǎng)絡(luò)和電網(wǎng)絡(luò)完成連接，讓光電融合計(jì)算系統(tǒng)實(shí)現(xiàn)直接、高效的集成。
那么，在自動(dòng)駕駛等視覺任務(wù)中，ACCEL 芯片的泛化能力如何？泛化能力，通常指一個(gè)模型對(duì)于新樣本、新場(chǎng)景的適應(yīng)能力。
ACCEL 不僅在不同測(cè)試集上表現(xiàn)出很好的泛化能力，在不同工況下也具備優(yōu)秀的泛化性。比如，同樣是用于交通場(chǎng)景的計(jì)算，如果出現(xiàn)極弱光、超高幀率等場(chǎng)景，相比單獨(dú)光計(jì)算或電計(jì)算，ACCEL 芯片在抗噪聲訓(xùn)練算法之下表現(xiàn)出極好的魯棒性。
此外，現(xiàn)有光計(jì)算系統(tǒng)，常常針對(duì)特定的專一任務(wù)而設(shè)計(jì)，這導(dǎo)致其應(yīng)用范圍受到限制。而 ACCEL 芯片融合光域計(jì)算和模擬域電計(jì)算，可以輕松實(shí)現(xiàn)重構(gòu)。
當(dāng)針對(duì)特定任務(wù)來(lái)設(shè)計(jì)并制備出來(lái) ACCEL 芯片之后，借助電信號(hào)域的易編程性，ACCEL 芯片能夠重新訓(xùn)練電網(wǎng)絡(luò)的參數(shù)，從而適用于不同的任務(wù)，而幾乎不影響最終準(zhǔn)確率。
圖 | 光電計(jì)算芯片 ACCEL 在不同任務(wù)和光強(qiáng)下的性能（來(lái)源：Nature）
比如在物理學(xué)史上著名的楊氏雙縫實(shí)驗(yàn)中，相干光經(jīng)過(guò)帶有兩條狹縫的擋板之后，會(huì)在后面的探測(cè)板上得到明暗相間的條紋。如果把相干平行光看做輸入，探測(cè)板上的圖案看做輸出，上述實(shí)驗(yàn)就可以簡(jiǎn)單抽象理解為：擋板對(duì)輸入光進(jìn)行了調(diào)控，并通過(guò)光在擋板和探測(cè)面之間的傳播，實(shí)現(xiàn)了對(duì)于輸入光信號(hào)的處理。
對(duì)于現(xiàn)有光計(jì)算來(lái)說(shuō)，許多思想都和上述過(guò)程類似。即通過(guò)精細(xì)調(diào)控光傳播的過(guò)程，改變接收位置處的光相位、光振幅、光偏振等物理屬性，從而實(shí)現(xiàn)光域的計(jì)算和信號(hào)處理。
光計(jì)算芯片的優(yōu)勢(shì)在于光子的高速度、低耗能和大帶寬，這能為大規(guī)模并行計(jì)算和高速數(shù)據(jù)傳輸提供極具潛力的解決方案。
與此同時(shí)，在大量視覺任務(wù)及日常生活場(chǎng)景中，原始信號(hào)本身就是光信號(hào)。使用傳統(tǒng)解決方案，需要在傳感器拍攝之后，再使用電子芯片進(jìn)行處理，這會(huì)增加光電轉(zhuǎn)換、存儲(chǔ)、以及計(jì)算的步驟。相比之下，利用光直接進(jìn)行計(jì)算，是一種更自然、更高效的方式。
近年來(lái)，面對(duì)摩爾定律增速放緩和失效危機(jī)，光計(jì)算作為一種新型計(jì)算范式，得到了廣泛關(guān)注并被寄予厚望。相比目前的電子器件，通過(guò)在光域之中直接對(duì)原始視覺信息進(jìn)行處理，讓光計(jì)算在速度和能效上得以提高幾個(gè)數(shù)量級(jí)。然而，目前的光計(jì)算系統(tǒng)面臨著非線性實(shí)現(xiàn)復(fù)雜、光電接口耗能等國(guó)際難題，導(dǎo)致不少科研工作評(píng)估的高性能優(yōu)勢(shì)難以落地并實(shí)現(xiàn)應(yīng)用。
基于此，該團(tuán)隊(duì)便將課題初衷瞄準(zhǔn)攻克當(dāng)前光計(jì)算領(lǐng)域存在的瓶頸，讓光計(jì)算的超高性能從實(shí)驗(yàn)室走到日常生活。
光芯片，如何完善？
為解決上述國(guó)際難題，本次研究首次提出了深度融合的光計(jì)算和模擬電計(jì)算，建立起一種全模擬的芯片計(jì)算框架。
為了克服現(xiàn)有光計(jì)算系統(tǒng)的痛點(diǎn)，研究人員把目光轉(zhuǎn)向同為模擬計(jì)算的電域模擬計(jì)算：它借助基爾霍夫電壓電流定律、電荷守恒定律等基本的物理規(guī)律實(shí)現(xiàn)計(jì)算。而光信號(hào)通過(guò)光電效應(yīng)轉(zhuǎn)換成模擬電信號(hào)時(shí)，存在著本征的非線性關(guān)系。
基于此，他們提出了新的計(jì)算范式：ACCEL 將用于大規(guī)模提取視覺特征的衍射神經(jīng)網(wǎng)絡(luò)和基于基爾霍夫定律的純模擬電子計(jì)算，集成在同一枚芯片框架內(nèi)。借此繞過(guò)模擬數(shù)字轉(zhuǎn)換器速度、精度與功耗相互制約的物理瓶頸，從而在一枚芯片之內(nèi)就能突破大規(guī)模計(jì)算單元集成、高效非線性、高速光電接口等三大關(guān)鍵瓶頸。在保證高任務(wù)性能的同時(shí)，還實(shí)現(xiàn)超高的計(jì)算能效和計(jì)算速度。
圖 | ACCEL 有望用于電子設(shè)備超低功耗人臉喚醒示意動(dòng)圖（來(lái)源：清華大學(xué)）
之后，兩者所在課題組開展的討論中，便萌生了這樣一個(gè)想法：既然同為模擬計(jì)算領(lǐng)域，那么是否可以通過(guò)深度合作，共同解決領(lǐng)域內(nèi)的瓶頸問(wèn)題？
很快他們定下了這項(xiàng)課題。隨后，先是開展理論建模和仿真驗(yàn)證，針對(duì)衍射光網(wǎng)絡(luò)的計(jì)算模型、光電效應(yīng)的非線性模型模擬、以及電網(wǎng)絡(luò)的計(jì)算模型，開展了物理推導(dǎo)、物理仿真和芯片設(shè)計(jì)。
后來(lái)在實(shí)際流片后和芯片實(shí)測(cè)中，為了克服實(shí)際系統(tǒng)部署中所存在的誤差累積和噪聲，他們對(duì)這些非理想因素進(jìn)行建模，借此開發(fā)出一套系統(tǒng)性修正算法，以此來(lái)應(yīng)對(duì)弱光噪聲、對(duì)齊、加工誤差等非理想因素。借此實(shí)現(xiàn)了與仿真結(jié)果符合度較高的實(shí)驗(yàn)準(zhǔn)確率。
此后，他們又對(duì)芯片系統(tǒng)級(jí)的能效和算力加以評(píng)估。實(shí)測(cè)結(jié)果顯示，ACCEL 芯片在系統(tǒng)級(jí)算力和能效上，分別比目前高性能的商用工業(yè)級(jí) GPU 高出千余倍和百萬(wàn)余倍。
為了確保如此驚人數(shù)據(jù)的可靠性，研究人員做了尤為扎實(shí)的工作來(lái)進(jìn)行實(shí)測(cè)和驗(yàn)證。
他們不僅實(shí)測(cè)了 ACCEL 芯片端到端系統(tǒng)級(jí)的耗能數(shù)據(jù)和時(shí)延數(shù)據(jù)，還進(jìn)一步提出了等效算力的概念。直接從準(zhǔn)確率的角度來(lái)衡量計(jì)算效果，從而能夠摒除不同物理建模方式的影響。
真正做到即便在復(fù)雜數(shù)據(jù)集之上，也能達(dá)到和數(shù)字卷積神經(jīng)網(wǎng)絡(luò)相同的準(zhǔn)確率，同時(shí)將端到端系統(tǒng)級(jí)的耗時(shí)降低千倍、耗能降低百萬(wàn)倍。打消了業(yè)內(nèi)人士對(duì)光計(jì)算算力“有效性”的顧慮。
最終，相關(guān)論文以《用于高速視覺任務(wù)的全模擬光電子芯片》（All-analog photoelectronic chip for high-speed vision tasks）為題發(fā)在 Nature[1]，博士生陳一彤、博士生麥麥提·那扎買提、許晗博士是共同一作，清華大學(xué)戴瓊海院士、方璐副教授、喬飛副研究員、吳嘉敏助理教授擔(dān)任共同通訊作者。
圖 | 相關(guān)論文（來(lái)源：Nature）后續(xù)，他們將研究規(guī)模更大、算力更強(qiáng)的模擬域光電融合系統(tǒng)，這需要在算法層面和硬件層面，開展更高層次的聯(lián)合設(shè)計(jì)優(yōu)化。
另外，以大語(yǔ)言模型為基礎(chǔ)，基于新型 AI 算法的高效硬件計(jì)算平臺(tái)，也是非常值得研究的方向之一。
毋容置疑，硬件算力的提升是引領(lǐng)當(dāng)今 AI 浪潮的重要引擎之一。研究人員認(rèn)為，基于全模擬光電融合計(jì)算的框架，有著非常好的應(yīng)用前景。
要想進(jìn)一步拓展應(yīng)用范圍，就需要構(gòu)建從軟件到硬件的生態(tài)環(huán)境。而一個(gè)完善的生態(tài)環(huán)境，則需要由學(xué)界和業(yè)界協(xié)同打造，因此他們非常期待業(yè)界可以在該方向上部署相關(guān)業(yè)務(wù)，讓前沿學(xué)術(shù)成果能夠加速轉(zhuǎn)化成為產(chǎn)品，完成高效計(jì)算平臺(tái)范式的進(jìn)一步跨越。
參考資料：
1.Chen, Y. et al. All-analog photoelectronic chip for high-speed vision tasks. Nature https://doi.org/10.1038/s41586-023-06558-8 (2023).
運(yùn)營(yíng)/排版：何晨龍
*博客內(nèi)容為網(wǎng)友個(gè)人發(fā)布，僅代表博主個(gè)人觀點(diǎn)，如有侵權(quán)請(qǐng)聯(lián)系工作人員刪除。
