模擬人眼、拯救糊圖、兼容主流AI芯片，最小事件視覺傳感器問世！對話Prophesee CEO
加入技術交流群
編輯 | 漠影
抓拍出不模糊的移動物體照片，從芯片的角度來實現(xiàn)，難度有多高？
▲用事件視覺技術將抓拍照片變清晰（圖源：Prophesee）
從硬件來說，增加一顆傳感器，足夠做到。不僅讓攝影設備高效捕捉到清晰畫面，模擬人眼的事件視覺傳感器，還能大幅降低算力需求和功耗，并且不受光線的影響。一家法國創(chuàng)企普諾飛思（Prophesee），在探索這個突破性方向的道路上，已經(jīng)堅持了9年。它是歐盟獲融資最雄厚的無晶圓廠（Fabless）半導體初創(chuàng)公司，擁有堪稱豪華的投資陣容，包括英特爾投資、博世創(chuàng)投、雷諾集團、小米、韋爾股份、創(chuàng)新工場、韋豪創(chuàng)芯等。今年10月，Prophesee推出業(yè)界首款專為超低功耗邊緣視覺設備集成設計的Metavision事件視覺傳感器GenX320，進一步改變機器看世界的方式。近日，Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷（Luca Verre）接受芯東西的專訪，并分享說，在相關知識儲備、經(jīng)驗積累、現(xiàn)有IP數(shù)量（50多項國際專利）上，Prophesee都具有顯著優(yōu)勢。
▲Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷（圖源：Prophesee）
他告訴芯東西，Prophesee目前專注于將其創(chuàng)造的價值最大化，暫不考慮IPO或并購，接下來其路線圖將主要包括兩大方向：一是提高分辨率，在芯片內(nèi)部增加更多的像素，以覆蓋更多需要高分辨率的應用場景，例如汽車、安防監(jiān)控、工業(yè)自動化、手機等等。二是縮小芯片體積，以滿足一些對成本效益以及芯片尺寸要求更高的應用，例如物聯(lián)網(wǎng)設備、平板電腦、筆記本電腦或AR/VR頭顯等設備。除此之外，目前計算機視覺領域正探索讓傳感和圖像處理更接近處理器，將盡可能多的智能放在圖像傳感器上或接近它。軟件是Prophesee的重要資產(chǎn)和重點投入方向。盧卡說，這將帶動市場對事件視覺傳感技術的接受度和采用度提升。01.受人類視覺機制啟發(fā)改變機器看世界的方法
▲人眼視覺成像機制繪圖（圖源：Prophesee）
也就是說，在記錄變化的影像時，圖像傳感器需要通過拍攝一系列圖像來實現(xiàn)。這帶來一些難解的問題：首先是圖像場景變化越快、拍攝的圖越多，數(shù)據(jù)越多，消耗的算力和能量也就越多；其次當光線條件不理想，比如曝光過度或曝光不足時，不能適應明暗突變情況，容易拍出糊圖。
▲基于幀與基于事件的傳感器對比（圖源：Prophesee）
事件視覺傳感器的不同之處在于，不會記錄整個畫面的靜態(tài)背景信息，只記錄動態(tài)信息。
▲高爾夫球手揮桿過程，其身后的天空、樹木、草地等背景信息不變（圖源：Prophesee）
就像人眼細胞檢測到場景發(fā)生變化（即事件）時才會向大腦報告，事件視覺傳感器上的像素以異步方式捕獲事件數(shù)據(jù)，每個像素都嵌入了智能處理，能在檢測到變化時獨立激活，將事件連續(xù)地、逐像素地發(fā)送到系統(tǒng)。運動被捕獲為連續(xù)的信息流，幀之間不會丟失任何內(nèi)容。▲事件視覺傳感器每個像素獨立且異構（圖源：Prophesee）
通過模擬人眼視覺機制的方法，模擬處理的數(shù)據(jù)量驟減，所需的算力和能耗也顯著減少，并能對場景中微小變化進行超快速反應，捕捉到亞毫秒級轉(zhuǎn)瞬即逝的瞬間。拍出糊圖通常是快門速度太慢或被拍攝對象運動太快導致的。而事件視覺傳感器每當檢測出照明變化時，每個像素獨立觸發(fā)連續(xù)的事件流，不存在曝光影響，因此能有效解決攝影模糊問題。▲傳統(tǒng)圖像傳感器與事件視覺傳感器機制對比（圖源：Prophesee）
此前Prophesee研發(fā)的事件視覺傳感器已經(jīng)被應用在手機端，用于提高后置主攝的攝影質(zhì)量；用在AR/VR/XR頭顯中，優(yōu)化注視點渲染或無縫交互的高速眼動追蹤、手勢識別；或是在電視、PC（個人電腦）、游戲機及智能家居設備中實現(xiàn)低延遲、無接觸的人機交互界面。
▲基于事件視覺傳感器的下一代眼動追蹤功能演示（圖源：ZinnLabs）
在超低功耗always-on區(qū)域監(jiān)控系統(tǒng)、家庭物聯(lián)網(wǎng)及醫(yī)療設備中，事件視覺傳感器可用于檢測跌倒的攝像頭，或是智能存在檢測和人數(shù)統(tǒng)計。Prophesee聯(lián)合創(chuàng)始人兼CEO盧卡·維雷認為事件視覺傳感器正處于快速發(fā)展階段，索尼、小米、高通、英特爾等大型科技及芯片公司逐漸看到神經(jīng)擬態(tài)事件視覺傳感技術的潛力，并正與Prophesee合作，共同推動這項技術及相關生態(tài)的發(fā)展。為了更好滿足消費電子設備和嵌入式邊緣視覺系統(tǒng)對有限能源、計算和尺寸的需求，Prophesee還在持續(xù)探索如何將傳感器做得更小，使其在極具挑戰(zhàn)性的操作和極端苛刻的照明條件下以更低的功耗提供穩(wěn)定、高速的視覺感知。02.業(yè)界最小事件視覺傳感器：超低功耗，兼容主流AI芯片
▲傳統(tǒng)圖像傳感器與事件視覺傳感器捕捉數(shù)據(jù)對比（圖源：Prophesee）
盧卡很看好神經(jīng)擬態(tài)技術在邊緣設備中的應用，認為這將逐漸覆蓋傳感器、信息處理及計算單元，未來會有更多AI功能會集成到傳感器內(nèi)部。他也對不同設備上的多傳感器融合也很感興趣。GenX320能與標準SoC輕松集成/連接，有多個集成事件數(shù)據(jù)預處理、過濾和格式化功能，可最大程度減少外部處理開銷。另外，由于事件視覺傳感器具有稀疏無框事件數(shù)據(jù)以及靜態(tài)場景去除功能，不會捕捉圖像信息，因此GenX320能從傳感器層面保護隱私。美國最大技術許可公司Xperi的CTO Petronel Bigioi認為，Prophesee的事件視覺技術將“隱私設計”原則提升至更安全的水平。▲戴上眼鏡/口罩前后下的姿勢、目光檢測演示（圖源：Xperi）
03.軟件套件即插即用，免費提供近百種算法
▲基于事件視覺傳感器的手勢識別選擇商品演示（圖源：Ultraleap）
最新推出的GenX320配套了一整套開發(fā)工具，包括裝有板載芯片（COB）GenX320模塊或緊湊型光學柔性模塊的綜合評估套件。Prophesee還提供一系列可無縫連接到各種嵌入式平臺的適配器套件，從而縮短產(chǎn)品上市時間。PropheseeMetavision Intelligence是當前業(yè)界最全面的免費事件視覺軟件套件，在全球擁有超過10000名用戶。該軟件套件相當于架起了一座連接神經(jīng)擬態(tài)世界和傳統(tǒng)解決方案之間的橋梁，提供近百種算法、豐富的數(shù)據(jù)集和AI模塊，幾乎即插即用，還支持開源，同時提供95種算法、79個代碼示例、24個教程，能夠很好地幫助客戶認識并理解這項技術，并實現(xiàn)快速部署與應用。如果以10分為滿分，盧卡認為Metavision Intelligence當前的好用程度可以打8分。在他看來，只有當技術能夠得到市場廣泛認可和采用時，才更進一步賦能客戶，降低他們選擇使用事件視覺傳感技術的成本和難度，為整個行業(yè)生態(tài)創(chuàng)造更多的價值。
▲傳統(tǒng)圖像傳感器與事件視覺傳感器捕捉車前場景數(shù)據(jù)的對比（圖源：Prophesee）
04.對中國市場增長充滿信心將持續(xù)增加投入
▲事件視覺傳感器的一些應用領域（圖源：Prophesee）
“中國一直是我們重點關注的市場。我也始終相信，任何一家具有全球視野的企業(yè)，都應該重視中國市場的戰(zhàn)略地位?！北R卡談道。他告訴芯東西，Prophesee的中國團隊有15人，負責推動相關生態(tài)的建設，并為本地合作伙伴與客戶提供相關的技術支持。在中國，Prophesee看到越來越多的客戶對其產(chǎn)品和技術表示感興趣，特別是在物聯(lián)網(wǎng)設備以及消費電子領域，很多客戶在尋找更具成本效益的傳感設備或解決方案。一個應用案例是Prophesee和中國臺灣公司YunX的合作。YunX基于Prophesee事件視覺傳感技術開發(fā)了一款智能攝像頭，能用在檢測到家中老人或者醫(yī)院病患跌倒時觸發(fā)警報。在盧卡看來，中國是全球最大的半導體生產(chǎn)和消費市場，也是全球智能手機以及電動汽車領先的生產(chǎn)和消費市場，半導體領域的風投金額同樣遙遙領先于世界其他地區(qū)，越來越多的資源正在進入這個市場，推動本土生態(tài)及供應鏈建設。“我們對中國市場的增長充滿信心。未來我們也會不斷增加對中國市場的投入?！北R卡說。05.結語：新興應用需求大漲，未來發(fā)展空間廣闊
*博客內(nèi)容為網(wǎng)友個人發(fā)布，僅代表博主個人觀點，如有侵權請聯(lián)系工作人員刪除。
