全高級駕駛員感知系統(tǒng)和All Programmable SoC

　　道路安全從摩爾定律中受益良多，處理能力的提升以及 CMOS 圖像傳感器 (CIS) 和其他傳感器技術(shù)的發(fā)展，讓車輛制造商得以推出高級駕駛員感知系統(tǒng) (ADAS)。ADAS 能增強駕駛員對周邊環(huán)境的感知，減少發(fā)生碰撞的概率。部分系統(tǒng)還能夠監(jiān)控駕駛員并向駕駛員發(fā)出告警，例如在駕駛員打盹時。

　　ADAS 還越來越多地接手控制(或為無人駕駛系統(tǒng)提供信息)，從而為駕駛員提供泊車輔助、車道輔助和自適應(yīng)巡航控制等功能方面的協(xié)助。

　　顯示導(dǎo)航和狀態(tài)感知信息的 ADAS 抬頭應(yīng)用

　　因此，不出意料，到 2021 年預(yù)計 ADAS 市場的規(guī)模將達到 420 億美元，目前的年復(fù)合增長率(GAGR)達到 10%(來源：http://www.marketsandmarkets.com/Market-Reports/driver-assistance-systems-market-1201.htm)。

　　ADAS 通常使用嵌入式視覺、RADAR 和 LIDAR 等多類傳感器來提取所需信息，并運用傳感器融合方法整合來自多個傳感器的信息。在嵌入式視覺領(lǐng)域， ADAS 又可劃分為兩大類。一類負責外部監(jiān)控，解決車道偏離、對象檢測、盲點檢測和交通標識識別等問題。另一類負責內(nèi)部系統(tǒng)監(jiān)控，例如負責駕駛員打盹監(jiān)測和眼睛檢測等。內(nèi)外部 ADAS 應(yīng)用在實現(xiàn)圖像處理算法時都面臨自身的挑戰(zhàn)。

　　這些挑戰(zhàn)從實現(xiàn)應(yīng)用所需算法的能力直至符合正確的汽車標準，不一而足。許多 ADAS 應(yīng)用還要求傳感器融合功能以整合來自多個傳感器的輸入，從而顯著提高了所需的處理能力。在使用多個同類傳感器的時候，傳感器融合可以是同構(gòu)傳感器融合。在使用不同類型的傳感器提取所需信息時，傳感器融合則為異構(gòu)傳感器融合。

　　因具備高度的靈活性，許多應(yīng)用都選用 All Programmable SoC 或 FPGA 來實現(xiàn)系統(tǒng)。兩種都能實現(xiàn)所需的算法，而且兩者都能夠連接不同類型的傳感器類型和網(wǎng)絡(luò)。

　　伴隨高性能 ADAS 應(yīng)用而來的是幾個系統(tǒng)難題。這些難題在開始思考時并不明顯。汽車制造商需要滿足嚴格的污染標準要求，因此總體解決方案的重量和功耗相當重要。因為生產(chǎn)的車輛以數(shù)十萬計，解決方案的成本也很關(guān)鍵。雖然系統(tǒng)的保密性和安全性非常關(guān)鍵而且受多重標準的制約，使用 SoC 或 FPGA 能幫助我們解決一系列此類問題。

　　系統(tǒng)架構(gòu)

　　開發(fā)用于監(jiān)測內(nèi)外部攝像頭的嵌入式視覺 ADAS 可以說這是一項更具挑戰(zhàn)性的 ADAS 實現(xiàn)方案。該系統(tǒng)需要與車身四周多個攝像頭連接，以處理圖像并給乘客提供信息。許多攝像頭解決方案使用點對點 LVDS 連線來傳輸數(shù)據(jù)，但是這會因布線需求而增加成本和重量。但是也有其他替代性方法正在日漸贏得使用，這些方法把部分功能內(nèi)置在攝像頭中。如果攝像頭的圖像輸出采用壓縮方式而不是原始圖像，這樣基于網(wǎng)絡(luò)的架構(gòu)就有可能實現(xiàn)傳輸。這些網(wǎng)絡(luò)可以圍繞通用汽車總線架構(gòu)，例如：

　　·媒體導(dǎo)向系統(tǒng)傳輸 (MOST)——一種能以光學或電氣物理層方式實現(xiàn)的高速網(wǎng)絡(luò)。

　　·IDB-1394——實現(xiàn)在電氣物理層上的高速網(wǎng)絡(luò)，采用雛菊鏈拓撲結(jié)構(gòu)。

　　·以太網(wǎng) AVB——以太網(wǎng)音視頻橋接能夠圍繞車輛按需發(fā)送圖像數(shù)據(jù)和其他數(shù)據(jù)

　　如果我們選擇使用網(wǎng)絡(luò)，系統(tǒng)架構(gòu)師必須確保提供所需帶寬，以便在攝像頭和 ADAS 內(nèi)核之間傳輸圖像數(shù)據(jù)，同時滿足應(yīng)用時延要求。

　　ADAS 系統(tǒng)生成的數(shù)據(jù)可能需要與汽車中的其他系統(tǒng)共享，例如自適應(yīng)巡航控制或泊車輔助。因此 ADAS 必須能夠與 CAN 或 FlexRay 等其他通用汽車接口連接。

　　Zynq 支持與傳感器和消費者的任意接口

　　在架構(gòu)層，使用基于 All Programmable Zynq? SoC 的方法可提供多重優(yōu)勢。如果點對點連線用于連接這些攝像頭，攝像頭接收器可實現(xiàn)在位于圖像處理鏈條前的可編程邏輯中。如果要使用 All programmable SoC，處理器系統(tǒng)側(cè)應(yīng)具備足夠高的靈活性，在需要與可編程邏輯中的邏輯和外部 PHY 結(jié)合時，能方便地采用 CAN、以太網(wǎng)和 FlexRay 等其他協(xié)議。雙核處理器與可編程邏輯的完美組合可帶來極低的單位像素功耗，因為系統(tǒng)緊密集成。

　　All Programmable SoC 架構(gòu)

　　SoC 體現(xiàn)出自己價值的地方是運用可編程邏輯 (PL) 實現(xiàn)攝像頭接口和圖像處理鏈。同時 SoC 的處理系統(tǒng) (PS) 可根據(jù)需要提供通信、控制和額外的算法處理。圖像處理流水線可使用所提供的眾多 IP 庫以及來自專業(yè)廠商的更專業(yè)的 IP 核來生成，以縮短產(chǎn)品上市時間。

　　用于多攝像頭系統(tǒng)的基于 Zynq 的架構(gòu)模塊

　　如果我們要開發(fā)額外的算法，我們可以運用Vivado? HLS、SDSoC? 和 Matlab 等高層次綜合工具套件來加速開發(fā)進程。我們可以使用 C 或 C++ 等更高級語言，而不使用 VHDL 或 Verilog 等傳統(tǒng)硬件描述語言來開發(fā) IP，可加速產(chǎn)品上市進程。

　　要進一步加快算法可使用 OpenCV 等開源框架。使用該框架開發(fā)的算法可映射到受 Vivado HLS 和 SDSoC 支持的 HLS 視頻庫中。這樣可以順利從概念和演示驗證過渡到運行在目標硬件上進行特性描述和認證的算法。

　　許多已實現(xiàn)的架構(gòu)會使用處理器的 DDR 內(nèi)存作為幀緩存。例如如果使用基于以太網(wǎng)的系統(tǒng)或 PCIe，這樣可以讓處理器根據(jù)需要訪問圖像，進一步向前傳輸。我們還可以使用處理器系統(tǒng)的功能對存儲在 DDR 中的圖像執(zhí)行額外的圖像處理算法，然后在需要時再度插入到圖像處理鏈條中。

　　這樣可以提供一個非常有意思的功能，即 SoC 本身可構(gòu)成其自己的原型和演示平臺。如果使用運行在處理器內(nèi)核上的通用嵌入式視覺開發(fā)框架(如 OpenCV)，這樣可以提供一個精簡的原型系統(tǒng)。該系統(tǒng)隨即使用 SoC 的可編程邏輯可進行性能優(yōu)化。

　　安全性

　　ADAS 的基本性質(zhì)就是為汽車提供安全性，為此該系統(tǒng)必須和其他高可靠性系統(tǒng)一樣在開發(fā)中遵循一個標準，對 ADAS 而言可適用的標準就是 ISO 26262。該標準定義了一系列汽車安全完整性等級 (A-SIL)，每個等級代表失效時間(以小時計)?？偣灿兴膫€ A-SIL 等級，其中 D 是最高和最難達到的，A 是最低級別。要滿足這些要求，需要使用綜合工程交付生命周期來保障不僅能實現(xiàn)目標 A-SIL，而且生成的數(shù)據(jù)包通過存留必要的證據(jù)，還能證明這一點。

　　汽車應(yīng)用受制于嚴苛的環(huán)境，為此開發(fā)人員需要確保自己使用的是汽車級的組件，例如通過 AEC-Q100 認證的組件。這類組件的制造和認證標準比商用組件要高。

　　它們還必須考慮系統(tǒng)的安全性，防止無授權(quán)人員對系統(tǒng)進行修改，因為這可能導(dǎo)致災(zāi)難性的后果。

　　使用 All Programmable SoC，就能夠使用它的安全引導(dǎo)功能，防止未授權(quán)程序和比特流被配置到系統(tǒng)里。要做到這一點，開發(fā)人員可將 AES 加密、HMAC 和 RSA 認證與 TrustZone 技術(shù)結(jié)合使用。

　　TrustZone 可讓系統(tǒng)設(shè)計人員實現(xiàn)正交軟件環(huán)境，限制訪問含可編程邏輯外設(shè)在內(nèi)的 SoC 內(nèi)部硬件功能。

　　系統(tǒng)的健康狀況可使用能夠監(jiān)測 SoC 供電電壓和晶片溫度的 XADC 加以監(jiān)測。開發(fā)人員還可以使用外部 SoC 引腳來監(jiān)測更廣泛系統(tǒng)范圍內(nèi)的其他模擬信號，進一步監(jiān)測系統(tǒng)的健康狀況和使用情況。

　　因為該 SoC 將處理器和與內(nèi)部 ADC 耦合的可編程邏輯緊密集成，設(shè)計人員能夠得到因部件數(shù)量減少所帶來的明顯好處。而且減少組件數(shù)還能有力幫助我們實現(xiàn)所要求的低故障率。

　　總結(jié)

　　從系統(tǒng)層面和器件層面來看，使用 All Programmable SoC 均能為ADAS開發(fā)帶來一系列好處，實現(xiàn)更高集成度，減輕系統(tǒng)重量，提高系統(tǒng)能效。最新高層次綜合工具能快速開發(fā)可供 OpenCV 等眾多開源通用框架使用的圖像處理功能。