從計(jì)算攝影看移動處理器AI芯片的應(yīng)用

從計(jì)算攝影看移動處理器AI芯片的應(yīng)用

在攝影圈，一直流行著一句話“底大一級壓死人”說得就是感光元件（CCD、CMOS甚至是底片）的大小，基本上決定了相機(jī)成像質(zhì)量的高低。傳感器越大，接受光的能力越強(qiáng)，在攝影這個(gè)用光的藝術(shù)中，光便是一切的基礎(chǔ)。同樣像素，如果傳感器越大，那么單個(gè)像素的面積也就越大。能夠接收的光線也就越多。光就是這個(gè)世界給你的信號，接受越多，信號越強(qiáng)，基于信號的畫質(zhì)當(dāng)然就越強(qiáng)。

但是，在2022年的今天這句話似乎不在那么正確了。不知道你有多久沒有看到卡片相機(jī)了？如今的卡片機(jī)市場除了SONY的黑卡系列，相比于十幾年前的百花齊放，已經(jīng)沉寂了太多。是什么“殺死”了卡片機(jī)呢？相信答案對你來說，已經(jīng)十分明朗，那就是手機(jī)攝影，或者，你也可以叫它“計(jì)算攝影”。

相對于傳職攝影的相機(jī)，如今的智能手機(jī)機(jī)身可以說是寸土寸金，根本沒有多余的空間塞下一顆巨大的CMOS，更不用提大型CMOS昂貴的制造成本。如今的智能手機(jī)選擇另辟蹊徑，用手機(jī)中性能相對強(qiáng)大的SoC，利用AI機(jī)械學(xué)習(xí)開辟了另一條攝影賽道，這便是計(jì)算攝影。

相機(jī)中的畫幅大小

首先，需要明確的是，目前的手機(jī)計(jì)算攝影只能對傳統(tǒng)的卡片相機(jī)造成毀滅性的打擊。對于CMOS大于1英寸的單反，微單來說，計(jì)算攝影依舊還是蜉蝣撼樹。

說到AI協(xié)助的計(jì)算攝影的，就不得不提前些年在計(jì)算攝影中，走得最遠(yuǎn)的Google　Pixel系列。

Google Pixel

初代pixel發(fā)布于2016年，基礎(chǔ)驍龍821的AI引擎——向量擴(kuò)展內(nèi)核(Hexagon Vector eXtensions)（以下簡稱HVX）加入了HDR+的效果，僅用一顆性能平庸的IMX378傳感器就問鼎當(dāng)年DxO手機(jī)攝影評分的第一名。所謂的“HDR+”類似于傳統(tǒng)攝影的包圍曝光，分別以欠曝、過曝和正常曝光拍攝三張照片并合成，這樣就能得到一張高光和暗部細(xì)節(jié)都得以保存的高質(zhì)量照片。但是，傳統(tǒng)的包圍曝光有它的劣勢，曝光時(shí)間不同會導(dǎo)致對齊困難，鬼影，重影等等問題，在低光的時(shí)候表現(xiàn)也不好。而Google的工程師團(tuán)隊(duì)選擇了一條“稍微”不一樣的道路：硬件上依賴于驍龍821提供的HVX內(nèi)核，它能夠讓Pixel以零快門延遲高速持續(xù)的拍攝RAW無損格式照片，而這一過程從你開啟相機(jī)的那一刻起就已經(jīng)開始；當(dāng)你按下快門鍵的時(shí)候，實(shí)際得到的樣張來自于此刻所拍攝的照片與之前已拍攝照片的合成。而與傳統(tǒng)包圍曝光不同的是，pixel拍攝的三張照片全是欠曝的。而欠曝照片的色彩往往十分準(zhǔn)確，但暗部噪點(diǎn)較多，此時(shí)pixel會通過堆棧合成三張照片來降低暗部噪點(diǎn)并提升畫面亮度，最后輸出一張正常且高質(zhì)量的照片。

Google Pixel在2016年的一騎絕塵，為手機(jī)攝影指引了一個(gè)新的方向，AI計(jì)算攝影的加入極大的提升了手機(jī)的拍攝畫質(zhì)。普通人用手機(jī)拍出“大片”已經(jīng)逐漸變?yōu)榭赡堋?/p>

時(shí)間來到2018年，Apple發(fā)布了基于A12 Bionic芯片的iPhoneXs和iPhoneXs max。得益于A12強(qiáng)大的神經(jīng)網(wǎng)絡(luò)引擎，Apple實(shí)現(xiàn)了Smart HDR和焦外成像的功能。前者可以通過AI場景識別，自動拍攝多張照片，智能選取其中最好的幾張照片進(jìn)行合成，這應(yīng)該意味著最終的HDR能夠更好地避免明亮區(qū)域的割裂；而后者則是允許用戶在人像模式拍攝完成后隨時(shí)改變鏡頭光圈，通過計(jì)算模擬不同光圈所帶來的景深變化，用軟件來模擬傳統(tǒng)相機(jī)的光學(xué)效果。到了2020年，iPhone在計(jì)算攝影上更進(jìn)一步，帶來了一項(xiàng)革命性的計(jì)算攝影技術(shù)——Deep fusion（深度融合）

焦外成像功能

當(dāng)你按下快門的一瞬間，iPhone會用高速快門連續(xù)捕捉4張照片，之后又會用標(biāo)準(zhǔn)的快門時(shí)間繼續(xù)記錄四張照片，與此同時(shí)，還會記錄一張長曝光照片。記錄完成后，A13的神經(jīng)網(wǎng)絡(luò)引擎便會開始工作，用AI自動識別拍攝場景并且為之后的合成排列權(quán)重：譬如天空、墻壁和地板等紋理不多的素材分得較低權(quán)重，對皮膚、衣服、織品等則給予較高權(quán)重，高權(quán)重元素會從某一張?jiān)撛丶?xì)節(jié)最豐富的短時(shí)曝光照片中獲得細(xì)節(jié)、從合成長時(shí)間照片里獲取色調(diào)、顏色和亮度并用最高精度的高畫質(zhì)算法進(jìn)行融合，而低權(quán)重的元素區(qū)域估計(jì)直接就拿合并長時(shí)間圖片像素來做或使用低精度的快速算法進(jìn)行融合。用四張高速快門的影像來消除模糊虛影，四張標(biāo)準(zhǔn)照片和一張長曝光照片來獲取更多的影像細(xì)節(jié)。從而用盡量少的運(yùn)算量，獲得一張質(zhì)量盡可能高的圖像。

Deep fusion所帶來的銳度增強(qiáng)

通過上述表述，可以看出，就算是強(qiáng)如當(dāng)年的A13處理器，完成如此大量的運(yùn)算，也需要至少1秒的時(shí)間。Deep Fusion的加入，使得iPhone成像的銳度和色彩有了巨大的提升，也是得iPhone第一次擁有了在夜間拍攝出高質(zhì)量照片的能力。同時(shí)我們也意識到，通過軟件算法疊加人工智能的學(xué)習(xí)能力，未來的AI計(jì)算攝影將大有可為。

國外廠商在AI計(jì)算攝影方向的攻城略地，而國內(nèi)的廠商也并沒有坐以待斃，榮耀于2021年推出了全新的多攝融合技術(shù)。融合的思路傳承了來自華為P9的彩色鏡頭加黑白的方案。由于黑白相機(jī)的cmos沒有色彩相機(jī)cmos上的濾波片，成像細(xì)節(jié)會更加優(yōu)秀，因此，用黑色鏡頭來還原紋理細(xì)節(jié)，彩色鏡頭填充顏色，通過AI計(jì)算合成，就能生成一張色彩和細(xì)節(jié)俱佳的照片。相比起黑白融合，更加值得人關(guān)注的是榮耀所采用的超廣角融合和長焦融合的算法。

榮耀的多攝融合

眾所周知，手機(jī)上的鏡頭礙于物理尺寸的限制，基本上都是定焦鏡頭（例如，iPhone 13 Pro的三枚鏡頭就是13mm、26mm和77mm）中間的焦段，基本上就只能用數(shù)碼變焦的方式實(shí)現(xiàn)，中間就會損失大量的畫質(zhì)。為了解決這個(gè)問題，榮耀便提出了超廣角和長焦融合的算法。當(dāng)用戶需要中間焦段時(shí)，榮耀便同時(shí)調(diào)用超廣角和長焦鏡頭同時(shí)成像，再通過AI機(jī)械學(xué)習(xí)融合拼接這兩張照片，從而得到一張畫質(zhì)遠(yuǎn)高于數(shù)碼變焦的照片，這樣就相當(dāng)于用軟件算法加上AI學(xué)習(xí)，模擬除了連續(xù)光學(xué)變焦的效果，填補(bǔ)了手機(jī)中間焦段的空白。

通過計(jì)算攝影的進(jìn)步背后，我們看到了AI技術(shù)的穩(wěn)步發(fā)展，從早期的GPU和CPU分擔(dān)AI運(yùn)算任務(wù)，到現(xiàn)在各種各樣的獨(dú)力移動端AI運(yùn)算加速芯片，AI芯片的算力逐年增強(qiáng)，

2022年6月 AI benchmark排名

      這一切都為AI這個(gè)本就蘊(yùn)含這無限可能的技術(shù)，賦予了更多的現(xiàn)實(shí)意義。AI這個(gè)詞，已經(jīng)逐漸從未來照進(jìn)了我們的現(xiàn)實(shí)。我們的智能手機(jī)，無論我們是否在使用，它們都在后臺默默學(xué)習(xí)我們每天的生活習(xí)慣，細(xì)微到電池的充放電管理，大到判斷用戶的身體健康，AI都在默默便利著我們的生活。在如今疫情防控常態(tài)化的今天，AI的自動人臉識別，正在最大化的減少疫情帶給我們的不便。相信在不遠(yuǎn)的未來，我們對于移動端AI的感知，將不止停留在手機(jī)攝影中。智能手機(jī)的面部識別結(jié)合AI學(xué)習(xí)，你的手機(jī)將會真正“認(rèn)識”你，各種各樣的智能語音助手通過海量的機(jī)械學(xué)習(xí)，也許會越來越接近于真正的助手。隨著AI芯片的繼續(xù)發(fā)展，AI在未來，也許無所不能，無處不在。