安卓平臺首個 4K 電影人像模式,vivo在造芯之路上一騎絕塵
早在2017年,vivo X9s Plus 搭載和高通合作的獨立 DSP 影像優(yōu)化芯片。但如何更好地將主動權(quán)掌握在自己的手里?通過自研芯片,將vivo眾多優(yōu)秀的自研算法放在硬件里,帶來極致算力與能效比,將“原來不可能的事成為可能”,來打造最可靠的護城河。據(jù)vivo內(nèi)部的芯片專家表示,目前階段 vivo 的芯片戰(zhàn)略不是做大型的Soc,而是專注做自己擅長的、具有 vivo 特色和差異化的功能。因此vivo緊鑼密鼓地布局影像芯片:2019 年底,手機行業(yè)開始進入高幀率時代,用戶對于移動影像和性能的要求有所提高,不局限于拍出清晰的影像,而是進一步期待獲得更專業(yè)的攝影體驗。洞察這些需求后,vivo想打造一顆影像+顯示增強類的外掛芯片。歷時2年多、投入超300人的研發(fā)力量,2021年vivo自研出第一顆自研專業(yè)影像芯片V1。V1芯片擁有高性能、低功耗、低延時的特性,擁有實時對游戲降噪插幀的能力以及“黑光夜視”功能,在一些固定算法上可降低約50%的功耗。由vivo X70系列首發(fā)搭載,上市后獲得了良好的市場反響。2022年4月,vivo推出“V1+”版本,搭乘在vivo X80系列。在影像上,針對夜景視頻進行更精細化調(diào)優(yōu),讓手機達到專業(yè)級“夜視儀”的水準。還做到一“芯”二用,在游戲體驗上,支持多款游戲插幀實現(xiàn)144幀,同時降低功耗。V1、V1+芯片有效驗證了V系列自研芯片的巨大潛力,緊接著在同年11月,vivo發(fā)布V2芯片,采用全新AI-ISP架構(gòu),片上內(nèi)存單元、AI 計算單元、圖像處理單元大幅提升,更創(chuàng)新打造 FIT雙芯互聯(lián)技術(shù),在vivo X90系列、vivo X Fold2、iQOO11系列搭載V2芯片,和Soc芯片組成“旗艦雙芯”。7月30日,vivo發(fā)布了全新一代 V3影像芯片,成為國內(nèi)手機的重要里程碑。V3 采用 6nm 制程,能效比提升 30%。搭配多并發(fā)AI感知ISP架構(gòu)和第二代 FIT互聯(lián)系統(tǒng),V3 有效降低功耗,并顯著提升效果。V3帶來了安卓平臺首個 4K 電影人像視頻模式,全自動主題焦點檢測切換,實現(xiàn)電影機膚質(zhì)優(yōu)化和色彩處理。vivo成為首個實現(xiàn)安卓平臺 4K 級的拍后編輯功能的手機廠商。為何vivo要投入巨大來做獨立影像芯片?只為了給用戶極致的影像體驗。原來沒有獨立芯片時,各類影像算法放在SoC、NPU上跑,占用其運算單元,并產(chǎn)生高功耗和發(fā)熱,難以長時間運算。vivo通過全新設(shè)計的多并發(fā)AI感知-ISP架構(gòu)和第二代FIT互聯(lián)系統(tǒng),選擇一部分算力要求較高的算法“硬化”到V3上,SoC、NPU上只跑一些適合它們的算法,這樣一來,兩者協(xié)同運算將會極大的降低功耗,再加上V3的6nm制程加持,使之前因功耗等原因無法做到同時開啟的一些算法功能實現(xiàn)了長時間同時開啟。充分利用兩個芯片的算力,實現(xiàn)高速協(xié)同計算,實現(xiàn)1+1算力大于2,但功耗小于2的效果。這意味著處理器配合V3芯片,可以加快像素處理速度,用戶體驗會更好,所以上文說V3是國內(nèi)手機的“里程碑”?;仡檝ivo自研芯片歷程,始終堅持以用戶導向的產(chǎn)品體驗為原點,在用戶場景和自研技術(shù)雙輪驅(qū)動下,不斷探索和突破,鑄造了V系列自研芯片的成功。
自適應DCG-HDR技術(shù),持續(xù)發(fā)力移動影像
除了打造 “外掛式”的芯片利器外,為了給用戶提供更為出色的HDR視頻拍攝體驗,在7月芯片行業(yè)知名的VLSI電路與技術(shù)研討會上,vivo提出全新的自適應DCG-HDR技術(shù),提高HDR視頻拍攝效果同時大幅降低功耗,該技術(shù)在不久的將來可通過定制CMOS底層芯片而實現(xiàn)。在攝影中有個詞叫“動態(tài)范圍”,代表相機在從最暗到最亮部分所能捕捉到的數(shù)據(jù)量。在顯示器、手機、平板電腦等設(shè)備上,高清影像通過高動態(tài)范圍HDR技術(shù)將不同的曝光程度照片自動合成一張來展現(xiàn)。我們在使用手機拍攝視頻時,如果沒有HDR,成像效果和自己眼睛所看到的會有一定的差距。而打開HDR模式拍攝視頻時,功耗會大幅提升。目前基于圖像傳感器的移動端HDR技術(shù)基本都是通過調(diào)節(jié)敏感度(ISO)及曝光時間來實現(xiàn)HDR視頻拍攝。其思路是采用多次讀取,然后合成,導致功耗增加。自適應DCG-HDR技術(shù)通過仿人眼視覺的逐像素自適應調(diào)制功能,植入圖像傳感器芯片中的自研IP實現(xiàn),每幀只需讀取一次像素信息即可實現(xiàn)自適應DCG-HDR技術(shù),從而大幅降低HDR視頻錄制時的功耗,適用于夜景、晴天戶外,夜光人像等復雜場景的視頻錄制。由此可見,隨著用戶對影像期待值的不斷提高,vivo秉承以用戶體驗為導向,不僅通過自研V系列芯片的迭代升級,還投入打磨前沿影像技術(shù),全鏈路不斷賦能移動影像創(chuàng)新。
軟硬件協(xié)同,推動創(chuàng)新
除了硬件外,移動影像的發(fā)展離不開算法算法在提供高質(zhì)量圖像和視頻體驗、壓縮和編碼、增強和處理、分析和識別等方面起到了重要作用。vivo對自研算法進行全面升級,打造強大的軟硬件協(xié)同能力。目前,vivo自研算法矩陣包括1個引擎(vivo原像引擎VOIE)和2大系統(tǒng)(超感人像系統(tǒng)、蒼穹夜景系統(tǒng),覆蓋不同的應用場景。vivo原像引擎從超清畫質(zhì)、臻彩還原、算力加速三個子模塊全面構(gòu)建底層基礎(chǔ)算法能力,超感人像系統(tǒng)、蒼穹夜景系統(tǒng)則基于“真實世界-成像系統(tǒng)-后處理算法”移動影像理論體系,結(jié)合人像和夜景的核心用戶場景打造而成。正所謂 “獨行快,眾行遠”,vivo 堅持自主研發(fā)+聯(lián)合研發(fā)雙輪驅(qū)動,積極與SoC平臺廠商聯(lián)合創(chuàng)新,如首發(fā)三星GN1、在X80系列中與聯(lián)發(fā)科進行合作、聯(lián)合索尼推出VCS仿生光譜技術(shù)、與高通8Gen2進行雙芯聯(lián)動,實現(xiàn)了4K芯片級“夜視儀”效果。并將一些優(yōu)秀算法、經(jīng)過用戶驗證的功能給SoC平臺廠商做優(yōu)化,從而促進共同成長。
造芯不易,堅持長期主義
vivo 瞄準影像賽道,基于10年軟硬件的積累,實力不容小覷, 從V1到V3自研芯片,再到創(chuàng)新算法、優(yōu)化用戶體驗等來看,vivo將復雜留給自己,讓用戶便捷地帶來專業(yè)的移動攝像體驗,打造“人性化的專業(yè)影像”,實現(xiàn)和用戶的“雙向奔赴”:據(jù)Canalys發(fā)布的2023年第二季度中國智能手機市場報告顯示,vivo市場份額穩(wěn)居首位。當前處于經(jīng)濟存量時代,消費者換機周期延長,移動影像作為用戶關(guān)注度最高的功能,各家手機廠商都在“卷”,自研芯片成為新的突圍方向,同時也存在巨大挑戰(zhàn)。因為芯片本身的復雜性決定這是一個長期投入巨大的人力、資金的方向,想取得芯片的成功絕非一日之功。加上大環(huán)境的不確定性,如華為芯片受阻、OPPO收縮哲庫業(yè)務線,造芯之路并不好走。但不管如何,為中國手機行業(yè)的出路不斷嘗試、勇于創(chuàng)新、努力前行的企業(yè),都是值得尊敬的。而vivo等無懼挑戰(zhàn),堅持“死磕”芯片技術(shù),打造差異化產(chǎn)品的企業(yè),未來我們也有許多的期待。
*博客內(nèi)容為網(wǎng)友個人發(fā)布,僅代表博主個人觀點,如有侵權(quán)請聯(lián)系工作人員刪除。