以 AMD 自適應計算技術進行虛擬制作

虛擬制作已經改變了電影制作人、游戲開發(fā)者和視覺效果藝術家創(chuàng)作沉浸式內容的方式。它能夠實時融合物理與數(shù)字環(huán)境，帶來顯著的優(yōu)勢，如節(jié)省成本、增強創(chuàng)意控制以及簡化工作流程。近來的電影及工作室制作已經展示了其潛力，通過無縫整合實景與 CGI 樹立了新的行業(yè)標準，開辟了獨特的創(chuàng)意可能性?，F(xiàn)在，小型工作室和新聞媒體也正采用這項技術，以營造身臨其境的感覺。

推動虛擬影視制作轉型的一項重要技術進步是采用現(xiàn)場可編程門陣列（ FPGA ）與自適應片上系統(tǒng)（ SoC ）器件。AMD Kintex UltraScale+ 與 Virtex UltraScale+ FPGA 屬于可在制造后編程的集成電路，能夠執(zhí)行廣泛的功能，并利用可編程邏輯提供可定制的硬件框架。這種適應性使開發(fā)人員可以針對特定任務定制 FPGA 配置，從而優(yōu)化性能與效率。

AMD Zynq UltraScale+ 自適應 SoC 與 Versal 自適應 SoC 將多處理器與 FPGA 可編程邏輯和其他功能相結合，提供了硬件和軟件可重新配置的組合。AMD FPGA 和自適應 SoC 的可編程特性使其非常適合需要實時視頻處理和低時延性能的應用與系統(tǒng)。這些多功能且強大的器件能夠提升虛擬制作流程，將復雜的視覺效果無縫集成到各種設備中，包括電影攝影機、攝像機跟蹤器、LED 墻、內容生成系統(tǒng)以及監(jiān)控解決方案。

FPGA 與自適應 SoC 在虛擬制作設備中的優(yōu)勢

在虛擬制作設備中采用自適應計算技術能夠克服多重挑戰(zhàn)，使系統(tǒng)正常運行：

◆ 提升性能與效率：FPGA 與自適應 SoC 擅長管理高清、4K、8K 乃至更高分辨率的實時視頻處理和傳輸所需的高數(shù)據(jù)吞吐量。

◆ 低時延：時延是虛擬制作中的一個關鍵因素，尤其是在整合實景鏡頭與數(shù)字元素時。任何時延都可能破壞這些組成部分的無縫融合，導致視覺體驗不連貫。自適應計算技術能以最低時延處理數(shù)據(jù)，確保虛擬制作系統(tǒng)實時運行，同時保持不同元素之間的同步。這種低時延性能對于虛擬電影攝影等應用至關重要，因為導演需要立即看到效果，以便即時做出創(chuàng)意決策。

◆ 可擴展性與適應性：自適應計算技術可輕松進行更新和調整，確保設備在研發(fā)過程中甚至在拍攝現(xiàn)場都能隨著技術的進步而演進，同時也能進行擴展，以支持更大的系統(tǒng)和像素畫布尺寸。

提升電影攝影機與攝像機跟蹤器性能

在電影攝影機中，F(xiàn)PGA 與自適應 SoC 可實現(xiàn)先進的圖像處理功能。它們能以最低時延應對高分辨率圖像和傳感器數(shù)據(jù)管理，同時支持 HDR 處理，確保所捕捉的素材在不同光照條件下都能保持高質量。它們還能提供實時視頻編碼與解碼，使電影制作人能夠通過遠程監(jiān)控以出色的清晰度和速度捕捉和處理圖像。

自適應計算也在攝像機跟蹤器中發(fā)揮著重要作用，實現(xiàn)精準且快速的數(shù)據(jù)處理，這對于無縫整合實景鏡頭與虛擬元素至關重要。這些器件可提供實時跟蹤與穩(wěn)定所需的計算能力，確保流暢準確的動作捕捉。當與AI結合時，F(xiàn)PGA 與自適應 SoC 還能提升目標識別與場景分析能力，從而在拍攝過程中實現(xiàn)更精準的跟蹤和自動調整。

為 LED 墻提供支持

LED 墻已成為虛擬制作中不可或缺的部分，為實景拍攝提供了動態(tài)和互動背景，對于營造沉浸式虛擬環(huán)境至關重要。從 LED 墻控制器和像素處理器到 LED 塊的像素控制，F(xiàn)PGA 在驅動這些高分辨率顯示器方面表現(xiàn)出色，可提供實時視頻處理與同步。其并行處理能力確保了流暢的性能，即使在應對沉浸式環(huán)境所需的復雜圖形內容時也是如此。自適應計算技術能夠動態(tài)調整顯示效果，以匹配虛擬場景的照明與視角，確保物理與數(shù)字元素的無縫融合。這一功能對于保持虛擬場景的深度和真實感至關重要。此外，LED 墻還能利用 FPGA 與自適應 SoC 進行實時像素處理與色彩校正。

低時延監(jiān)控解決方案

在監(jiān)控解決方案中，F(xiàn)PGA 提供了處理多個視頻流所需的高速數(shù)據(jù)處理能力，并實現(xiàn)最低時延。這種低時延性能對于保持虛擬制作系統(tǒng)中不同元素之間的同步至關重要。設備制造商可以利用 FPGA 開發(fā)提供實時反饋的監(jiān)控系統(tǒng)，使導演、制作團隊和技術人員能夠立即做出調整，確保制作質量。

音視頻接口卡在虛擬制作中的重要性

音視頻接口卡是虛擬制作處理系統(tǒng)中不可或缺的組成部分。要用內容創(chuàng)造奇跡，您首先需要能夠將其輸入和移出您的系統(tǒng)！這些接口卡基于 ST 2110 和 IPMX 等 AV-over-IP 標準以及 SDI 和 HDMI 標準，因此需要具備高速數(shù)據(jù)處理和低時延處理能力。FPGA 提供了必要的性能來高效處理這些任務，確保媒體流傳輸流暢可靠。這種能力對于保持制作內容的完整性和質量至關重要。FPGA 可處理實時數(shù)據(jù)傳輸與同步的復雜任務，確保將高質量音視頻信號無縫集成到虛擬制作工作流程中。這確保了跨各種設備和格式的兼容性與互操作性，促進了制作流程的順暢與高效。

DELTACAST 是面向 OEM 廠商和開發(fā)商設計、開發(fā)和制造實時視頻傳輸和處理解決方案的領導者。其解決方案可提供高質量和低時延，以滿足電視廣播、專業(yè)音視頻、醫(yī)療和眾多其他市場中要求嚴苛的應用。

針對直播視頻應用，該公司提供了一系列 SDI、HDMI、DisplayPort 和 IP ST 2110 視頻卡?，F(xiàn)在，這些視頻卡已完全兼容虛幻引擎 5（ Unreal Engine 5 ），使得媒體服務器用戶能夠將虛幻引擎的實時渲染能力與 DELTACAST 視頻卡捕捉的實時視頻輸入無縫融合，并將實時 3D 渲染作為 SDI、HDMI、DP 或 IP 視頻信號發(fā)送出去。這一功能在基于 LED 墻的虛擬制作工作室中尤為實用。

為了設計虛擬場景，業(yè)界明智地采用游戲引擎來實時渲染令人驚嘆的逼真內容，并將其投影到 LED 墻上。3D 環(huán)境必須根據(jù)拍攝現(xiàn)場攝像機的跟蹤信息進行實時計算，并以盡可能低的時延投影到 LED 顯示屏上，從而確保背景與攝像機移動保持一致。

DELTACAST I/O 卡和 FLEX 解決方案的特色是將視頻以最低時延輸入和移出虛幻引擎等游戲引擎。借助免費的 DELTACAST Media Plugin，所有 SDI、HDMI 和 DisplayPort 卡型號均可在虛幻引擎中使用。

ST 2110（以及基于相同協(xié)議的 IPMX ）在虛擬制作中越來越受歡迎，特別是在 LED 墻控制器領域，因為它具備支持大尺寸像素畫布作為背景的可擴展性，還實現(xiàn)了不同音視頻和廣播技術之間的互操作性。ST 2110 是由 SMPTE 聯(lián)盟定義的開放標準系列，旨在為廣播基礎設施中使用的傳統(tǒng) SDI（串行數(shù)字接口）連接提供 IP 流媒體替代方案。由于網絡帶寬和計算機處理能力的不斷提升，利用 IP 基礎設施進行內容制作（其中最佳圖像質量至關重要）現(xiàn)已成為技術現(xiàn)實。如今，10、25、100 和 400Gb/s 以太網連接可輕松傳輸多個 1080p、4K 甚至 8K 的未壓縮饋送。通過采用 JPEG XS 和高吞吐量 JPEG 2000 等無損圖像編解碼器，甚至可以進一步優(yōu)化網絡鏈路的使用。

DELTACAST 已推出專門用于 IP 視頻流的型號。其中，DELTA-ip-ST2110 10 和 DELTA-ip-ST2110 01 是雙 10GbE 接口卡，支持 SMPTE ST 2110 視頻、音頻及輔助數(shù)據(jù)流的接收和傳輸。DELTACAST ST2110 卡因其互操作性而成功贏得了“根據(jù) JT-NM 測試計劃對 SMPTE ST 2110進行自我測試”徽章。DELTACAST 產品組合提供了多種 I/O 卡，具備多種輸入和輸出組合，因此您可以根據(jù)具體的設置選擇合適的型號。

自 1986 年成立以來，DELTACAST 一直采用 AMD FPGA。如今，該公司在其視頻 I/O PCIe 板和攝像機控制板中使用了各種 AMD FPGA 與自適應 SoC。AMD 技術使 DELTACAST 視頻卡能夠為要求嚴苛的工作負載提供快速視頻傳輸和處理。這包括將虛幻引擎的實時渲染功能與 DELTACAST 卡捕捉的實時視頻輸入相融合的媒體服務器。

AI 驅動的 FPGA 與自適應 SoC在虛擬制作中的應用

AMD 自適應計算技術在虛擬制作中的應用不斷演進，持續(xù)的研發(fā)推動著新的創(chuàng)新。一個令人興奮的領域是將人工智能（ AI ）和機器學習算法集成到 FPGA 與自適應 SoC 架構中，在邊緣和拍攝現(xiàn)場直接捕捉和處理數(shù)據(jù)，最大限度降低時延。這種組合可以通過實時智能處理視覺數(shù)據(jù)來徹底改變虛擬制作。場景分析和目標檢測可以加速工作流程，自動設置并更快地完成拍攝。FPGA 可用于部署 AI，根據(jù)場景環(huán)境自動調整照明和紋理，進一步簡化制作流程并提高視覺質量。

突破創(chuàng)意邊界

對于專業(yè)音視頻和廣播行業(yè)的設備制造商而言，了解 FPGA 與自適應 SoC 在虛擬影視制作中的價值至關重要，因為它們提供了可定制、高性能和低時延的解決方案。隨著對復雜和沉浸式數(shù)字內容需求的不斷增長，利用自適應硬件平臺將成為推動虛擬制作突破創(chuàng)意與技術卓越邊界的關鍵。通過將 FPGA 和自適應 SoC 集成到設備中，制造商可以為制作團隊提供所需的工具，以創(chuàng)造視覺上令人驚嘆的無縫虛擬體驗。

隨著對更復雜和沉浸式數(shù)字內容的需求持續(xù)攀升，AMD 自適應計算技術在虛擬影視制作中的作用也將不斷擴大。借助這些多功能器件，制作團隊可以突破創(chuàng)意與技術卓越的邊界。FPGA 能夠提升性能、降低成本并適應新的需求，是提升虛擬制作能力的重要資產。隨著行業(yè)不斷創(chuàng)新，F(xiàn)PGA 的作用只會持續(xù)增強，推動未來敘事和內容創(chuàng)作的發(fā)展。虛擬制作的未來之旅才剛剛開始，在 FPGA 的助力下，將迎來無限可能。

本文由 DELTACAST 產品經理 Olivier Antoine 聯(lián)合撰寫