基于RK3399的AI攝像頭軟硬件設(shè)計(jì)

隨著智能電視的普及和家庭視頻會(huì)議、家庭娛樂(lè)健身的需求，本文開(kāi)發(fā)了一款基基于RK3399 方案的AI攝像頭，通過(guò)USB 連接線直連智能電視，即可實(shí)現(xiàn)AI攝像頭和智能電視連接，滿足人們家庭視頻會(huì)議、家庭娛樂(lè)健身的需求，AI 攝像頭應(yīng)用系統(tǒng)見(jiàn)圖1。

圖1 AI攝像頭應(yīng)用系統(tǒng)框圖

1 整機(jī)系統(tǒng)方案

整體系統(tǒng)方案將索尼IMX335 采集圖像信息輸入到海思RK3399 中，RK3399 對(duì)圖像進(jìn)行編解碼后經(jīng)過(guò)USB 接口輸入到電視，電視顯示圖像，并通過(guò)IO 口控制電機(jī)，實(shí)現(xiàn)AI攝像頭的升降。為了防止升降電機(jī)體驗(yàn)效果不佳，預(yù)留反饋電路，整機(jī)系統(tǒng)方案見(jiàn)圖2。

圖2 整機(jī)系統(tǒng)方案

2 硬件系統(tǒng)設(shè)計(jì)

硬件主控采用RK3399 方案，傳感器使用索尼IMX335，硬件系統(tǒng)框圖見(jiàn)圖3。

圖3 硬件系統(tǒng)框圖

RK3399 芯片是一款低功耗、高性能的處理器， 集成雙核Cortex-A72+ 四核Cortex-A53 CPU， 集成ARM NEON 技術(shù)，可增強(qiáng)較多的多媒體應(yīng)用體驗(yàn)。另外集成高性能Mali-T860 MP4 GPU， 嵌入式3D GPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX11.1，并且?guī)в蠱MU 的專用二維引擎將最大限度地提高顯示性能并提供非常平穩(wěn)的操作。RK1608 用于對(duì)MIPI CSI 信號(hào)進(jìn)行DSP 加速等預(yù)處理。方案支持各主流的多媒體解碼、USB3.0、SD3.0、TYPE C 信源輸入；視頻解碼支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30HZ 視頻編碼，同時(shí)可支持多屏異顯。

索尼傳感器芯片IMX335 是一款CMOS 固態(tài)的有源像素型圖像傳感器。芯片內(nèi)部有模擬電壓、數(shù)字電壓和IO電壓3種類型，其中模擬電壓2.9 V，數(shù)字電壓1.2 V，IO電壓1.8 V。它具有無(wú)污跡，低暗電流和高靈敏度等效果。IMX335 內(nèi)置始終反饋電路，串行驅(qū)動(dòng)電路，寬動(dòng)態(tài)電路，12 位A/D 轉(zhuǎn)換器。

3 軟件系統(tǒng)設(shè)計(jì)

軟件采用 DB 架構(gòu)方案。業(yè)務(wù)邏輯功能代碼通過(guò)媒體處理抽象層調(diào)用平臺(tái)芯片相關(guān)代碼, 根據(jù)編譯選項(xiàng)編譯對(duì)應(yīng)平臺(tái)芯片的實(shí)現(xiàn)。業(yè)務(wù)邏輯代碼主要分為 Media，UVC, UAC，Upgrade 等模塊; 使用生產(chǎn)者消費(fèi)者模式來(lái)處理圖像幀數(shù)據(jù), 生產(chǎn)者與消費(fèi)者之間通過(guò)幀隊(duì)列進(jìn)行數(shù)據(jù)交互，AI 攝像頭軟件框圖見(jiàn)圖4。

圖4 AI攝像頭軟件框圖

攝像頭數(shù)據(jù)處理主要包括Media模塊和UVC 模塊。Media 模塊包含YUV Service，Encode Service 和Media Manager。YUV Service: 負(fù)責(zé)從 VPSS 獲取 YUV 幀數(shù)據(jù)并放到Y(jié)UV 幀隊(duì)列。Encode Service： 負(fù)責(zé)從 VENC 獲取 H264 幀數(shù)據(jù)放到H264 幀隊(duì)列。Media Manager: 負(fù)責(zé)管理 YUV Service 及 Encode Service 的創(chuàng)建，初始化及銷毀。并給外部其他模塊提供分辨率切換，圖像參數(shù)設(shè)置等接口。UVC 模塊包括UVC Event Service，UVC Data Service和UVC Manager。UVC Event Service: 負(fù)責(zé)從 V4L2 中獲取解析 TV 端的 UVC 請(qǐng)求事件。比如打開(kāi)關(guān)閉預(yù)覽，設(shè)置分辨率等。UVC Data Service：負(fù)責(zé)從 H264 幀隊(duì)列中獲取幀數(shù)據(jù)，通過(guò)V4L2 接口發(fā)送給TV。UVC Manager: 負(fù)責(zé)管理 UVC Event Service及 UVC Data Service 的創(chuàng)建，初始化及銷毀。

4 結(jié)束語(yǔ)

本文硬件采用RK3399 方案，軟件采用 DB 架構(gòu)，通過(guò)傳感器采集圖像，用RK3399 編解碼，通過(guò)USB傳輸?shù)街悄茈娨曪@示。實(shí)驗(yàn)結(jié)果表明，本方案設(shè)計(jì)的AI 攝像頭應(yīng)用于家庭視頻會(huì)議、家庭娛樂(lè)健身，得到消費(fèi)者的一致好評(píng)。

（本文來(lái)源于《電子產(chǎn)品世界》雜志2023年7月期）