手把手教你做一個(gè)成本40元不到的人臉識(shí)別小相機(jī)

本文以UP主工科男孫老師近期發(fā)布的視頻產(chǎn)品為例，按以下順序講解如何基于聆思官方提供的資料做一個(gè)成本40元不到的人臉識(shí)別小相機(jī)。

● 實(shí)例介紹

● DIY使用的主要元器件介紹

● 程序和燒錄

● 實(shí)例演示視頻

下圖是孫老師視頻中分享的人臉識(shí)別相機(jī)的模塊圖片，可以看到PCBA相當(dāng)簡(jiǎn)潔，PCBA正中間有一顆聆思 CSK6011A 型號(hào)的芯片作為主控，左側(cè)是用于存儲(chǔ)固件的 Flash，剩下的則是用于交互的按鍵與晶振、阻容、LED等器件。算上屏幕和攝像頭，整個(gè)方案量產(chǎn)成本預(yù)估40元不到。

我們可以看到PCBA上方有兩個(gè)按鍵，BOOT按鍵可以用來(lái)實(shí)現(xiàn)人臉?shù)浫?，K1按鍵可以用來(lái)啟動(dòng)人臉識(shí)別，識(shí)別結(jié)果可以通過(guò)屏幕直接顯示出來(lái)。

PCBA的側(cè)面預(yù)留了一個(gè)可用于燒錄與輸出應(yīng)用信息的串口，當(dāng)檢測(cè)到人臉之后，它就會(huì)不停的輸出檢測(cè)到的信息，除了有沒(méi)有人臉，還有人臉在畫(huà)面中的、xy坐標(biāo)、大小三個(gè)方向的偏轉(zhuǎn)角信息等等，這樣就可以把相機(jī)當(dāng)做一個(gè)傳感器模塊和其他硬件模塊搭配，做一些更好玩的應(yīng)用。

孫老師做的小相機(jī)模塊主要元器件為這幾種：主芯片、攝像頭、屏幕、開(kāi)關(guān)電源（DCDC）、電容電阻等，主要信息如下：

● ARM Star MCU：最高300MHz主頻

● HIFI4 DSP：最高300MHz主頻

● NPU：128GOPS算力

● SRAM: 1MB

● PSRAM：8MB

● 內(nèi)置最高支持 8MB Flash，可選最高 16MB 的外置 Flash

更詳細(xì)芯片信息，如規(guī)格書(shū)、硬件設(shè)計(jì)參考等資料可以進(jìn)入聆思文檔中心下載：https://docs2.listenai.com/x/af7lMsf-Scg

型號(hào)為 GC0328，官方已基于攝像頭對(duì)算法做過(guò)優(yōu)化，不建議更換其他攝像頭，可以通過(guò)聆思官方文檔或聯(lián)系官方客服小助手了解攝像頭更多的信息

● 接口：DPV

● 像素：30萬(wàn)

孫老師在這個(gè)小相機(jī)項(xiàng)目中選擇了一個(gè)小尺寸的 TFT 屏，主控芯片 CSK6011A 本身具備 SPI 和 I2C 接口，支持接觸摸屏，如官方的大模型開(kāi)發(fā)板使用的是更大尺寸的觸摸顯示屏。

● 屏顯接口:SPI

● 觸摸接口:I2C

● 可根據(jù)實(shí)際需求更換或去掉屏幕

開(kāi)發(fā)板模塊可以由串口的5V進(jìn)行供電，

芯片供電需要通過(guò)開(kāi)關(guān)電源芯片轉(zhuǎn)換為3.3V

使用可以參考聆思官方提供的原理圖根據(jù)實(shí)際情況搭配使用

人臉識(shí)別相機(jī)可以參考聆思CSK6大模型開(kāi)發(fā)板原理圖裁剪功能獲得，有想嘗試拓展模塊玩法的朋友也可以很方便的進(jìn)行改造，開(kāi)發(fā)板資料的下載地址：https://docs2.listenai.com/x/nTn9kMMCU#%E5%BC%80%E5%8F%91%E6%9D%BF%E8%AE%BE%E8%AE%A1%E8%B5%84%E6%96%99%E4%B8%8B%E8%BD%BD

芯片支持串口燒錄，模塊預(yù)留串口，外接串口工具板即可進(jìn)行燒錄。

SDK下載地址：https://docs2.listenai.com/x/XuPPPS80c#%E7%A4%BA%E4%BE%8B%E5%B7%A5%E7%A8%8B%E4%BB%8B%E7%BB%8D

● 返回人臉邊界框、人臉標(biāo)定點(diǎn)、頭部姿態(tài)角度、人臉識(shí)別特征

● 頭部姿態(tài)角度如圖，支持pitch、roll、yaw三個(gè)角度

● 將檢測(cè)到的人臉特征值和本地存儲(chǔ)的人臉特征值輸入算法進(jìn)行比對(duì)， 并返回比對(duì)結(jié)果

聆思官方提供有開(kāi)源的SDK除了人臉識(shí)別，還提供有坐姿檢測(cè)、頭肩跟蹤、手勢(shì)識(shí)別、物體分類(lèi)等AI能力SDK，需要哪個(gè)燒錄哪個(gè)，詳情可以參考SDK目錄下的README文件。

cskburn desktop是聆思科技提供的一款桌面燒錄工具，支持windwos、Liunx、macOS，一鍵安裝，連接串口即可快速對(duì) CSK6系芯片、開(kāi)發(fā)套件快速進(jìn)行固件燒錄，進(jìn)行下載地址：https://docs2.listenai.com/x/oo2_KzYFd

進(jìn)入燒錄模式：芯片燒錄可以用BOOT+RST組合進(jìn)入燒錄模式。

以下圖為例，串口工具鏈接后，按住BOOT后再按RST即可進(jìn)入燒錄模式。

UP主孫老師改造的視頻：https://www.bilibili.com/video/BV1fH4y1A7DV?vd_source=5bc4be50ddf65370d8b5cadb25a6e836

● 孫老師開(kāi)源的人臉識(shí)別小相機(jī)工程資料：https://oshwhub.com/sunhaoqin/csk6011

● 如果要基于現(xiàn)有SDK進(jìn)行二次開(kāi)發(fā)，可以參考一下文檔一鍵部署開(kāi)發(fā)環(huán)境。

○ 環(huán)境搭建：https://docs2.listenai.com/x/ZgVUIzY6M

○ 獲取SDK：https://docs2.listenai.com/x/GvIW8tsaE

● 想給模塊加上網(wǎng)絡(luò)模塊或其他AI能力，可以參考聆思CSK6大模型開(kāi)發(fā)板資料進(jìn)行調(diào)整改造，下載地址：https://docs2.listenai.com/x/nTn9kMMCU