國(guó)產(chǎn)自研NPU，算力3.0TOPS，基于A(yíng)35內(nèi)核，瑞芯微RK1808

一、簡(jiǎn)介

隨著物聯(lián)網(wǎng)和人工智能的興起，AIoT(AI+IoT)芯片也隨之興起，RK1808是瑞芯微Rockchip發(fā)布的全新AIoT(AI+IoT)芯片。RK1808采用ARM雙核Cortex-A35架構(gòu)，最高頻率可達(dá)1.6GHz，硬件VPU支持1080P H.264視頻格式的DEcoder和ENcoder，硬件VAD支持麥克風(fēng)陣列，內(nèi)置了ISP支持?jǐn)z像頭視頻信號(hào)輸入。在工藝上，RK1808采用22nm FD-SOI工藝制造，相同性能下功耗比主流28nm工藝降低30％左右。

RK1808最大的特點(diǎn)就是內(nèi)置NPU，算力最高可達(dá)3.0 TOPs。兼顧性能、功耗及運(yùn)算精度的同時(shí)支持INT8(3TOPs)/INT16(300GOPs)/FP16(100GFLOPs)混合運(yùn)算。提供的RKNN-Toolkit工具支持TensorFlow、Caffe、ONNX、Darknet等框架的網(wǎng)絡(luò)模型轉(zhuǎn)換，Rock-X SDK實(shí)現(xiàn)一行代碼即可調(diào)用庫(kù)內(nèi)人工智能算法。

二、詳細(xì)資源

RK1808擁有相當(dāng)豐富的外設(shè)和接口，可以多種功能的設(shè)計(jì)。

三、工具鏈

A、RKNN-Toolkit

RKNN-Toolkit是Rockchip提供的一個(gè)進(jìn)行模型轉(zhuǎn)換、推理運(yùn)行和性能評(píng)估的開(kāi)發(fā)套件，最新版本到了1.4.0。用戶(hù)通過(guò)提供的 python 接口可以便捷地完成模型轉(zhuǎn)換、模型推理和性能評(píng)估等功能。但是對(duì)于自定義的網(wǎng)絡(luò)層，這個(gè)工具可能無(wú)法進(jìn)行轉(zhuǎn)換，需要等待官方的更新。

B、Rock-X SDK

Rock-X SDK是Rockchip提供的一個(gè)支持C和Python的SDK，可以使用戶(hù)通過(guò)一行代碼即可調(diào)用算法庫(kù)內(nèi)的人工智能算法，無(wú)需花更多的精力在算法的部署上，極大地加快人工智能、物聯(lián)網(wǎng)等項(xiàng)目的開(kāi)發(fā)速度。

當(dāng)前最新版本為1.2.0，人工智能算法包括包括：人臉檢測(cè)、人臉識(shí)別、活體檢測(cè)、人臉屬性分析、人臉特征點(diǎn)、人頭檢測(cè)、人體骨骼關(guān)鍵點(diǎn)、手指關(guān)鍵點(diǎn)、人車(chē)物檢測(cè)等功能，

四、開(kāi)發(fā)硬件

A、AI人工智能計(jì)算棒

AI人工智能計(jì)算棒由開(kāi)源官方論壇Toybrick發(fā)布。AI人工智能計(jì)算棒(AI Compute Stick)，定位于深度學(xué)習(xí)工具和AI加速器，并且兼容Mac、Windows和Linux三大操作系統(tǒng)平臺(tái)，拋棄以前的GPU+CPU+FPGA結(jié)合的加速計(jì)算方案，計(jì)算棒通過(guò)USB接口連接PC，是的普通的PC也能獲得強(qiáng)大的算力與推理能力。

B、TB-RK1808M0 Mini-PCIe計(jì)算卡

TB-RK1808M0 Mini-PCIe計(jì)算卡同樣由開(kāi)源官方論壇Toybrick發(fā)布。Mini-PCIe計(jì)算卡不僅能作為主芯片控制外圍硬件，也可以作為計(jì)算模塊集成在人工智能主板上。

本文歸算法卡農(nóng)所有。