使用 Docker 構(gòu)建 PetaLinux 開發(fā)環(huán)境

0. 背景

0.1 PetaLinux 是什么

PetaLinux 是 Xilinx 推出的用于在其自家 SoC 上構(gòu)建嵌入式 Linux 的一套工具集，集成了編譯、調(diào)試、仿真等眾多工具。

0.2 原有的搭建 PetaLinux 開發(fā)環(huán)境的方式有什么問題

實(shí)驗(yàn)室的項(xiàng)目基于 Xilinx 的 Zynq 系列 SoC 開發(fā)，需要使用 PetaLinux 構(gòu)建嵌入式 Linux 系統(tǒng)，第一步就是搭建開發(fā)環(huán)境。團(tuán)隊(duì)成員平時(shí)的主力系統(tǒng)是 Windows，使用虛擬機(jī)的方式搭建 Linux 開發(fā)環(huán)境。搭建開發(fā)環(huán)境出現(xiàn)困難，或?yàn)楣?jié)省時(shí)間的目的時(shí)會(huì)從其他成員那里復(fù)制搭建好環(huán)境的虛擬機(jī)。這些方式已產(chǎn)生或可能產(chǎn)生的問題可以總結(jié)如下：

1. 安裝開發(fā)環(huán)境的依賴稍顯復(fù)雜，且根據(jù)操作系統(tǒng)不同而異，新手不易搞定。安裝過程沒有被很好的文檔化，團(tuán)隊(duì)成員重復(fù)勞動(dòng)明顯。

2. 統(tǒng)一操作系統(tǒng)版本困難。開發(fā)人員(現(xiàn)有成員、未來加入成員、項(xiàng)目其他團(tuán)隊(duì)的成員)可能使用著不同的 Linux 發(fā)行版和版本，因?yàn)樗麄兛赡苡胁煌南埠茫姹旧舷矚g嘗鮮或守舊，在既有系統(tǒng)上已經(jīng)有順手的開發(fā)工具和設(shè)置等等。而當(dāng)大家希望統(tǒng)一開發(fā)環(huán)境或自行搭建失敗時(shí)，往往選擇復(fù)制整個(gè)虛擬機(jī)鏡像。

3. 使用復(fù)制整個(gè)虛擬機(jī)的方式傳遞開發(fā)環(huán)境不夠靈活。表現(xiàn)為：

使用了一段時(shí)間后的虛擬機(jī)大小可能動(dòng)輒四五十個(gè) GB，拷貝時(shí)間長，難以通過網(wǎng)絡(luò)共享。

為保留可回退的環(huán)境，可能為虛擬機(jī)添加快照，但這會(huì)進(jìn)一步顯著增加虛擬機(jī)的體積。

傳遞虛擬機(jī)不僅傳遞了需要的開發(fā)環(huán)境，還傳遞了大量無用的軟件和個(gè)人設(shè)置，難以兼顧不同開發(fā)者之間的習(xí)慣差異。

對于不同項(xiàng)目、用途可能存在多個(gè)虛擬機(jī)，資源冗余很大。

4. 使用虛擬機(jī)性能表現(xiàn)差。主機(jī)配置不高時(shí)，使用虛擬機(jī)(可能會(huì)再虛擬機(jī)內(nèi)運(yùn)行 IDE 等其他開發(fā)工具)會(huì)經(jīng)?？D，降低了開發(fā)效率。

5. 使用為某一開發(fā)環(huán)境而復(fù)制來的虛擬機(jī)，遷就其環(huán)境不愿再安裝合適的開發(fā)工具(如 IDE 等)。

0.3 基于 Docker 的解決方案

Docker 作為在很多場景下虛擬機(jī)的替代方案備受矚目，其資源消耗小、為單一應(yīng)用配置環(huán)境、易于通過網(wǎng)絡(luò)共享等特點(diǎn)很好的解決了上面提到的諸多問題。通過 Docker 來構(gòu)建 PetaLinux 開發(fā)環(huán)境，我們可以獲得以下優(yōu)勢：

經(jīng)過壓縮的鏡像體積只有 1GB 左右，方便網(wǎng)絡(luò)傳輸。

很容易再團(tuán)隊(duì)中統(tǒng)一開發(fā)環(huán)境，包括操作系統(tǒng)和各種庫。Docker 鏡像的只讀特性保證了有一個(gè)可回退的一致環(huán)境。

開發(fā)環(huán)境中的依賴被 Dockerfile 清晰、明確的記錄下來，具有很好的文檔效應(yīng)，方便團(tuán)隊(duì)長期共享和維護(hù)。

Docker 可以運(yùn)行在之前的虛擬機(jī)的操作系統(tǒng)上，也可以運(yùn)行在一個(gè)“精簡”的操作系統(tǒng)上(如 Docker for Windows 的方式)，還可以放到服務(wù)器上，運(yùn)行多個(gè)容器供團(tuán)隊(duì)成員使用。這使得使用 Linux 環(huán)境的方式更加多樣、靈活，且能減少虛擬機(jī)性能原因帶來的影響

現(xiàn)在理想很豐滿，但現(xiàn)實(shí)中還需要經(jīng)過一番探究和試驗(yàn)，下面就讓我們開始。

1. 構(gòu)建 Docker 鏡像

Docker 的優(yōu)勢就在于我們可以使用“代碼”來表示需要的環(huán)境，它既能描述環(huán)境，也能直接指導(dǎo)生成環(huán)境，這份“代碼”就是 Dockerfile。下面詳細(xì)的記述了這份 Dockerfile 的每一部分，過程中遇到的問題、解決辦法、注意事項(xiàng)等。關(guān)于 Dockerfile，可以參考官方的 Dockerfile reference1，以及 Best practices for writing Dockerfiles2。

1.1 設(shè)置構(gòu)建參數(shù)

Dockerfile 中允許使用 ARG 指令設(shè)置構(gòu)建時(shí)參數(shù)，這些參數(shù)在 Dockerfile 中具有默認(rèn)值，在構(gòu)建時(shí)可以通過 --build-arg 參數(shù)指定新的值來覆蓋默認(rèn)值。這些參數(shù)可以在 Dockerfile 中被引用(引用方式與在 shell 中引用變量一樣)，但不會(huì)出現(xiàn)在最終的鏡像里。注意一條 ARG 指令只能指定一個(gè)參數(shù)，這一點(diǎn)和 ENV 指令是不同的。這里我設(shè)置了兩個(gè)參數(shù)如下：

ARG install_dir=/opt

ARG installer_url=172.17.0.1:8000

其中 install_dir 用來指定 PetaLinux 的安裝路徑，installer_url 用來指定 PetaLinux 安裝包的網(wǎng)絡(luò)地址。如果安裝包在互聯(lián)網(wǎng)上，則這里是一個(gè)訪問鏈接，如果安裝包在本地，則這里被指定為 Docker 的默認(rèn)網(wǎng)橋，通過它聯(lián)通本地網(wǎng)絡(luò)服務(wù)器和構(gòu)建時(shí)的臨時(shí)容器。關(guān)于這一部分，我會(huì)在后面詳述。

1.2 設(shè)置環(huán)境變量

通常情況下，PetaLinux 使用一個(gè)設(shè)置腳本來添加自身的各項(xiàng)工具到環(huán)境變量中，在使用相關(guān)工具前需要通過 source /settings.sh 來執(zhí)行腳本。但現(xiàn)在我要制作一個(gè)專屬于 PetaLinux 的環(huán)境，完全可以把環(huán)境變量設(shè)置好來免去這個(gè)步驟。在 Dockerfile 中使用 ENV 指令來設(shè)置環(huán)境變量：

ENV PETALINUX_VER=2014.4

PETALINUX=${install_dir}/petalinux-v2014.4-final

ENV PATH=${PETALINUX}/tools/linux-i386/arm-xilinx-gnueabi/bin:

${PETALINUX}/tools/linux-i386/arm-xilinx-linux-gnueabi/bin:

${PETALINUX}/tools/linux-i386/microblaze-xilinx-elf/bin:

${PETALINUX}/tools/linux-i386/microblazeel-xilinx-linux-gnu/bin:

${PETALINUX}/tools/linux-i386/petalinux/bin:

${PETALINUX}/tools/common/petalinux/bin:

${PATH}

這里有兩點(diǎn)需要注意。一是 ENV 雖然支持并推薦在一條指令下設(shè)置多個(gè)環(huán)境變量，但如果這些環(huán)境變量之間存在相互引用的情況，就在分開寫了。比如這里設(shè)置 PATH 變量時(shí)引用了 PETALINUX 變量，它們就不能在同一個(gè) ENV 指令下進(jìn)行設(shè)置了。二是 PATH 這個(gè)變量中每個(gè)路徑之間不可以有空格，否則是搜索不到可執(zhí)行文件的，所以這里也只能不顧縮進(jìn)來保證沒有空格了。網(wǎng)絡(luò)上似乎沒有什么解決這個(gè)問題的討論，而且在 ENV 指令下我們無法使用任何其他的工具去處理這個(gè)字符串。

我們其實(shí)也可以把 PetaLinux 提供的 settings.sh 腳本添加到 .bashrc 文件中，使得其每次被自動(dòng)執(zhí)行。實(shí)際上這個(gè)腳本中除了配置環(huán)境變量，最后還運(yùn)行了 PetaLinux 自帶的一個(gè)環(huán)境檢查工具，用于檢查網(wǎng)絡(luò)、磁盤剩余空間等信息，使用前述設(shè)置環(huán)境變量的方式就忽略這個(gè)檢查工具了。

1.3 安裝依賴

在 PetaLinux 的參考指南3中給出了它所依賴的工具和庫，然而并不全面和準(zhǔn)確。一是因?yàn)橛行┌呀?jīng)被替代，現(xiàn)在無法獲得4;二是對于 32 位庫支持5只是一筆帶過，并未具體列出;三是有的包可能因非?；A(chǔ)而未列出，但是在 Docker 的基礎(chǔ)鏡像中卻沒有包含，如 bc。以下是我測試成功的、在當(dāng)前基礎(chǔ)鏡像下需要的所有依賴：

RUN dpkg --add-architecture i386

apt-get update apt-get install -y --no-install-recommends

# Required tools and libraries of Petalinux.

# See in: ug1144-petalinux-tools-reference-guide, v2014.4.

tofrodos

iproute

gawk

gcc-4.7

git-core

make

net-tools

rsync

wget

tftpd-hpa

zlib1g-dev

flex

bison

bc

lib32z1

lib32gcc1

libncurses5-dev

libncursesw5-dev

libncursesw5:i386

libncurses5:i386

libbz2-1.0:i386

libc6:i386

libstdc++6:i386

libselinux1

libselinux1:i386

# Using expect to install Petalinux automatically.

expect

rm -rf /var/lib/apt/lists/* /tmp/*

ln -fs gcc-4.7 /usr/bin/gcc

ln -fs gcc-ar-4.7 /usr/bin/gcc-ar

ln -fs gcc-nm-4.7 /usr/bin/gcc-nm

ln -fs gcc-ranlib-4.7 /usr/bin/gcc-ranlib

這里我們使用 --no-install-recommends 參數(shù)來避免安裝不必要的包，并在安裝結(jié)束后清理 /var/lib/apt/lists/ 和 /tmp/ 目錄，以盡可能的使鏡像精簡。

由于在 Ubuntu 16.04 上安裝 GCC 會(huì)默認(rèn)安裝 gcc 5 的版本，而 2014.4 版本的 PetaLinux 應(yīng)該沒有適配 gcc 5，會(huì)出現(xiàn)很多警告。這里采取的辦法是安裝 gcc-4.7，并修改符號(hào)鏈接，使 /usr/bin/gcc 指向這一版本的 GCC。事實(shí)上我并不確切知道應(yīng)該安裝哪個(gè)版本，在 PetaLinux 2016.4 中指定了使用 gcc 4.8。這里影響應(yīng)該不大，因?yàn)檎嬲糜跇?gòu)建項(xiàng)目的交叉編譯器是 PetaLinux 自帶的。

在網(wǎng)上搜索時(shí)發(fā)現(xiàn)，一般資料都沒有介紹如何直接更改一個(gè)軟連接的指向。不知道的情況下，就只能先刪除再重建這個(gè)鏈接了。最終還是在 Stack Overflow 上找到了答案，其實(shí)我們可以使用 -f 選項(xiàng)在一條命令中更改軟連接的指向。這個(gè)技巧在后面還會(huì)用到。

1.4 使用 expect 腳本自動(dòng)安裝 PetaLinux

PetaLinux 的安裝包在安裝過程中會(huì)顯示許可證協(xié)議，并要求用戶輸入確認(rèn)信息。這樣的交互方式給我們的自動(dòng)化處理造成了一點(diǎn)小困難，然而程序員前輩們肯定是不允許這種不能自動(dòng)化的情況持續(xù)的，expect 這個(gè)工具就是專門用來自動(dòng)處理這種需要交互輸入的情況的。expect 常常用來處理 SSH 登陸等需要交互輸入密鑰的情況，它會(huì)監(jiān)視一個(gè)程序的輸出，并在捕獲到了特定的輸出后給出一個(gè)預(yù)設(shè)的輸入。這里我們使用一個(gè) auto-install.sh 腳本來自動(dòng)安裝 PetaLinux，腳本的內(nèi)容如下：

#!/usr/bin/env expect

set timeout -1

set install_dir [lindex $argv 0]

spawn ./petalinux-v2014.4-final-installer.run $install_dir

expect Press Enter to display the license agreements

send r

expect *>*

send yr

expect *>*

send yr

expect eof

第一行聲明使用 expect 這個(gè)工具來解釋此腳本，/usr/bin/env 會(huì)遍歷 PATH 變量來尋找后面的可執(zhí)行文件，這樣避免了依賴于 expect 的安裝路徑。

第二行設(shè)置等待超時(shí)，因?yàn)?PetaLinux 的安裝過程比較慢，這里將其設(shè)為 -1，即一直等待。

第三行設(shè)置一個(gè)變量來接收此腳本的參數(shù)，我們借此來指定希望將 PetaLinux 安裝到哪個(gè)目錄下。注意 expect 腳本設(shè)置參數(shù)的方式和 bash 腳本不同，參數(shù) 0 代表我們調(diào)用腳本時(shí)給出的第一個(gè)參數(shù)，而在 bash 腳本中，參數(shù) 0 代表腳本本身的名字。

第五行用 spawn 命令去執(zhí)行安裝程序。PetaLinux 的安裝程序的第一個(gè)參數(shù)也是安裝路徑。

接下來我們用 expext 命令來捕獲程序的輸出，用 send 命令發(fā)送預(yù)設(shè)的輸入。安裝程序提示你確認(rèn)協(xié)議的語句是這樣的：Do you accept this license? [y/N] >，直接用 expext 匹配這一句會(huì)有問題，因?yàn)橹辽?[] 在 expect 的語法中是有特定含義的，需要轉(zhuǎn)義。已無心情研究 expect 那奇怪的語法，所幸它有很棒的模糊匹配功能，我們只需要匹配最后一個(gè) > 字符就可以了。

1.5 減小鏡像體積

PetaLinux 的安裝包在 Xilinx 官方網(wǎng)站上可以下載，但需要先注冊，沒有固定的下載鏈接。所以要么需要在構(gòu)建前把它下載到本地，要么在互聯(lián)網(wǎng)上尋找一個(gè)合適的托管地點(diǎn)，可以提供穩(wěn)定的下載鏈接。

PetaLinux 的安裝包比較大(2014.4 版有 1.2GB，而 2016.4 已經(jīng)到了喪心病狂的 8.3 GB)，在安裝完成后，安裝包再留在鏡像中已經(jīng)沒有什么意義了，還會(huì)顯著的增加鏡像的體積。這里要理解 Docker 的鏡像是由一個(gè)個(gè)的層(layer)組成的，Dockerfile 中的每一條指令都對應(yīng)于一層，每一層都是在前一層的基礎(chǔ)上進(jìn)行的增量的改變。這意味著，一旦我們在某一層中引入了一個(gè)文件，即使在下一層中將其刪除，對體積的減小也無濟(jì)于事，我們只是無法在最終的容器中“看見”它們而已。如果我們使用 COPY 指令將 PetaLinux 的安裝包添加進(jìn)去，則 COPY 指令會(huì)生成一個(gè)層，我們無法再把它產(chǎn)生的體積抹除掉。Stack Overflow 上有一個(gè)關(guān)于這個(gè)問題的討論6，主要提到了三種方式：一是在本地構(gòu)建一個(gè)網(wǎng)絡(luò)服務(wù)器，通過網(wǎng)絡(luò)的方式傳到 Docker 容器的內(nèi)部，我采用了這種方式，后面詳述;二是不能使用 Dockerfile 的方式構(gòu)建容器，而是在容器中完成安裝和清理工作后手動(dòng)提交更改到鏡像;三是使用第三方工具對生成的鏡像進(jìn)行再壓縮。

這里使用網(wǎng)絡(luò)是更好的方式，一方面如果我們在互聯(lián)網(wǎng)或者私有服務(wù)器上存放了安裝包，通過更改 installer_url 變量就可以使用新的地址獲取文件;另一方面，在本地可以使用 Python 輕松的創(chuàng)建一個(gè) HTTP 服務(wù)器。在 Dockerfile 中，我們使用 wget 下載安裝包、配置其權(quán)限、運(yùn)行自動(dòng)安裝腳本，最后刪除安裝包。這些步驟必須在一個(gè) RUN 指令下完成，這樣安裝包才不會(huì)留在最終的鏡像里。

WORKDIR $install_dir

COPY ./auto-install.sh .

RUN wget -q $installer_url/petalinux-v2014.4-final-installer.run

chmod a+x petalinux-v2014.4-final-installer.run

./auto-install.sh $install_dir

rm -rf petalinux-v2014.4-final-installer.run

在外部，我使用了一個(gè)腳本來封裝啟動(dòng) HTTP 服務(wù)器、構(gòu)建 Docker 鏡像、停止服務(wù)器的步驟：

#!/usr/bin/env bash

installer_dir=$1

docker_context=`pwd`

echo Start to build petalinux tools docker image ...

echo -----------------------------------------------

cd $installer_dir

python3 -m http.server

server_pid=$!

cd $docker_context

installer_ip=`ifconfig docker0 | grep 'inets' | awk '{print $2}'`

docker build -t petalinux-docker:2014.4

--build-arg installer_url=${installer_ip}:8000

.

kill $server_pid

echo ---------------

echo Finish. ^_^

echo ---------------

這個(gè)腳本的第一個(gè)參數(shù)是安裝包在本地的路徑。首先讓服務(wù)器在后臺(tái)建立，并記錄下其對應(yīng)的 pid，在完成鏡像的構(gòu)建后再將其殺死。Python 創(chuàng)建的服務(wù)器會(huì)默認(rèn)監(jiān)聽 8000 端口。在容器內(nèi)部(Docker 構(gòu)建的過程即相當(dāng)于在臨時(shí)的容器中執(zhí)行 Dockerfile 的過程)可以通過 Docker 的默認(rèn)網(wǎng)橋(docker0)的 IP 地址來訪問本地主機(jī)。網(wǎng)橋?qū)?yīng)的 IP 地址并不是唯一的，Docker 是根據(jù)主機(jī)中網(wǎng)卡的配置不同，選擇一個(gè)沒有被占用的私有網(wǎng)段(如果 3 類私有 IP 網(wǎng)段都被占用了，Docker 啟動(dòng)時(shí)會(huì)報(bào)錯(cuò))，也可以自行更改，所以這里我們從 ifconfig 的輸出中提取 docker0 對應(yīng)得 IP 地址。docker build 命令中 -t 參數(shù)為鏡像指定標(biāo)簽，--build-arg 參數(shù)用來覆蓋我們在 Dockerfile 內(nèi)部設(shè)置的參數(shù)，最后一個(gè)參數(shù) . 指的是構(gòu)建環(huán)境(build context)為當(dāng)前路徑。注意，如果你將安裝包放在了這個(gè)構(gòu)建環(huán)境的同一個(gè)目錄下，一定要通過 .dockerignore 文件來忽略這個(gè)安裝包文件，因?yàn)榉駝t它會(huì)被發(fā)送到 Docker daemon 上，增加構(gòu)建時(shí)間且毫無用處，除非你要使用 COPY 指令的方式導(dǎo)入安裝包。

1.6 其他

PetaLinux 會(huì)檢查 shell 環(huán)境，并推薦使用 Bash。在 Ubuntu:16.04 的鏡像中 /bin/sh 這個(gè)軟連接指向的是 /bin/dash，這里我們將其更改為 /bin/bash。

RUN ln -fs /bin/bash /bin/sh # bash is PetaLinux recommended shell

使用 WORKDIR 指令新建了一個(gè) /workspace 的路徑用于連接數(shù)據(jù)卷。最后一個(gè) WORKDIR 指定的路徑就會(huì)是進(jìn)入容器后的所在路徑，這一點(diǎn)似乎官方文檔沒有明說。

WORKDIR /workspac

1.7 鏡像的構(gòu)建

如果安裝包放在本地，則如 1.5 節(jié)所述，使用 build-image.sh 腳本構(gòu)建鏡像。如果安裝包在互聯(lián)網(wǎng)或本地服務(wù)器上，則直接使用 docker build 命令，并使用 installer_url 參數(shù)指定訪問地址。

2. 測試

你可以自行按照上面的方法自行構(gòu)建鏡像，也可以從 Docker Hub 上下載我上傳好的鏡像：

docker pull xaljer/petalinux:2014.4

運(yùn)行容器：

docker run -ti -v /path/to/projects:/workspace xaljer/petalinux:2014.4

在容器中創(chuàng)建工程并編譯：

petalinux-create -t project -s

-n

cd

petalinux-build # 構(gòu)建整個(gè)工程，會(huì)比較慢

3. 現(xiàn)有問題和下一步工作

3.1 現(xiàn)有問題

PetaLinux 2014.4 支持的原本是 Ubuntu 14.04，但使用此版本的鏡像時(shí)發(fā)現(xiàn)，其軟件源似乎有些問題，經(jīng)常安裝失敗，故沒有使用。

PetaLinux 會(huì)提示找不到 tftp，這是因?yàn)闆]有對其進(jìn)行進(jìn)一步的配置。如果不使用 tftp 可以忽略這個(gè)問題。

在 Docker for Windows 下構(gòu)建時(shí)，可能會(huì)出現(xiàn)錯(cuò)誤7，將存儲(chǔ)驅(qū)動(dòng)更改為 aufs 后可修復(fù)。然而 Windows 下構(gòu)建的鏡像仍有其他問題，無法使用，作者尚未對其作更多的測試和探究。

3.2 下一步工作

添加 Vivado SDK 的一些工具。

PetaLinux 工具的名字都有點(diǎn)長，可以考慮在鏡像里對常用的操作添加別名。但在容器外部作可能會(huì)更方便一些，因?yàn)槲覀儾槐亟换ナ降倪M(jìn)入容器，而是使用 docker exec 來執(zhí)行命令，此時(shí)可以在容器外面為整個(gè)命令添加別名。

有了標(biāo)準(zhǔn)化環(huán)境，不僅可以在自己的電腦上運(yùn)行，還希望放在私有服務(wù)器上，讓大家通過網(wǎng)絡(luò)訪問。要達(dá)到這樣的目的，一要能通過 SSH 訪問容器，二要能在服務(wù)器的數(shù)據(jù)卷和本地計(jì)算機(jī)之間同步數(shù)據(jù)(源碼及編譯結(jié)果)。對于 SSH，初步設(shè)想可以通過外部的一些 Docker 工具來完成，而不是在容器內(nèi)部建立 SSH 服務(wù)器，因?yàn)橛卸鄠€(gè)容器時(shí)，要對應(yīng)多個(gè)不同端口等問題。對于數(shù)據(jù)同步，可以在本地的 Windows 系統(tǒng)上通過 Linux 子系統(tǒng)(WSL)建立 NFS 服務(wù)器，在容器內(nèi)部掛載 NFS，或者通過 Docker 的插件實(shí)現(xiàn)直接將遠(yuǎn)端的 NFS 作為數(shù)據(jù)卷掛載。

4. 總結(jié)

如果并不需要 Docker 的一些優(yōu)勢，我們也可以考慮將 PetaLinux 裝進(jìn) Windows 的 Linux 子系統(tǒng)(WSL)，這樣可以有更好的性能和更無縫的操作。

使用虛擬機(jī)在 Windows 下搭建嵌入式開發(fā)環(huán)境是以往非常常用的方式，但也是一種比較笨重的方式。隨著一些新的技術(shù)、平臺(tái)的出現(xiàn)，如 Docker 和 WSL，我們可以嘗試?yán)盟鼈兇罱ㄩ_發(fā)環(huán)境，提升開發(fā)的效率。