字節(jié)那些事兒

　　1、 前言

　　作為一名 C/C++ 程序員，字節(jié)是我們天天都要與之打交道的一個東西。我們和它熟稔到幾乎已經(jīng)忘記了它的存在?？墒?，它自己是不甘寂寞的，或遲或早地，總會在某些時候探出頭來張望，然后給你一個腿兒絆。其實，只要你真正了解了它的底細，你就會暢行無阻。在本文中，我們將首先簡要了解一下字節(jié)的概念，然后著重了解一下字節(jié)序問題和字節(jié)對齊問題。

　　注：筆者已經(jīng)盡最大努力保證本文信息的正確性，但確實無法提供百分之百的擔保。

　　2、 什么是字節(jié)

　　我們知道，二進制計算機(也就是我們目前接觸到的幾乎所有的計算機)的最小數(shù)據(jù)單位是位( bit )。一位數(shù)據(jù)只能夠表示兩種含義(需要說明，盡管我們通常把單個位表示的兩種含義選擇為相互對立的含義，但這并不是必然的，例如你可以認為 1 代表 5 個人， 0 代表 8 個人)，對于絕大多數(shù)的計算要求，單個位顯然不能滿足。因此，我們通常都會使用一連串的位，我們可以稱之為位串( bit string ，請愛好質疑的的朋友注意，此術語非我杜撰)。由于種種原因，計算機系統(tǒng)都不會讓你使用任意長度的位串，而是使用某個特定長度的位串。一些常見的位串長度形式具有約定好的名稱，如，半字節(jié)( nibble ，貌似用的不多)代表四個位的組合，字節(jié)( byte ，主角出場!)代表 8 個位的組合。再多的還有，字( word )、雙字( Double word ，通常簡寫為 Dword )、四字(Quad word ，經(jīng)常簡寫為 Qword )、十字節(jié)( Ten byte ，也簡寫為 Tbyte )。

　　在這些里面，字( word )有時表示不同的含義。在 Intel 體系里， word 表示一個 16 位的數(shù)值，它是固定大小的。而在另外一些場合， word 表示了 CPU 一次可處理的數(shù)據(jù)的位數(shù)，表示一個符合 CPU 字長( word-length )的數(shù)目的位串。事實上我們接觸較多的 ARM 體系中， word 就有不同的含義，它表示一個 32 位的數(shù)據(jù)(與機器字長相同)，對于 16 位大小的數(shù)據(jù)， ARM 使用了另外的一個術語，叫作半字( half-word )，請大家在文檔閱讀時加以注意。另外， Qword 也是 Intel 體系中的術語，其他的體系中可能并不使用。在本文中，我們按照 Intel 的慣例來使用字或者 word 這一術語。

　　一個字節(jié)中共有 8 個數(shù)據(jù)位，有時需要用圖表逐位表述各個位。習慣上，我們按照下面的圖來排列各個位的順序，即，按照從右到左的順序，依次為最低位(從第 0 位開始)到最高位(對于字節(jié)，則是第 7 位)：

　　字節(jié)是大多數(shù)現(xiàn)代計算機的最小存儲單元，但這并不代表它是計算機可以最高效地處理的數(shù)據(jù)單位。一般的來說，計算機可以最高效地處理的數(shù)據(jù)大小，應該與其字長相同。在目前來講，桌面平臺的處理器字長正處于從 32位向 64 位過渡的時期，嵌入式設備的基本穩(wěn)定在 32 位，而在某些專業(yè)領域(如高端顯卡)，處理器字長早已經(jīng)達到了 64 位乃至更多的 128 位。

　　3、 字節(jié)序問題的由來

　　對于字、雙字這些多于一個字節(jié)的數(shù)據(jù)，如果把它們放置到內存中的某個位置上，可以看出，我們還可以將之看作是字節(jié)的序列。一個字是兩個字節(jié)，雙字則是四個字節(jié)。假設有以下數(shù)據(jù)： 0x12345678 、 0x9abcdef0 。在此處，我使用了我們最習慣的十六進制表示法，并給出了兩個雙字的值。按照慣例，我把雙字的左側視為高端，而把右側視為低端。把它們順序放置在起始地址為 0 的內存中，如下圖所示：

　　由圖示可知， 0x9abcdef 的相應地址為 0x04 ?，F(xiàn)在，問題來了，如果有一個內存操作，要從地址 0x06 處讀取一個字，得到的結果是多少呢?答案是：不一定。

　　這里的本質問題在于，如何把多字節(jié)的對象存儲到內存中去呢?即使使用最正常的思維去考慮這個問題，你也會發(fā)現(xiàn)有兩種方法。第一種方法是，把最低端的字節(jié)放到指定的起始位置(即基地址處)，然后按照從低到高的字節(jié)順序把其余字節(jié)依次放入，如下圖 a ;另一種方法非常類似，但是對高端字節(jié)和低端字節(jié)的處理順序正好相反，如下圖 b (我確信你還可以想出其他的方法，但是除二字節(jié)的情況外，必然會打破字節(jié)排列順序的一致性，我視之為反常規(guī)思維的產(chǎn)物，此處暫不考慮)。

　　圖 a

　　圖 b

　　在很久之前，哪一種存儲方式更為合理曾經(jīng)有過爭論。到今天，爭論的結果已經(jīng)無關緊要了，緊要的是以下事實：這兩種存儲方式都被應用到了現(xiàn)實的計算機系統(tǒng)中。上圖 a 中的排列方式為 Intel 所采用并大行其道，而圖 b的排列方式則被大多數(shù)的其他平臺采用(如最近被蘋果公司徹底拋棄的 PowerPC )，因此上，我們不能稱之為罕見的用法。之所以造成事實上的不經(jīng)常見到，其原因正如我今天中午所得到的消息： Intel 的 CPU 占整個市場份額的 80% 以上。

　　這兩種排列方式通常用小端( little endian )和大端( big endian )來稱謂。這兩個奇怪的名字據(jù)說來源于童話《格列佛游記》，其中小人國里的公民為了雞蛋到底是應該從小的一頭打開還是大的一頭打開而大起爭執(zhí)。 Intel的方式對應于“小端”，順便說一句，大端的方式也有一個大公司的名字作為其代表，即最近開始沒落的 Motorola。如果有誰了解過 TIFF 圖像文件格式，就會發(fā)現(xiàn)其文件頭中用以標識文件數(shù)據(jù)字節(jié)序的標志就是“ II ”和“ MM”，分別對應于 Intel 和 Motorola 的首字母。值得提醒一下，小端方式的排列與位的排列順序相一致，看上去似乎更協(xié)調一些。

　　現(xiàn)在我們可以回答上面的問題了。對于小端字節(jié)序，我們取到的字，其值為 0x9abc ，而如果是大端字節(jié)序的話，就會取到 0xdef0 。

　　4、 何時會出現(xiàn)字節(jié)序問題

　　字節(jié)序問題主要出現(xiàn)在數(shù)據(jù)在不同平臺之間進行交換時，交換的途徑可能是網(wǎng)絡傳輸，也可能是文件復制。例如，如果你設計了一種可能會應用于不同平臺的文件格式，其中存儲了某些數(shù)據(jù)結構，則對于大小大于一個字節(jié)的數(shù)據(jù)就要明確地規(guī)定其遵循的字節(jié)序，以便各平臺上的處理程序可以在使用數(shù)據(jù)時實現(xiàn)做必要的轉換。

　　舉一個實際的例子。 Java 是一個跨平臺的編程語言，其可執(zhí)行文件(擴展名為 .class ，使用的是一種機器無關的字節(jié)碼指令集)在理論上可以運行于所有的實現(xiàn)了 Java 運行時的平臺(包含有與特定平臺相關特性的除外)。編譯后的 .class 中一定保存有諸如 Integer 這樣類型的數(shù)據(jù)，這就涉及到了字節(jié)序的確定，否則 .class 必然不能被采用了不同字節(jié)序的平臺同時正確加載并運行。事實上， Java 語言采用的為大端字節(jié)序，這個一點都不奇怪，因為當初 SUN 公司自己的 SPARC 架構就是采用的大端字節(jié)序。同樣的問題和解決問題的方式，也存在于操作系統(tǒng)新貴 android 系統(tǒng)上。

　　網(wǎng)絡傳輸則是另一個典型場景。 TCP/IP 所采用的網(wǎng)絡傳輸字節(jié)序標準也是大端字節(jié)序，這個也不必奇怪，因為 TCP/IP 是從 UNIX 系統(tǒng)發(fā)展起來的，而絕大部分的 UNIX 系統(tǒng)在很長的一段時間內都沒有運行于 Intel 體系架構上的版本。

　　處理字節(jié)序問題的手段非常簡單，也就是對數(shù)據(jù)進行必要的轉換：將十六進制的數(shù)字從兩端開始交換，直至移動到數(shù)據(jù)的中心，交換完成為止。交換的結果就好像物體與鏡面之內的成像互換了位置，因此也被稱為鏡像交換(mirror-image swap )。請參看下圖：

　　5、 如何在程序中判斷字節(jié)序

　　在實際的工作中，有時需要對字節(jié)序進行判斷，然后予以不同的處理。一般的來說，編譯后的程序通常只能運行在特定的平臺之上，其所采用的字節(jié)序方式在編譯時即可確定，在這種情況下，程序源代碼中通常是把字節(jié)序的判別作為條件編譯的判斷語句，而不會判斷代碼放在真正的可執(zhí)行代碼中。

　　在這里，需要使用我們的老朋友 —— 宏。以下是一個真實的跨平臺工程中代碼，清晰起見，我稍做了修改：

　　#define SGE_LITTLE_ENDIAN 1234

　　#define SGE_BIG_ENDIAN 4321

　　#ifndef SGE_BYTEORDER

　　#if defined(__hppa__) || /

　　defined(__m68k__) || defined(mc68000) || defined(_M_M68K) || /

　　(defined(__MIPS__) && defined(__MISPEB__)) || /

　　defined(__ppc__) || defined(__POWERPC__) || defined(_M_PPC) || /

　　defined(__sparc__)

　　#define SGE_BYTEORDER SGE_BIG_ENDIAN

　　#else

　　#define SGE_BYTEORDER SGE_LITTLE_ENDIAN

　　#endif

　　#endif

　　以上為根據(jù)平臺的預定義宏所作的前期工作，將之存入一個頭文件中，然后包含到源代碼文件中使用。

　　在需要進行判斷的時候，則像以下代碼這樣使用：

　　#if SGE_BYTEORDER == SGE_BIG_ENDIAN

　　#define SwapWordLe(w) SwapWord(w)

　　#else

　　#define SwapWordLe(w) (w)

　　#endif

　　由于這兩個宏實際上被定義成了常量數(shù)值，因此也可以被用到可執(zhí)行代碼中，進行執(zhí)行期的動態(tài)判斷：

　　if(SGE_BYTEORDER == SGE_BIG_ENDIAN)

　　return r << 16 | g << 8 | b;

　　else

　　return r | g << 8 | b << 16;

　　追根尋源，上面的這種判斷需要依賴編譯器及其所在平臺的預定義宏。下面介紹一種執(zhí)行期動態(tài)判斷的方法，則不需要有宏的參與，而是巧妙地利用了字節(jié)序的本質。代碼如下：

　　int IsLittleEndian()

　　{

　　const static union

　　{

　　unsigned int i;

　　unsigned char c[4];

　　} u = { 0x00000001 };

　　return u.c[0];

　　}

　　動手畫一下內存布局即可了解其原理。還有更簡練的寫法，作為練習，請大家自行去尋找。

　　在結束對字節(jié)序的討論之前，特別提醒一下， ARM 體系的 CPU 在字節(jié)序上與 Intel 的體系結構是一致的。

　　6、 字節(jié)對齊問題的產(chǎn)生

　　馮諾依曼體系的計算機，通過地址總線來尋址內存(假設 n 為地址總線的位數(shù)，則最多可以尋址 2n 個內存位置)。根據(jù)地址總線的位數(shù)，我們可以知道 CPU 與內存的一次交互(也即一次內存訪問)能夠讀寫的數(shù)據(jù)的大小。顯然地，對于 8 位的 CPU ，是一個字節(jié)，對于 16 位 CPU 則是一個字， 32 位 CPU 則是一個雙字，依此類推。這是 CPU 與生俱來的最本質、最快捷的訪問方式。在實際的計算需求中，如果訪問的數(shù)據(jù)量超過了一次訪問的限度，則很顯然需要進行多次訪問，如果是少于的話，則需要對從內存中取回的數(shù)據(jù)進行適當?shù)牟眉?。裁剪操作有可能是CPU 自身支持的，也有可能是需要用軟件來實現(xiàn)的。

　　有的系統(tǒng)是支持尋址到單個字節(jié)所在的位置的(稱為可字節(jié)尋址)，而有的則不可以，只能尋址到符合某些條件的地址上。對于 Intel/ARM 體系結構的 CPU ，我們在宏觀上可以認為它們都支持字節(jié)尋址(但是 ARM 家族的CPU 在內存訪問時有其他約束，下文有詳細敘述)。

　　出現(xiàn)這樣的限制是有原因的，終極因素就在于內存訪問的粒度與字長的關聯(lián)上。用 32 位 CPU 來說，它對于地址為 4 的倍數(shù)處的內存訪問是最自然的，其余的地址就要做一些額外的工作。例如，我們要訪問地址為 0x03 處的一個雙字，對于 80x86 體系，事實上將會導致 CPU 的兩次內存訪問，取回 0x00 以及 0x04 處的兩個雙字，分別進行適當?shù)慕厝≈笤倨囱b為一個雙字返回。對于其他的體系，設計者可能認為 CPU 不應該承擔數(shù)據(jù)拼裝的工作，因而就選擇產(chǎn)生一個硬件異常。

　　在硬件和 / 或操作系統(tǒng)的約束下，進行數(shù)據(jù)訪問時對數(shù)據(jù)所在的起始位置以及數(shù)據(jù)的大小都需要遵循一定的規(guī)則 ，與這些規(guī)則相關的問題，都可以稱之為字節(jié)對齊問題。

　　舉例來說。在 HP-UX (惠普公司的一個服務器產(chǎn)品平臺， UNIX 的一種)平臺中，系統(tǒng)嚴禁對奇地址直接進行訪問，假設你視這一原則于不顧：

　　int i = 0; // 編譯器保證 i 的起始地址不是奇地址

　　char c = *((char*)&i + 1); // 強制在奇地址處訪問

　　其執(zhí)行結果就是內核轉儲( core dump )，為應用程序最嚴重的錯誤。(特別注明：此處代碼為記憶中的情形，目前筆者已經(jīng)沒有驗證環(huán)境了)

　　在不同的硬件體系架構下，字節(jié)對齊關系到三方面的問題，一是數(shù)據(jù)訪問的可行性問題，二是數(shù)據(jù)訪問的效率問題，三是數(shù)據(jù)訪問的正確性問題。

　　字節(jié)對齊問題給程序員在編碼時帶來了額外的注意點，并且對最終程序執(zhí)行的正確性也帶來了一定的不確定因素。相同的代碼在不同的平臺上，甚至在相同的平臺上采用不同的編譯選項，都可能有不同的執(zhí)行結果。

　　如果所有的系統(tǒng)都和 HP-UX 的表現(xiàn)一樣的話，事情要簡單一些，問題通常會在比較早的時間內就可以暴露出來。遺憾的是，我們目前所面對的平臺不是這樣，這些平臺的設計者為最大程度地減少對開發(fā)人員的干擾而作了辛苦的努力，使得我們在很多時候都感覺不到字節(jié)對齊問題的存在。但另一方面，也制造出了把問題隱藏得更深的機會。

　　效果最好的努力是 Intel 的體系架構。 80x86 允許你對整個內存進行字節(jié)尋址，在不超過機器字長的情況下可以訪問任意數(shù)目的字節(jié)(很顯然，大多數(shù)情況下就是 1 字節(jié)、 2 字節(jié)、 3 字節(jié)、 4 字節(jié)這四種情況)。

　　ARM 體系的 CPU 似乎做了一定的努力，但是其結果和其他體系相比呈現(xiàn)一種很奇怪的狀態(tài)。由于筆者沒有對ARM 整個系列的 CPU 進行過完整的了解，因此此處的論述可能并不完整。 ARM CPU 允許對內存進行字節(jié)尋址，但在訪問時有額外的要求。即：如果你要訪問一個字(注意本文慣例，此處的字是兩字節(jié)大小，與 ARM 平臺的標準術語不同)，那么起始地址必須在一個字的邊界上，如果訪問一個雙字，則起始地址必須位于一個雙字的邊界上(其余數(shù)據(jù)類型請參考 ARM 的知識庫文檔)。這意味著，你不能在 0x03 這樣的地址處訪問一個字或者一個雙字。但是，令人痛苦的事情到來了，如果你非要這么訪問，大多數(shù)的 CPU 不會有顯式的異常，而是返回錯誤的數(shù)據(jù)，其余的一些 CPU 則會造成程序崩潰。