Linux內(nèi)核調(diào)試器內(nèi)幕1

Hariprasad Nellitheertha（nharipra@in.ibm.com）
軟件工程師，IBM
2003 年 9 月
調(diào)試內(nèi)核問題時，能夠跟蹤內(nèi)核執(zhí)行情況并查看其內(nèi)存和數(shù)據(jù)結(jié)構(gòu)是非常有用的。Linux 中的內(nèi)置內(nèi)核調(diào)試器 KDB 提供了這種功能。在本文中您將了解如何使用 KDB 所提供的功能，以及如何在 Linux 機器上安裝和設(shè)置 KDB。您還將熟悉 KDB 中可以使用的命令以及設(shè)置和顯示選項。
Linux 內(nèi)核調(diào)試器（KDB）允許您調(diào)試 Linux 內(nèi)核。這個恰如其名的工具實質(zhì)上是內(nèi)核代碼的補丁，它允許高手訪問內(nèi)核內(nèi)存和數(shù)據(jù)結(jié)構(gòu)。KDB 的主要優(yōu)點之一就是它不需要用另一臺機器進行調(diào)試：您可以調(diào)試正在運行的內(nèi)核。
設(shè)置一臺用于 KDB 的機器需要花費一些工作，因為需要給內(nèi)核打補丁并進行重新編譯。KDB 的用戶應當熟悉 Linux 內(nèi)核的編譯（在一定程度上還要熟悉內(nèi)核內(nèi)部機理），但是如果您需要編譯內(nèi)核方面的幫助，請參閱本文結(jié)尾處的參考資料一節(jié)。
在本文中，我們將從有關(guān)下載 KDB 補丁、打補丁、（重新）編譯內(nèi)核以及啟動 KDB 方面的信息著手。然后我們將了解 KDB 命令并研究一些較常用的命令。最后，我們將研究一下有關(guān)設(shè)置和顯示選項方面的一些詳細信息。
入門
KDB 項目是由 Silicon Graphics 維護的（請參閱參考資料以獲取鏈接），您需要從它的 FTP 站點下載與內(nèi)核版本有關(guān)的補丁。（在編寫本文時）可用的最新 KDB 版本是 4.2。您將需要下載并應用兩個補丁。一個是“公共的”補丁，包含了對通用內(nèi)核代碼的更改，另一個是特定于體系結(jié)構(gòu)的補丁。補丁可作為 bz2 文件獲取。例如，在運行 2.4.20 內(nèi)核的 x86 機器上，您會需要 kdb-v4.2-2.4.20- common-1.bz2 和 kdb-v4.2-2.4.20-i386-1.bz2。
這里所提供的所有示例都是針對 i386 體系結(jié)構(gòu)和 2.4.20 內(nèi)核的。您將需要根據(jù)您的機器和內(nèi)核版本進行適當?shù)母?。您還需要擁有 root 許可權(quán)以執(zhí)行這些操作。
將文件復制到 /usr/src/linux 目錄中并從用 bzip2 壓縮的文件解壓縮補丁文件：
[code:1:6ddc15f4ad]#bzip2 -d kdb-v4.2-2.4.20-common-1.bz2

#bzip2 -d kdb-v4.2-2.4.20-i386-1.bz2 [/code:1:6ddc15f4ad]
您將獲得 kdb-v4.2-2.4.20-common-1 和 kdb-v4.2-2.4-i386-1 文件。
現(xiàn)在，應用這些補?。?
[code:1:6ddc15f4ad]#patch -p1 <kdb-v4.2-2.4.20-common-1

#patch -p1 <kdb-v4.2-2.4.20-i386-1 [/code:1:6ddc15f4ad]
這些補丁應該干凈利落地加以應用。查找任何以 .rej 結(jié)尾的文件。這個擴展名表明這些是失敗的補丁。如果內(nèi)核樹沒問題，那么補丁的應用就不會有任何問題。
接下來，需要構(gòu)建內(nèi)核以支持 KDB。第一步是設(shè)置 CONFIG_KDB 選項。使用您喜歡的配置機制（xconfig 和 menuconfig 等）來完成這一步。轉(zhuǎn)到結(jié)尾處的“Kernel hacking”部分并選擇“Built- in Kernel Debugger support”選項。
您還可以根據(jù)自己的偏好選擇其它兩個選項。選擇“Compile the kernel with frame pointers”選項（如果有的話）則設(shè)置 CONFIG_FRAME_POINTER 標志。這將產(chǎn)生更好的堆?；厮?，因為幀指針寄存器被用作幀指針而不是通用寄存器。您還可以選擇“KDB off by default”選項。這將設(shè)置 CONFIG_KDB_OFF 標志，并且在缺省情況下將關(guān)閉 KDB。我們將在后面一節(jié)中對此進行詳細介紹。
保存配置，然后退出。重新編譯內(nèi)核。建議在構(gòu)建內(nèi)核之前執(zhí)行“make clean”。用常用方式安裝內(nèi)核并引導它。
[size=18:6ddc15f4ad]初始化并設(shè)置環(huán)境變量[/size:6ddc15f4ad]
您可以定義將在 KDB 初始化期間執(zhí)行的 KDB 命令。需要在純文本文件 kdb_cmds 中定義這些命令，該文件位于 Linux 源代碼樹（當然是在打了補丁之后）的 KDB 目錄中。該文件還可以用來定義設(shè)置顯示和打印選項的環(huán)境變量。文件開頭的注釋提供了編輯文件方面的幫助。使用這個文件的缺點是，在您更改了文件之后需要重新構(gòu)建并重新安裝內(nèi)核。{{分頁}}
[size=18:6ddc15f4ad]激活 KDB[/size:6ddc15f4ad]
如果編譯期間沒有選中 CONFIG_KDB_OFF，那么在缺省情況下 KDB 是活動的。否則，您需要顯式地激活它 － 通過在引導期間將 kdb=on 標志傳遞給內(nèi)核或者通過在掛裝了 /proc 之后執(zhí)行該工作：
[code:1:6ddc15f4ad]#echo "1" >/proc/sys/kernel/kdb [/code:1:6ddc15f4ad]
倒過來執(zhí)行上述步驟則會取消激活 KDB。也就是說，如果缺省情況下 KDB 是打開的，那么將 kdb=off 標志傳遞給內(nèi)核或者執(zhí)行下面這個操作將會取消激活 KDB：
[code:1:6ddc15f4ad]#echo "0" >/proc/sys/kernel/kdb[/code:1:6ddc15f4ad] 
在引導期間還可以將另一個標志傳遞給內(nèi)核。kdb=early 標志將導致在引導過程的初始階段就把控制權(quán)傳遞給 KDB。如果您需要在引導過程初始階段進行調(diào)試，那么這將有所幫助。
調(diào)用 KDB 的方式有很多。如果 KDB 處于打開狀態(tài)，那么只要內(nèi)核中有緊急情況就自動調(diào)用它。按下鍵盤上的 PAUSE 鍵將手工調(diào)用 KDB。調(diào)用 KDB 的另一種方式是通過串行控制臺。當然，要做到這一點，需要設(shè)置串行控制臺（請參閱參考資料以獲取這方面的幫助）并且需要一個從串行控制臺進行讀取的程序。按鍵序列 Ctrl-A 將從串行控制臺調(diào)用 KDB。
[size=18:6ddc15f4ad]KDB 命令[/size:6ddc15f4ad]
KDB 是一個功能非常強大的工具，它允許進行幾個操作，比如內(nèi)存和寄存器修改、應用斷點和堆棧跟蹤。根據(jù)這些，可以將 KDB 命令分成幾個類別。下面是有關(guān)每一類中最常用命令的詳細信息。
[size=18:6ddc15f4ad]內(nèi)存顯示和修改[/size:6ddc15f4ad]
這一類別中最常用的命令是 md、mdr、mm 和 mmW。
[size=18:6ddc15f4ad]md[/size:6ddc15f4ad] 命令以一個地址／符號和行計數(shù)為參數(shù)，顯示從該地址開始的 line-count 行的內(nèi)存。如果沒有指定 line-count，那么就使用環(huán)境變量所指定的缺省值。如果沒有指定地址，那么 md 就從上一次打印的地址繼續(xù)。地址打印在開頭，字符轉(zhuǎn)換打印在結(jié)尾。
[size=18:6ddc15f4ad]mdr[/size:6ddc15f4ad] 命令帶有地址／符號以及字節(jié)計數(shù)，顯示從指定的地址開始的 byte-count 字節(jié)數(shù)的初始內(nèi)存內(nèi)容。它本質(zhì)上和 md 一樣，但是它不顯示起始地址并且不在結(jié)尾顯示字符轉(zhuǎn)換。mdr 命令較少使用。
[size=18:6ddc15f4ad]mm[/size:6ddc15f4ad] 命令修改內(nèi)存內(nèi)容。它以地址／符號和新內(nèi)容作為參數(shù)，用 new-contents 替換地址處的內(nèi)容。
[size=18:6ddc15f4ad]mmW[/size:6ddc15f4ad] 命令更改從地址開始的 W 個字節(jié)。請注意，mm 更改一個機器字。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]顯示從 0xc000000 開始的 15 行內(nèi)存：
[0]kdb> md 0xc000000 15 
將內(nèi)存位置為 0xc000000 上的內(nèi)容更改為 0x10：
[0]kdb> mm 0xc000000 0x10 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]寄存器顯示和修改[/size:6ddc15f4ad]
這一類別中的命令有 rd、rm 和 ef。
[size=18:6ddc15f4ad]rd[/size:6ddc15f4ad] 命令（不帶任何參數(shù)）顯示處理器寄存器的內(nèi)容。它可以有選擇地帶三個參數(shù)。如果傳遞了 c 參數(shù)，則 rd 顯示處理器的控制寄存器；如果帶有 d 參數(shù)，那么它就顯示調(diào)試寄存器；如果帶有 u 參數(shù)，則顯示上一次進入內(nèi)核的當前任務的寄存器組。
[size=18:6ddc15f4ad]rm[/size:6ddc15f4ad] 命令修改寄存器的內(nèi)容。它以寄存器名稱和 new- contents 作為參數(shù)，用 new-contents 修改寄存器。寄存器名稱與特定的體系結(jié)構(gòu)有關(guān)。目前，不能修改控制寄存器。
[size=18:6ddc15f4ad]ef[/size:6ddc15f4ad] 命令以一個地址作為參數(shù)，它顯示指定地址處的異常幀。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
顯示通用寄存器組：
[code:1:6ddc15f4ad][0]kdb> rd 
將寄存器 ebx 的內(nèi)容設(shè)置成 0x25：
[0]kdb> rm %ebx 0x25 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]斷點[/size:6ddc15f4ad]
常用的斷點命令有 bp、bc、bd、be 和 bl。
[size=18:6ddc15f4ad]bp[/size:6ddc15f4ad] 命令以一個地址／符號作為參數(shù)，它在地址處應用斷點。當遇到該斷點時則停止執(zhí)行并將控制權(quán)交予 KDB。該命令有幾個有用的變體。[size=18:6ddc15f4ad]bpa[/size: 6ddc15f4ad] 命令對 SMP 系統(tǒng)中的所有處理器應用斷點。bph 命令強制在支持硬件寄存器的系統(tǒng)上使用它。bpha 命令類似于 bpa 命令，差別在于它強制使用硬件寄存器。 {{分頁}}
[size=18:6ddc15f4ad]bd[/size:6ddc15f4ad] 命令禁用特殊斷點。它接收斷點號作為參數(shù)。該命令不是從斷點表中除去斷點，而只是禁用它。斷點號從 0 開始，根據(jù)可用性順序分配給斷點。
[size=18:6ddc15f4ad]be[/size:6ddc15f4ad] 命令啟用斷點。該命令的參數(shù)也是斷點號。
[size=18:6ddc15f4ad]bl [/size:6ddc15f4ad]命令列出當前的斷點集。它包含了啟用的和禁用的斷點。
[size=18:6ddc15f4ad]bc[/size:6ddc15f4ad] 命令從斷點表中除去斷點。它以具體的斷點號或 * 作為參數(shù)，在后一種情況下它將除去所有斷點。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]對函數(shù) sys_write() 設(shè)置斷點：
[0]kdb> bp sys_write 
列出斷點表中的所有斷點：
[0]kdb> bl 
清除斷點號 1：
[0]kdb> bc 1[/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]堆棧跟蹤[/size:6ddc15f4ad]
主要的堆棧跟蹤命令有 bt、btp、btc 和 bta。
[size=18:6ddc15f4ad]bt [/size:6ddc15f4ad]命令設(shè)法提供有關(guān)當前線程的堆棧的信息。它可以有選擇地將堆棧幀地址作為參數(shù)。如果沒有提供地址，那么它采用當前寄存器來回溯堆棧。否則，它假定所提供的地址是有效的堆棧幀起始地址并設(shè)法進行回溯。如果內(nèi)核編譯期間設(shè)置了 CONFIG_FRAME_POINTER 選項，那么就用幀指針寄存器來維護堆棧，從而就可以正確地執(zhí)行堆?；厮?。如果沒有設(shè)置 CONFIG_FRAME_POINTER，那么 bt 命令可能會產(chǎn)生錯誤的結(jié)果。
[size=18:6ddc15f4ad]btp[/size:6ddc15f4ad] 命令將進程標識作為參數(shù)，并對這個特定進程進行堆棧回溯。
[size=18:6ddc15f4ad]btc[/size:6ddc15f4ad] 命令對每個活動 CPU 上正在運行的進程執(zhí)行堆?；厮荨Ｋ鼜牡谝粋€活動 CPU 開始執(zhí)行 bt，然后切換到下一個活動 CPU，以此類推。
[size=18:6ddc15f4ad]bta[/size:6ddc15f4ad] 命令對處于某種特定狀態(tài)的所有進程執(zhí)行回溯。若不帶任何參數(shù)，它就對所有進程執(zhí)行回溯?？梢杂羞x擇地將各種參數(shù)傳遞給該命令。將根據(jù)參數(shù)處理處于特定狀態(tài)的進程。選項以及相應的狀態(tài)如下：
?D：不可中斷狀態(tài) 
?R：正運行 
?S：可中斷休眠 
?T：已跟蹤或已停止 
?Z：僵死 
?U：不可運行
這類命令中的每一個都會打印出一大堆信息。請查閱下面的參考資料以獲取這些字段的詳細文檔。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]跟蹤當前活動線程的堆棧：
[0]kdb> bt 
跟蹤標識為 575 的進程的堆棧：
[0]kdb> btp 575 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]其它命令[/size:6ddc15f4ad]
下面是在內(nèi)核調(diào)試過程中非常有用的其它幾個 KDB 命令。
[size=18:6ddc15f4ad]id [/size:6ddc15f4ad]命令以一個地址／符號作為參數(shù)，它對從該地址開始的指令進行反匯編。環(huán)境變量 IDCOUNT 確定要顯示多少行輸出。
[size=18:6ddc15f4ad]ss [/size:6ddc15f4ad]命令單步執(zhí)行指令然后將控制返回給 KDB。該指令的一個變體是 ssb，它執(zhí)行從當前指令指針地址開始的指令（在屏幕上打印指令），直到它遇到將引起分支轉(zhuǎn)移的指令為止。分支轉(zhuǎn)移指令的典型示例有 call、 return 和 jump。
[size=18:6ddc15f4ad]go[/size:6ddc15f4ad] 命令讓系統(tǒng)繼續(xù)正常執(zhí)行。一直執(zhí)行到遇到斷點為止（如果已應用了一個斷點的話）。
[size=18:6ddc15f4ad]reboot [/size:6ddc15f4ad]命令立刻重新引導系統(tǒng)。它并沒有徹底關(guān)閉系統(tǒng)，因此結(jié)果是不可預測的。
[size=18:6ddc15f4ad]ll[/size:6ddc15f4ad] 命令以地址、偏移量和另一個 KDB 命令作為參數(shù)。它對鏈表中的每個元素反復執(zhí)行作為參數(shù)的這個命令。所執(zhí)行的命令以列表中當前元素的地址作為參數(shù)。
[size=18:6ddc15f4ad]示例[/size:6ddc15f4ad]
[code:1:6ddc15f4ad]反匯編從例程 schedule 開始的指令。所顯示的行數(shù)取決于環(huán)境變量 IDCOUNT：
[0]kdb> id schedule 
執(zhí)行指令直到它遇到分支轉(zhuǎn)移條件（在本例中為指令 jne）為止：
[0]kdb> ssb

0xc0105355 default_idle+0x25: cli
0xc0105356 default_idle+0x26: mov 0x14(%edx),%eax
0xc0105359 default_idle+0x29: test %eax, %eax
0xc010535b default_idle+0x2b: jne 0xc0105361 default_idle+0x31 [/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]技巧和訣竅[/size:6ddc15f4ad]
調(diào)試一個問題涉及到：使用調(diào)試器（或任何其它工具）找到問題的根源以及使用源代碼來跟蹤導致問題的根源。單單使用源代碼來確定問題是極其困難的，只有老練的內(nèi)核黑客才有可能做得到。相反，大多數(shù)的新手往往要過多地依靠調(diào)試器來修正錯誤。這種方法可能會產(chǎn)生不正確的問題解決方案。我們擔心的是這種方法只會修正表面癥狀而不能解決真正的問題。此類錯誤的典型示例是添加錯誤處理代碼以處理 NULL 指針或錯誤的引用，卻沒有查出無效引用的真正原因。
結(jié)合研究代碼和使用調(diào)試工具這兩種方法是識別和修正問題的最佳方案。 {{分頁}}
調(diào)試器的主要用途是找到錯誤的位置、確認癥狀（在某些情況下還有起因）、確定變量的值，以及確定程序是如何出現(xiàn)這種情況的（即，建立調(diào)用堆棧）。有經(jīng)驗的黑客會知道對于某種特定的問題應使用哪一個調(diào)試器，并且能迅速地根據(jù)調(diào)試獲取必要的信息，然后繼續(xù)分析代碼以識別起因。
因此，這里為您介紹了一些技巧，以便您能使用 KDB 快速地取得上述結(jié)果。當然，要記住，調(diào)試的速度和精確度來自經(jīng)驗、實踐和良好的系統(tǒng)知識（硬件和內(nèi)核內(nèi)部機理等）。
[size=18:6ddc15f4ad]技巧 #1[/size:6ddc15f4ad]
在 KDB 中，在提示處輸入地址將返回與之最為匹配的符號。這在堆棧分析以及確定全局數(shù)據(jù)的地址／值和函數(shù)地址方面極其有用。同樣，輸入符號名則返回其虛擬地址。
示例
[code:1:6ddc15f4ad]表明函數(shù) sys_read 從地址 0xc013db4c 開始：
[0]kdb> 0xc013db4c

0xc013db4c = 0xc013db4c (sys_read) 
同樣，
同樣，表明 sys_write 位于地址 0xc013dcc8：
[0]kdb> sys_write

sys_write = 0xc013dcc8 (sys_write) 
這些有助于在分析堆棧時找到全局數(shù)據(jù)和函數(shù)地址。[/code:1:6ddc15f4ad]
[size=18:6ddc15f4ad]技巧 #2[/size:6ddc15f4ad]在編譯帶 KDB 的內(nèi)核時，只要 CONFIG_FRAME_POINTER 選項出現(xiàn)就使用該選項。為此，需要在配置內(nèi)核時選擇“Kernel hacking”部分下面的 “Compile the kernel with frame pointers”選項。這確保了幀指針寄存器將被用作幀指針，從而產(chǎn)生正確的回溯。實際上，您可以手工轉(zhuǎn)儲幀指針寄存器的內(nèi)容并跟蹤整個堆棧。例如，在 i386 機器上，%ebp 寄存器可以用來回溯整個堆棧。
例如，在函數(shù) rmqueue() 上執(zhí)行第一個指令后，堆?？瓷先ヮ愃朴谙旅孢@樣：
[code:1:6ddc15f4ad][0]kdb> md %ebp

0xc74c9f38 c74c9f60 c0136c40 000001f0 00000000
0xc74c9f48 08053328 c0425238 c04253a8 00000000
0xc74c9f58 000001f0 00000246 c74c9f6c c0136a25
0xc74c9f68 c74c8000 c74c9f74 c0136d6d c74c9fbc
0xc74c9f78 c014fe45 c74c8000 00000000 08053328

[0]kdb> 0xc0136c40

0xc0136c40 = 0xc0136c40 (__alloc_pages +0x44)

[0]kdb> 0xc0136a25

0xc0136a25 = 0xc0136a25 (_alloc_pages +0x19)

[0]kdb> 0xc0136d6d

0xc0136d6d = 0xc0136d6d (__get_free_pages +0xd)[/code:1:6ddc15f4ad]