計算機自適應(yīng)題庫實現(xiàn)
計算機自適應(yīng)測驗(Computerized Adaptive Testing,簡稱CAT)是近年來發(fā)展起來的一種新的測驗形式。計算機自適應(yīng)測驗不同于傳統(tǒng)的紙筆測驗,它的測驗試題的呈現(xiàn)和被試對試題的解答都是通過計算機完成的。計算機自適應(yīng)測驗也不同于一般的計算機化測驗,計算機在測驗過程中不光是呈現(xiàn)題目,輸入答案、自動評分、得出結(jié)果,而且根據(jù)被試對試題的不同回答,它能自動選擇最適宜的試題讓被試回答,最終達到對被試能力作出最恰當?shù)墓烙?。本文將簡單介紹計算機自適應(yīng)測驗的原理和方法。
本文引用地址:http://m.butianyuan.cn/article/150474.htm1.1 原理
計算機自適應(yīng)題庫要解決的關(guān)鍵問題是建立適合每一個應(yīng)試者能力的個性化測驗。
一般將測量理論分為經(jīng)典測量理論、概化理論和項目反應(yīng)理論三大類,或稱三種理論模型。人們將以真分數(shù)理論(True Score Theory)為核心理論假設(shè)的測量理論及其方法體系,統(tǒng)稱為經(jīng)典測驗理論(Classical Test Theory,CTT),也稱真分數(shù)理論。它對建立試卷、考分轉(zhuǎn)換、等值等均有一套較為完整的方法。但隨著測驗實踐的深入,此理論暴露了難以克服的弱點: (1)題目難度、區(qū)分度等嚴重依賴于應(yīng)試者;(2)對應(yīng)試者的某項能力或特質(zhì)水平的估計值,只有當所有應(yīng)試者使用的都是同一個或并行測驗時才是可以比較的,而對于同一能力或特質(zhì)的不同測驗的測量效果則無法進行直接比較;(3)在應(yīng)用方面,經(jīng)典測量理論也表現(xiàn)出許多不足。
項目反應(yīng)理論(item response theory)也稱潛在特質(zhì)理論或潛在特質(zhì)模型,是一種現(xiàn)代心理測量理論,其意義在于可以指導項目篩選和測驗編制。項目反應(yīng)理論假設(shè)被試有一種“潛在特質(zhì)”,潛在特質(zhì)是在觀察分析測驗反應(yīng)基礎(chǔ)上提出的一種統(tǒng)計構(gòu)想,在測驗中,潛在特質(zhì)一般是指潛在的能力,并經(jīng)常用測驗總分作為這種潛力的估算。項目反應(yīng)理論認為被試在測驗項目的反應(yīng)和成績與他們的潛在特質(zhì)有特殊的關(guān)系。但在實際考試中,存在有應(yīng)試者猜題的因素,因此本題庫中采用了特征函數(shù)的三參數(shù)模式。三參數(shù)模式的公式為:
式中,D=1.702;θ是應(yīng)試者能力值;a是題目的區(qū)分度;b是題目的難度;c是題目的猜測系數(shù);P(θ)能力為θ的人答對此題目的概率。
根據(jù)特征函數(shù)可畫出題目的特征曲線,圖1為典型的三參數(shù)模式的特征曲線。從該圖中可以看出:
?。?)a參數(shù),即特征曲線的斜率。它的值越大說明題目對應(yīng)試者的區(qū)分程度越高。
?。?)b參數(shù),即特征曲線在橫坐標上的投影。
?。?)c參數(shù),即特征曲線的截距。它的值越大,說明不論應(yīng)試者能力高低,都容易猜對本道題目。
項目反應(yīng)理論同經(jīng)典測量理論相比,最大優(yōu)點就是項目參數(shù)的不變性。對項目各參數(shù)值的確定,采用了2種途徑:一是經(jīng)試測后進行統(tǒng)計分析,另一種是由專家進行評估后,再采用統(tǒng)計方法確定參數(shù)。這2種途徑都存在著統(tǒng)計中使用的樣本采集異常困難的問題,因此本題庫設(shè)計中使用CTT采集樣本,結(jié)合IRT的三參數(shù)模式,確定了試題的3個質(zhì)量參數(shù)。
1.2 題庫的建立
本題庫建立過程中,首先要錄入試題編號及題干等信息,其次錄入?yún)⒓釉囶}參數(shù)測試人員做題情況的信息,最后進行試題的三質(zhì)量參數(shù)測試,并將測試結(jié)果寫入數(shù)據(jù)庫。
1.3 模塊設(shè)計
本題庫中的模塊及功能如下:
(1)試題質(zhì)量參數(shù)測試
該模塊包括試題的CTT參數(shù)計算和IRT參數(shù)計算等功能。
?、僭囶}的CTT參數(shù)計算。根據(jù)參加試題參數(shù)測試人員的做題情況,使用CTT獲取標準分Z:
式中,RH、RL分別表示高分組和低分組通過該題的人數(shù);n為每組的人數(shù)。
?、谠囶}的IRT參數(shù)計算。對IRT能力參數(shù)和質(zhì)量參數(shù)的估計如下:
首先,按下列方式為能力參數(shù)、質(zhì)量參數(shù)指定初值:
IRT能力參數(shù)的初值=經(jīng)典測量理論中的標準分Z;
IRT區(qū)分度參數(shù)的初值=經(jīng)典測量理論中的難度值
+2(2是比例因子),其中難度;
IRT猜測參數(shù)的初值=試題j的可選項數(shù)倒數(shù)。
然后,按以下步驟進行迭代運算:
●把3個質(zhì)量參數(shù)看作已知值,用極大似然估計法[2]估算出能力參數(shù);
●將上一步中估需出的能力參數(shù)作為已知值,用極大似然估計法估算出3個質(zhì)量參數(shù);
●判別結(jié)束條件是否滿足,若滿足,則最后1次的估計值即為最終估計值;若不滿足,則返回第1步繼續(xù)迭代運算。結(jié)束條件可以是指定的迭代次數(shù),也可以是趨于穩(wěn)定的參數(shù)值。
?。?)試題庫維護
該模塊包括試題、樣本信息的錄入和增添等功能。
?、僭囶}和樣本信息的錄入。該功能包括試題錄入和樣本信息錄入,其中前者錄入的是試題編號及題干等信息;后者錄入的是參加試題參數(shù)測試人員做題情況的信息。
?、?試題和樣本信息的增添。試題管理員可以及時添加樣本信息和試題。系統(tǒng)管理員可以根據(jù)情況重新計算試題的質(zhì)量參數(shù)。
1.4 數(shù)據(jù)庫表的結(jié)構(gòu)設(shè)計
在本系統(tǒng)建立的自適應(yīng)試題庫中,有單選題、多選題、判斷題等3類題型。在單選題題型中需要用到單選表single_choice、單選分析表single_choice_analysis。單選表、單選分析表single_choice_analysis以及二表之間的主外鍵關(guān)系如圖2所示。
本系統(tǒng)涉及到的人員有教師、管理員、應(yīng)試者和參加試題參數(shù)測試人員,他們的相關(guān)信息如圖3所示。其中,student_info表用來存放應(yīng)試者和參加試題參數(shù)測試人員的基本信息, login表用來存放所有人員的登錄信息。1.5 題庫的實現(xiàn)
以經(jīng)典測量理論(CTT)和項目反應(yīng)理論(IRT)為基礎(chǔ),使用三參數(shù)模式建立了計算機自適應(yīng)題庫,從而能夠根據(jù)題目的參數(shù)及應(yīng)試者的反應(yīng)情況估計應(yīng)試者的能力參數(shù),然后根據(jù)“最大信息量原則”從題庫中選取符合應(yīng)試者能力的題目進行測試。
由于篇幅有限,下面只給出其中的幾個實現(xiàn)算法。
評論