日排行周排行月排行日推荐周推荐月推荐

笔下小说>计算机自适应测验设计的主要理论依据>第三 其他模型下的在线标定

第三 其他模型下的在线标定(第1页)

第三节其他模型下的在线标定

一、认知诊断考试的在线标定

与单维二级评分模型下的在线标定相比,对于CD-CAT情境下的在线标定的研究还比较稀少。套用认知诊断模型的考试,与套用单维IRT模型的考试相比,二者的不同是,后者只给出一个总体能力水平估计值,而前者则可以提供每位考生在不同被考量方面(Attribute,又常翻译为属性)的掌握情况(二项结果:掌握或未掌握)。与多维度IRT模型相比,二者都可以给出多个考量方面的测量结果,但多维度IRT给出的结果是各维度上的连续分数,而认知诊断模型给出的是二项结果。正因如此,多维度IRT的参数估计程序复杂,需要的考试题目较多,而认知诊断模型的参数估计程序简单,可以从非常短的考试中较准确地分析出结果。而把CAT技术应用在认知诊断考试中,更进一步缩短了考试的长度,使得CD-CAT成为信息化课堂内对短期学习内容得力的快速诊断工具。

等人(2012)开创性地讨论了DINA模型题目参数(失误参数s和猜测参数g)的在线标定算法。文章重点提出了由Sto三种方法衍生出的CD-MethodA,三种参数估计法。在其他的设计因素方面,他们使用了随机选题法和以考生能力值为中心的试测题选题法,将试测题随机嵌入全卷中,而他们并没有使用任何试测终止规则。他们的模拟研究发现,当题目中的真实猜测度参数和失误参数都较小时,CD-MethodA对题目参数的估计比更精准;当真实猜测度参数和失误参数都较大时,CD-MethodA不如精准。

上述研究假定Q矩阵是已知的,而,Liu和Ying(2015)提出了将Q矩阵和题目参数一起在线标定的算法。具体来说,他们的算法分为两步,第一步先为每一种可能的Q矩阵算出使似然值最大化的题目参数,第二步再比较不同Q矩阵生成的最大似然值,找到使这个最大似然值最大化的Q矩阵。

二、多维IRT的在线标定

目前对多维CAT的在线标定的研究也非常稀少,主要可见的成果为(2013),g(2015),(2015)。在这一系列研究中,(2013)最先将传统的Sto延伸到MCAT中,提出了M-MethodA,M-OEM,和M-MEM。而后,为了纠正M-MethodA中将考生能力向量估计值当作真实值使用带来了误差,g(2015)提出了FullFun-Method-A(FFMLE-M-MethodA)。最近-OEM和M-MEM中加入贝叶斯先验成分的方法:M-OEM-BME和M-MEM-BME。

三、单维多项评分模型的在线标定

目前对单维多项评分的IRT模型的研究也处于起步阶段。Zheng(2015)将传统的Sto延伸到Geial,Muraki,1992)中。模拟研究采用了随机选题法和以考生为中心的选题法,也比较了考试前部、考试中部、考试后部三种测试题嵌入位置。以上这些在线标定的新方向都有待未来的研究进一步充实。

综合全章所述,首先在线标定是一项拥有实践意义、价值和需求的技术。随着计算机化和自适应化考试的逐渐普及,对大型题库的应用将越来越大,而题库中题目的置换是一个实际需求。对于在线标定的研究,将对高效的、准确地完成新题的试测和标定起到至关重要的辅助作用。

如前文所述,对于在线标定的研究还处于起步阶段,有着很大的拓展空间。目前还没有一种设计是被普遍认可的,大型考试实践中也还尚未采用这一技术。要实现从理论到实践的推进,还需要此领域里更多的研究支持。

另外,正如前文提到的,除了在统计学上、技术上的研究和讨论之外,在线标定的应用还有不少实际的、概念上的障碍。比如,通过最优取样理论获取的样本很容易失去对总体的代表性,而这种样本从本质上来说是否有效?另外,如果嵌入试测题的难度与前后题目平衡过渡的难度趋势不符,考生是否真的能察觉到?如果能察觉到,是否会产生不必要的疑惑和焦虑,或者识别出试测题而影响作答动机等,这还需要更多的研究来探索和回答这些问题。

思考题:

1。什么是在线标定?它有什么特点?

2。在线标定测试题的选题方法有哪些?

3。简述在线标定的方法与特点。

4。谈谈在线标定未来可能的研究领域。

书友推荐:小欢喜之群芳乱欲我的道家仙子美母韵母攻略被我催眠的一家人(无绿修改版)端庄美艳教师妈妈的沉沦无绿修改版交易沦陷全家桶悖论可怜的社畜人间政道娱乐圈的不正常系统(修正版)人生如局母上攻略续(白虎版)催眠系统让我把高冷老师变成性奴肉便器亮剑:开局拿下鬼子据点租赁系统:我被女神们哄抢!房客(糙汉H)影视大世界之美女如云在言情文里撩直男男主【快穿/np】美母的诱惑
书友收藏:影视之推女系统掌中的美母重生少年猎美熟女记我的人渣指导系统(加料版)父债子偿我的道家仙子美母高冷的丝袜女总裁妈妈被混混同学屈辱玩弄恶魔大导演绿意复仇——我的总裁美母重生之娱乐圈大导演叶辰风流(幻辰风流)韵母攻略人妻调教系统租赁系统:我被女神们哄抢!四合院之啪啪成首富逆子难防(母上攻略同人)仙子的修行妈妈又生气了豪乳老师刘艳