第三节计算机化自适应测验开发流程
计算机化自适应测验的开发是一项庞大复杂的工程，它至少涉及以下五个基本过程：准备阶段、题库建设、CAT算法确定、信度与效度验证以及正式使用与题库维护更新等（图2-3-1）。
图2-3-1CAT开发流程
一、准备阶段
为了更好地开发CAT系统，相关的先期准备与调研工作显得十分必要。
（一）技术团队准备
良好的技术团队是保障CAT开发工作顺利开展的前提条件。CAT开发的技术团队应包括：心理与教育测量专家、题目内容领域专家以及计算机专家等。心理与教育测量学家主要负责测量模型（IRT模型）的开发或选用、等值设计与组卷、参数估计与等值算法、CAT算法等；题目内容领域专家主要负责CAT拟测量的潜在特质及其结构、试题开发、测量结果的解释等；计算机专家负责数据库开发、CAT测试系统开发、题库的维护等。因此，开发一个CAT系统前，应保证具有以上相关技术团队。
（二）实验性预分析：可行性分析及IRT模型的选用
在CAT开发前，应对要开发的CAT的具体领域进行调查与实验性预分析，从而判断该CAT的可行性以及为具体IRT模型的选用提供基础。例如，要开发大学生英语能力的CAT系统，那么应先对现有大学英语能力测验数据进行相关分析，如测验维度分析、项目相依性分析、项目质量分析、计分方式分析、项目功能差异分析（DIF）、信度分析以及模型-资料拟合检验分析等，从而判断是否适合采用IRT模型来指导CAT开发？如果适合，那么结合实际情况，应具体采用哪种IRT模型（如单维模型VS多维模型、二级评分模型VS多级评分模型、题组反应模型VS项目反应模型、计时模型VS非计时模型等）。
二、题库建设
大型题库是CAT的基础，也是CAT开发的难点所在。CAT的题库不是简单地将试题拼凑在一块（这个称为“题集”或“题堆”）。CAT对题库的要求较高，它应具备以下特征：
·题库测量内容及其分布符合测量目标要求（如测量维度、内容分布等）；
·每题具有明确的测量内容领域、考核的认知能力层次等；
·每题都有IRT模型参数（如难度参数、区分度参数等）；
·每题的参数都定义在同一量尺上（入库前需进行等值设计与等值转换）；
·每题的测量学特征符合测量学要求（如有高区分度，无DIF等）；
·试题量大（如超过300题）。
高质量的大型题库是保证CAT的科学性以及CAT优点充分展现的基础，CAT题库的开发与传统CTT理论下的题库开发具有本质性的区别，它至少涉及以下环节（图2-3-2）。
图2-3-2题库建设的基本步骤
（一）试题开发
试题开发离不开相关内容领域的专家，试题的开发一般有两条路径：一是对已有试题的修改或直接使用，二是根据测量要求由相关内容领域的专家开发编制新的试题。那么到底要开发多少道试题呢？如果计划最终CAT的题库要有300题，那么最初编制的试题数应该要远超过300题（如450题），因为内容领域的专家无法保证所编制的每道试题都符合测量学要求（如高区分度等），并符合相关测试标准（如教学大纲等）。
（二）等值设计与测验组卷
为了保证所有试题参数都建立在同一量尺上，需进行测验等值设计，并据此进行测验组卷。在实践领域中，目前采用较多的等值设计方案是基于IRT的锚测验（A）非等组设计，即两份不同的测验中有部分相同的试题（锚测验），然后通过锚测验这个中间媒介实现两份测验间的项目参数等值。
（三）测试与参数估计
将经过等值设计并组好的多份试卷对被试进行测试，以获取测试数据。为了保证IRT分析的科学性，每份试卷测试的被试人数尽量不少于1000人。然后，采用IRT相关模型对测试数据进行参数估计及IRT分析。
（四）项目分析与筛选
根据上步估计的项目参数（如难度与区分度参数）以及IRT分析（如模型-资料拟合检验分析、DIF分析等），需对项目进行筛选，淘汰不符合测量学要求的试题，符合以下条件之一的试题应考虑淘汰。
·项目测量的维度不符合单维（如项目在多个维度上均具有高的负荷）；
·项目区分度过低（如a＜0。5）；
·项目难度值奇异（如|b|＞10）；
·模型-资料不拟合；
·存在项目功能差异（DIF）；