认知诊断学习文档

认知诊断：认知诊断是基于认知加工过程的诊断，是对个体认知加工过程中所涉及的认知属性的诊断从广义上说，认知诊断是建立观察分数和被试的内部认知特征之间的关系；从狭义上说，是指在测试中，按被试有没有掌握测试所测的技能或特质来对被试加以分类。而所谓测试的认知诊断，不但了解学习者的能力知识结构，还能解释其通过知识掌握了哪些实际技能，在学习过程中采取了何种学习策略。认知属性：认知属性一词用来描述被试正确完成任务所需的知识、技能、策略等，它是对被试问题解决心理内部加工过程的一种描述。属性层级关系：认知属性不是独立操作，而是从属于一个相互关联的网络，认知属性间可能存在一定的心理顺序、逻辑顺序或者层级关系。属性层级关系又四种基本类型：线性、收敛、分支、无结构。这四种基本类型可组合为更复杂的网络层级关系。Q矩阵理论：Q矩阵理论主要是确定测验项目所测的不可观察的认知属性，并把它转化为可观察的项目反应模式，将被试不可直接观察的认知状态在项目上可观察的作答反应相连接，从而为进一步了解并推测被试的认知状态提供基础。即：确定属性层级关系一连接矩阵一可达矩阵一事件矩阵一缩减实践矩阵一典型属性矩阵一典型项目反应模式这一过程统称为Q矩阵理论。Q矩阵：Q矩阵指描述测验项目于属性间关系的矩阵，它一般由J（J指测验项目数）行K（K指测验测量的属性个数）列的0—1矩阵组成，若Q=1代表项目j测量了属性k，jk若Q=0代表项目j未测量属性k。jkA矩阵（邻接矩阵）R矩阵（可达矩阵）直接先决属性Al-A2-A3：A1为A2的直接先决属性间接先决属性A1-A2-A3：A1为A3的间接先觉属性理想掌握模式即所有可能存在的知识状态〃利用扩张算法获取理想掌握模式p9理想反应模式指被试在不存在任何失误和猜测等误差条件下对项目的作答反应情况.即若被试掌握了项目考核的所有属性则被试答对该题，若被试至少有一个项目考核属性未掌握，则被试答错该项目。典型项目考核模式（理想测量模式）即理想反应模式去掉其中全为0的一列典型项目考核模式指根据属性间的层级关系，确定所有合逻辑的测验项目考核模式种类，也称理想测量模式.项目考核模式的获取与理想掌握模式的获取原理一致，但它比理想掌握模式少一种，即全为0的模式（测验项目不会一个属性都未考核，否则也没有必要进入测验中）。理想反应模式掌握模式为1100考核模式为1000、1101则理想反应模式为10测验被试数为I,项目数为JI行J列的矩阵，0为答错，I为答对二、常用的认知诊断模型1、线性Logistic模型（LLTM）（补偿）小exp（0—b*）P（X二II0）二—jJjj1+exp（0—b*）ji其中b*=Y耳q+dikik0j：被试能力参数bi*：项目难度参数qk:项目i在认知属性k上的复杂度计分"k:认知属性k的复杂度权重d:标准化常数特点:1、LLTM用认知属性复杂度的线性组合模型来刻画项目的难度；2、项目的难度取决于各个认知属性的复杂度。缺陷:1、项目难度是项目所测认知属性的线性累加组合，意味着认知属性间可能存在补偿效应。2、被试的能力还是用一个笼统的能力值G）来表示，没有对被试是否掌握各认知属性直接进行评价。2、规则空间模型（RSM）（非补偿）规则空间模型主要根据理想掌握模式所对应的项目理想反应模式计算出每种理想掌握模式的一组序偶番,叮，0:IRT中被试的潜在能力变量'：基于IRT的警戒指标，表示能力为0的被试其实际测验项目反应模式偏离其能力水平想对应的项目反应模式的程度

:二f(x)Varf(x)]j其中：(1)f(x)二[p@)—T@)][p@)—X]P幻丿：是被试对n个项目的答对概率向量。P@)=lpPP@)]12nX：被试在测验项目上作答的二值反应向量。TC)：项目答对概率的平均值向量，其元素都相等的情况下f(x)的期望值为0T@)=-工尸@)丄工尸@)...丄工P@)，f(x)的期望值为0nnn（2）Varf（x）（2）Varf（x）二工P（0）Q（0）P（0）—-工P@）jn3、属性层级模型(AHM)(非补偿)AHM是在RSM基础上发展而来，相同点都强调Q矩阵理论；都是在获取理想项目反应模式以及典型掌握模式的前提下，采用一定的方法来实现对被试的判别和诊断。不同点属性结构和测验的编制顺序不同AHM强调在测验编制前，属性间的层级关系和逻辑关系就要事前确定好，测验编制应该按照该属性层级关系进行。RSM基本在测验开发编制后，再由相关专家或人员根据试题来确定测验所考核属性以及其间的关系，属事后分析，所以不能保证属性层级关系的合理性。实现对被试诊断的判别方法不同RSM一般采用统计判断的方法(马氏距离和贝叶斯判别)AHM采用IRT下似然函数法或人工神经网络法理想反应模式下的项目参数及被试参数的获取方法不同RSM强调理想反应数据与搜集到的数据一并统计，以保证项目参数在同一量尺上；AHM强调纯理想下的作答对于理想反应模式下参数估计所采用概率模型可能不同。AHM中强调纯理想下的作答，没有猜测和失误，不适合采用3PLM；RSM中承认有异常反应，每个理想模式都对应于一个异常反应指标，可以采用3PLM。

AHM中判别分类方法（1）A方法将需判别的一个观察反应模式与所有的期望反应模式逐个比较，将拥有该观察反应模式的被试判定为有最大相似概率的期望模式所对应的属性掌握模式。相似概率：d=V-XjjVj:用向量形式表示的、含n个项目的测验上的第j个期望反应模式；X:某个被试的观察反应模式d=In,n，…n]j12nnn：l,O,-l；nn当n=O为没有失误n当n=-1为0—1型失误（猜测型失误guesstimate）n当n=1为1—0型失误（失误型失误sliping）（2）B方法将某一观察反应模式与所有的期望反应模式比较，当期望被试反应模式包含在观察反应模式时，就认为被试掌握了这个期望反应模式所对应的属性；当期望被试反应模式不包含在观察反应模式中，则计算1—0失误可能性（p33公式），如果某个期望反应向量的可能性值最大，那么就认为这个被试已经掌握了期望反应向量所包含的属性。4、融合模型（FusionModel,FM）（非补偿）PC=11a,0)=兀*鬥rHjqjkPG)ijjjiikcijk=1其中：冗*冗*i:被试正确应用项目i所有属性的概率以Q矩阵为基础的项目难度参数，0-1区间,值越大说明项目越容易=鬥r*DikP£)ikcijk=1r；:被试缺乏属性k与掌握属性k但都答对项目的概率比，其数值能反映出属性k的重要

分度。r*

ik性，越小代表属性k越重要，是属性的区分度指标。一个项目有K分度。r*

ik7二IIa二0)jj4/二IIa二1丿ijkjk5、DINA及HO-DINA模型（非补偿）6、多维项目反应理论模型（MIRT）（补偿）三、编制测验遵循原则：在编制测验的过程中需遵守以下两个基本原则：（1）首先测验应能够实现对每一个认知属性的诊断；（2）在实现对每个属性的诊断时，也要同时满足对每个属性的多次观察测量。1、基于认知设计系统的测验项目编制（CDS）1、确定测量目标2、确定任务领域的认知特征3、开发认知模型4、项目编制通过分析真是项目的刺激特征，开发项目结构和替代法则。在根据项目结构和特带法则，选择恰当的刺激特征来编制项目。5、模型验证6、根据项目认知复杂度储备项目7、规则广度效度验证。2、基于证据中心设计的测验项目编制（ECD）学生模型：确定诊断目标：认知技能、知识、认知策略证据模型：支持诊断的证据：能提供诊断证据的可观察行为、证据任务模型：激发证据的任务：任务完成条件、任务材料、作答结果特征

、CD-CAT选题策略挑选对当前被试认知状态具有最大信息量（最小诊断误差）的项目。1、综合K-L信息量最大法（GDI）GDI(a)=GDI(a)=艺工jic=1log-y=07=y1ai)PY=yIa丿丿

ijcij=y|ai22、相似性加权GDI信息量最大法（S-GDI）L-GDI(a)L-GDI(a)=另工j=yIa)L(a)ijicj=y1%P(=y1a\log-y=0ijcp(1-p)(1-u)caaccic=1其中L（a）=n33、似然函数加权GDI信息量最大法（L-GDI）S-GDI(S-GDI(a)=另Jjiha,ac=1ic工log-y=07=y1a)PY=yIa丿丿

ijcij=y|ai其中h其中h(a,a)=:丈(a—aicikck[k=14、似然函数和相似性加权的GDI信息量最大法（SL-GDI）SL-GDI宀SL-GDI宀jiha,ac=1ic工log-y=07=y1a)PY=yIa丿丿

ijc=yIa)L(a)ijic五、初始试题选取1、T阵法T阵法依据R矩阵是测验实现对每个认知属性诊断的充分条件的思想，把R矩阵所考核的认知属性成为“T阵”，把CD-CAT的初始试题从“T阵”中选取并同时保证T阵中含有R阵的方法称为T阵法。这种方法保证了在CD-CAT测验的初始阶段就尽可能实现对每个属性的诊断，从而提高CD-CAT的诊断准确性。从数学角度而言，如果所有理想掌握模式在测验上的理想作答均不相同，则该测验就能实现对每个认知属性的诊断。但是在实际的认知诊断CAT中这如何保证？根据Tatsuoka的Q矩阵原理，我们可知所有理想的属性掌握模式均可由R阵导出，因此可达矩阵是测验实现对每个属性诊断的充分条件。2、随机选题策略六、终止条件1、随机选题策略贝叶斯后验概率香农熵七、项目结构假设1、项目作答需要的技能心理和教育测量领域的认知诊断测验大多是认知技能密集或知识密集的，现实中，大多数测量项目都会涉及两个甚至多个认知技能。2、项目反应中的属性作用机制项目属性反应机制分为两类：A：补偿机制-项目属性间具有补偿性B：非补偿机制-考察项目属性之间不具有补偿性3、项目作答是否存在多种策略七、多级评分认知诊断模型1、基于DINA模型的多级评分认知诊断模型开发DINA模型相对比较简洁，在实际中的应用也比较广泛，但是目前该模型仅适用于0-1评分数据。由此，相关学者基于DINA模型提出适用于0-1评分以及多级评分的P-DINA模型。2、多级评分AHM期望项目反应模式全集的确定方法假设项目按属性评分，且每个属性赋值为1，则满分为f.的项目含有f.个属性，被试每正确反应一个属性则累计1分。属性间的层级关系图