以多点计分试题结构为基础的计算机适性测验算法

1硕士论文计划

以多点计分试题结构为基础的计算机适性测验算法

Jan.17,20052研究动机国科会计划「国小数学科计算机化适性诊断测验(I)(II)(III)」是以数学科「单元」为测验单位之计算机测验，其选题策略主要是以二元计分试题结构为基础。（郭伯臣，2003、2004）本研究拟将原适用于二元计分适性测验选题模式扩展为多点计分的适性测验选题模式，并应用于开发可诊断「能力指针」学习情形的计算机适性诊断评量。郭伯臣、刘湘川（2003,2004）计算机化适性诊断测验及补救教学系统进行流程

2.适性测验系统（以二元计分试题结构为主）学生学习剖面图3.补救教学分类系统类别1类别2类别n4.辅助学习模块1学生1.多媒体题库系统4.辅助学习模块24.辅助学习模块n以试题阶层性结构为基础的适性测验如何节省施测题数ABCDEFGHI0011111待测待测待测待测待测待测待测待测待测011110预测错误预测作答情形5知识/试题结构产生的方式专家结构由学科专家与现职教师共同参考相关研究文献及不同版本教材后分析讨论建立。二元计分试题结构估计方法DiagnosysOrderingTheory(OT)ItemRelationalStructureAnalysis(IRS)6研究目的开发以多点计分试题结构为基础之适性测验选题策略探讨以不同多点计分试题结构为基础及以专家结构为基础之适性测验选题策略成效探讨如何结合二元计分与多点计分试题结构之适性测验选题策略7研究步骤与目前进度配合相关能力指标研究，建立专家能力指针间结构及专家能力指针内结构。发展适用于计算机适性测验之多点计分试题顺序结构系数（研究目的一）编制纸笔测验，并进行施测，收集仿真计算机适性测验所需数据以实际测验数据进行仿真计算机适性测验，评估不同多点计分试题结构及专家结构之适性测验选题策略成效。（研究目的二）以实际测验数据进行仿真计算机适性测验，评估结合二元计分与多点计分试题结构之适性测验选题策略成效。（研究目的三）目前进度已完成步骤1-3，现正进行步骤4。8以二元计分试题结构为基础之

适性测验选题策略9Diagnosys(Appleby,Samuels,Treasure-Jones,1997)

ItemXk=1ItemXk=0ItemXj=1ItemXj=010DiagnosysDiagnosysOurDefinition11ThejointandmarginalprobabilitiesofitemjandkItemkItemjTotalTotal112OrderingTheory(OT;Airasian&Bart,1973)

ItemkItemjTotalTotal113ItemRelationalStructureAnalysis(IRS;Takeya,1978)14「扩分、、约分」」单元OT’sStructure(threshold=0.04)15「扩分、、约分」」单元OT’sStructure(threshold=0.02)16二元计分分试题结结构的应应用早期这些些方法主主要是用用以估计计纸笔测测验之试试题结构构，强调调可提供供除了试试题通过过率与鉴鉴别度外外的学生生学习讯讯息；也也常用于于比较使使用不同同教学法法或教材材版本时时，是否否造成学学生试题题结构不不同。本研究则则将二元元计分试试题结构构应用于于计算机机适性测测验选题题策略中中。17二元计分分试题结结构研究究结果郭伯臣、、何政翰翰(2004)、郭伯臣臣(2004，2003)、Kuo,Liu,Sheu,Pai,Ko,Yang&Lin(2004)的研究中中使用四四种方法法（专家家知识结结构、Diagnosys、OT与IRS）来建立立结构，，并评估估所建立立结构之之计算机机适性测测验算法法成效，，结论为为：OT的算法与与其他算算法比起起来，其其对样本本大小较较不敏感感，因此此就以试试题顺序序结构为为基础适适性测验验的来说说，OT为一个较较好的选选择。18以多元计计分试题题结构为为基础之之

适性性测验选选题策略略19多点计分分试题顺顺序结构构理论(1)20多点计分分试题顺顺序结构构理论(2)21多点计分分试题顺顺序结构构理论(3)22多点计分分试题结结构的应应用如同二元元计分试试题结构构，目前前这些多多点计分分试题结结构估计计方法主主要是用用以估计计纸笔测测验或问问卷之试试（问））题结构构，强调调可提供供除了试试题通过过率与鉴鉴别度外外的学生生学习讯讯息，常常用于比比较使用用不同教教学法或或教材版版本，是是否造成成学生试试题结构构不同。。本研究则则将结合合多点计计分与二二元计分分试题结结构应用用于计算算机适性性测验选选题策略略中。23研究步骤骤与目前前进度配合相关关能力指指标研究究，建立立专家能能力指针针间结构构及专家家能力指指针内结结构。发展适用用于计算算机适性性测验之之多点计计分试题题顺序结结构系数数（研究究目的一一）编制纸笔笔测验，，并进行行施测，，收集仿仿真计算算机适性性测验所所需数据据以实际测测验数据据进行仿仿真计算算机适性性测验，，评估不不同多点点计分试试题结构构及专家家结构之之适性测测验选题题策略成成效。（（研究究目的二二）以实际测测验数据据进行仿仿真计算算机适性性测验，，评估结结合二元元计分与与多点计计分试题题结构之之适性测测验选题题策略成成效。（（研究究目的三三）目前进度度已完成成步骤1-3，现正进进行步骤骤4。24模拟实验验一目的：于于训练样本本数固定的情情况下，，探讨不不同threshold与对不同多多点计分分试题结结构在预预测精确确度与施施测题数数的影响响。方法：设设定threshold为0～1之间，样样本数10、50、100与200人四种情情况所获获得结构构，对预预测精确确度与施施测题数数的影响响。25PredictionAccuracyv.s.Thresholds(Diagnosys)---扩分分约约分分0.040.0226TestSpeedv.s.Thresholds(Diagnosys)---扩分分约约分分0.040.0222.621.027PredictionAccuracyv.s.Thresholds(OT)---扩分分约约分分0.060.040.0228TestSpeedv.s.Thresholds(OT)---扩分分约约分分0.060.040.0210.811.712.529模拟拟实实验验二二目的的：：在在threshold固定定的的情情况况下下，，探探讨讨训练练样样本本数数对不同同多多点点计计分分试试题题结结构构在预预测测精精准准度度与与施施测测题题数数上上之之影响响。。方法法：：本本实实验验由由总总样样本本中中随随机机选选取取1,2,3,……,200个样样本本做做为为训训练练样样本本，，threshold设定定由由实实验验一一之之结结果果决决定定。。30PredictionAccuracyv.s.SampleSize---扩分分约约分分31研究究步步骤骤与与目目前前进进度度配合合相相关关能能力力指指标标研研究究，，建建立立专专家家能能力力指指针针间间结结构构及及专专家家能能力力指指针针内内结结构构。。发展展适适用用于于计计算算机机适适性性测测验验之之多多点点计计分分试试题题顺顺序序结结构构系系数数（（研研究究目目的的一一））编制纸笔测测验，并进进行施测，，收集仿真真计算机适适性测验所所需数据以实际测验验数据进行行仿真计算算机适性测测验，评估估不同多点点计分试题题结构及专专家结构之之适性测验验选题策略略成效。（（研究目目的二）以实际测验验数据进行行仿真计算算机适性测测验，评估估结合二元元计分与多多点计分试试题结构之之适性测验验选题策略略成效。（（研究目目的三）目前进度已已完成步骤骤1-3，现正进行行步骤4。32阶层性结构构为主的多多元计分适适性测验如如何节省