T-AHAI 012-2024 面向终身学习的个性化学习与测评系统技术要求

AHAITechnicalrequirementsforadaptivelearningandassessmentsyIT/AHAI012—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国科学技术大学提出。本文件由安徽省人工智能协会归口。本文件起草单位：中国科学技术大学、科大讯飞股份有限公司、北京师范大学、国家开放大学。本文件主要起草人：刘淇、陈恩红、黄振亚、朱孟潇、李鑫、郑永和、贺媛婧、王一岩、庄严、赵官豪、舒奇、冯立。T/AHAI012—2024构建服务全民终身学习的教育体系，形成全民学习、终身学习的学习型社会，促进人的全面发展是民族复兴的重大战略。终身学习要求社会的每个成员为适应社会发展和实现自身发展的需要，贯穿其一生持续地进行学习。面向终身学习的个性化学习与测评系统旨在满足学习者终身学习的需求，确保系统中的每位参与者均能适应社会发展和自身发展的需要，实现持续终身学习的目标。1T/AHAI012—2024面向终身学习的个性化学习与测评系统技术要求本文件界定了面向终身学习的个性化学习与测评系统的术语和定义、缩略语，并规定了系统框架、设计要求和非功能性要求。本文件适用于面向终身学习的个性化学习与测评系统（以下简称“系统”）的设计。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T20271-2006信息安全技术信息系统通用安全技术要求GB/T36350-2018信息技术学习、教育和培训数字化学习资源语义描述GB/T38377-2019新闻出版知识服务知识资源建设与服务基础术语3术语和定义GB/T36350-2018，GB/T38377-2019界定的术语和定义适用于本文件。3.1终身学习lifelonglearning一种持续不断的学习过程，在人的整个生命周期中不断获取新知识、技能和经验，使学习者能够持续提升能力、扩展视野，并保持竞争力。3.2个性化学习与测评系统adaptivelearningandassessmentsystem利用学习路径规划、学习资源推荐以及自适应测评等技术，在终身学习场景中，测评学习者的能力，并依据学习者学习目标，为学习者提供最合适的学习路径和学习资源，使学习者能持续不断地学习和提高自己的知识和技能并适应社会的发展和变化。3.3知识概念knowledgeconcept学习资源具有的客观属性，承载了学习资源的原子化信息，是可以用语言或其他符号系统表达和传递的信息集合。[来源：GB/T38377-2019，2.3，有修改]3.4学习路径learningpath依据每位学习者的学习目标以及知识掌握程度来定制的最适合每位学习者的知识概念学习序列。3.5学习资源learningresource知识概念的载体，有助于学习者了解、掌握、精通相关知识概念的资源，如练习题、教学视频、文章、音频等。[来源：GB/T36350-2018，2.3，有修改]3.6学习记录learningrecord学习者在学习资源上的交互记录，包括点击、回答文本等信息。4缩略语2T/AHAI012—2024下列缩略语适用于本文件。IRT：项目反应理论(ItemResponseTheory)ACC：正确率(Accuracy)TP：真阳性(TruePositive)TN：真阴性(TrueNegative)FP：假阳性(FalsePositive)FN：假阴性(FalseNegative)5系统设计要求5.1系统框架图系统应分为数据层、模型层以及应用层，框架示意图如图1所示。图1面向终身学习的个性化学习与测评系统框架示意图5.2数据层设计要求5.2.1数据输入数据输入是实现学习者个人信息数据、学习者原始学习记录、学习资源数据、知识概念数据等原始数据收集的重要模块，还是实现人机数据交互和数据预处理的关键环节，应具备以下几个核心功能。a)数据分类和标识：.系统应明确数据的分类。注：数据主要包含两大类型：预定义数据类型和动态数据类型。预定.系统应为每一种数据类型定义相应的标识符，准确且迅速地定位和访问数据。b)交互友好性：.数据输入界面设计应简洁、直观和易于操作。.系统应提供多种交互方式以适应不同学习者群体。3T/AHAI012—2024对于视觉障碍的学习者，系统可以提供语音输入功能；对于不熟悉计算机操c)输入验证：.系统应采用表达式匹配、数据类型检查、内容逻辑校验等多种技术手段验证输入的数据，以防止恶意输入和无效数据进入系统。.系统应建立错误处理机制，对不符合要求的数据输入进行标注和过滤。.系统应及时反馈错误信息，帮助学习者发现并修正自己的错误，以提高数据输入的质量。d)数据格式化：.系统应将原始数据转换为数据存储所需的特定格式。.系统应制定统一的数据标准和规范，确保不同来源的数据在完成数据格式化后具有一致性和可比性。5.2.2数据存储数据存储是对收集到的学习者个人信息数据、学习者原始学习记录、学习资源数据、知识概念数据进行存储的重要模块，应符合以下设计要求。a)数据库设计：系统应根据数据的性质、规模和业务需求综合考量，选择数据库类型。对于结构化的数据，如学习者个人信息数据、学习资源数据、知识概念数据询能力的关系型数据库（如MySQL、Or）；b)数据安全性：.系统应实施严格的访问控制策略，包括学习者身份验证、权限控制和数据访问审计等，确保只有授权的学习者才能访问和操作数据。.系统应通过采用如AES、RSA等加密算法，实现对数据进行加密存储和传输，以防范数据泄露的风险。.系统应定期备份数据，并测试备份数据的恢复能力，以确保在数据丢失或损坏时能够及时恢复。c)数据一致性：.系统应采用事务、锁定等机制保证并发条件下数据的一致性。.系统应采用适当的数据复制和同步技术，确保不同副本之间的数据一致性。d)数据隐私保护：.系统应在使用学习者个人信息数据、学习者原始学习记录等隐私数据用以服务其自身的学习前，征询学习者个人意愿。.系统应在使用学习者个人信息数据、学习者原始学习记录等隐私数据用以服务其他学习者的学习前，征询学习者个人意愿。5.2.3数据处理数据处理对数据存储中保存的学习者个人信息数据、学习者原始学习记录、学习资源数据、知识概念数据进行处理，包括去重、去空、转换等，应符合以下设计要求。a)数据清洗与预处理：系统应建立清晰的数据处理流程，包括去除冗余和重复数据、处理缺失值和异常值以及标准化数据。b)数据集成与转换：系统应对不同源的数据进行转换，将其统一到相同的、可比的数据空间，以便后续进行数据分析和计算。5.3模型层设计要求5.3.1个性化学习需求定制个性化学习需求定制模型负责对已处理完毕的学习者个人信息数据以及学习者原始学习记录进行挖掘、分析和更新，从而判断学习者的能力水平、学习特点、学习需求等关键因素，并将这些需求转化为可服务的形式。个性化学习需求定制应实现以下设计要求。4T/AHAI012—2024a)多模态交互分析：系统应分析多种交互方式下（如在线学习、虚拟实验、讨论论坛等）的学习者原始学习记录，获取学习者的能力水平、学习特点、学习需求等关键信息。b)场景分析：系统应能够建模不同的学习者在不同场景下的学习需求。职场人士可能需要在线学习平台提供与工作相关的课程；大学生可能更能更需要健康相关的课程。因此，通过场景分析能c)趋势分析：系统应持续监测、分析学习者的学习交互数据，并分析其变化趋势，从而预测学习者未来的需求变化，主动优化和更新需求定制模型，保持和学习者需求的高匹配度。5.3.2学习路径规划5.3.2.1学习路径规划模型负责在终身学习者的长期学习规划中提供最优化的学习路径，学习路径规划模型应实现以下模块。在跨域学习上，针对一个想要从事深度学习工作的计算机初学者，学习路径a)学习目标分析模块：系统通过学习者个人信息数据以及学习者原始学习记录，结合学习者的个性化需求，精准地定位学习者的学习目标。b)学习路径识别模块：系统根据已定位的学习目标，结合知识概念数据，确定学习路径的起点和终点，从而识别出多条不同的学习路径。c)学习路径规划模块：系统根据学习者的能力水平、学习特点、学习需求等因素，从多条学习路径中选择最优的一条。5.3.2.2学习路径规划模型应采用学习效果增益来衡量学习路径对学习者学习的提升效果，学习效果增益的计算公式为：Gain=ao式中：Ea——通过规划的学习路径学习后的学习者能力平均水平；Er——通过随机的学习路径学习后的学习者能力平均水平；Eo——进行学习前的学习者能力平均水平；Gain——学习效果增益。学习路径规划的效果依据学习效果增益的大小分为A1、A2、A3、A4四个等级:a)A1：Gain﹥1.25；b)A2：1.05﹤Gain≤1.25；c)A3：1﹤Gain≤1.05；d)A4：Gain﹤1。5.3.3学习资源推荐5.3.3.1学习资源推荐模型负责为学习者提供个性化的学习资源推荐,其任务是在完成学习路径规划后，依据路径上的知识点，为学习者提供与其高度适配的相关学习资源，应实现以下模块。a)资源需求分析模块：系统应综合考量学习者能力水平、学习特点、学习需求等因素，同时结合规划完成的学习路径，精确分析学习者的学习资源需求。b)资源筛选模块：系统应根据学习者的学习资源需求和资源库的实际情况，智能筛选并推荐最合适的资源，包括练习题、教学视频、文章、音频等。具体推荐场景包括以下场景。.课程推荐：系统应根据学习者的兴趣、学习历史和学习目标，推荐适合的课程，帮助学习者选择合适的学习内容。5T/AHAI012—2024.文档推荐：系统应根据学习者的学科需求和学习进度，推荐相关的文档资料，帮助学习者深入学习和扩展知识。.技能推荐：系统应根据学习者的技能需求和职业发展目标，推荐相关的技能培训和学习资源，帮助学习者提升职业竞争力。.职业推荐：系统应根据学习者的兴趣、能力和市场需求，推荐适合的职业方向和发展路径，帮助学习者规划职业生涯。.专家/教师推荐：系统应根据学习者的学科需求和学习目标，推荐合适的专家或教师，提供个性化的学术指导和辅导。c)资源组织模块：系统应根据学习者能力水平、学习特点、学习需求以及学习资源之间的关联关系，对学习资源进行合理配置与重新组织，从而实现学习资源的组合推荐。5.3.3.2学习资源推荐模型应采用召回率来衡量学习者对推荐的学习资源的需要程度，召回率的计算公式为：式中：R——学习资源推荐模型推荐的学习资源的集合；Q——学习者真实的学习资源需求的集合；Recall——召回率，即学习者真实的学习资源需求被学习资源推荐模型推荐出来的比率。学习资源推荐的效果依据召回率的大小分为A1、A2、A3、A4四个等级：a)A1：Recall﹥0.8；b)A2：0.6﹤Recall≤0.8；c)A3：0.25﹤Recall≤0.6；d)A4：Recall≤0.25。5.3.3.3学习资源推荐模型应采用合理性来衡量推荐的学习资源是否合理。在衡量学习资源合理性时，开发方应邀请至少10位专家对学习资源的合理性进行评级，合理性的计算公式为:式中：Rati——专家i依据专业知识，对学习资源合理程度的评级；wi——专家i评级的相关权重；N——专家的总数，至少为10；Ration——由专家评定的学习资源合理性。学习资源推荐的效果依据合理性的大小分为A1、A2、A3、A4四个等级：a)A1：Ration﹥1.75；b)A2：1﹤Ration≤1.75；c)A3：0﹤Ration≤1；d)A4：Ration≤0。5.3.3.3.1学习资源合理程度评级是每一位专家对学习资源合理程度的评级，其分级如下：学习资源合理程度评级表2105.3.3.3.2专家评级权重是每一位专家评级的对最终结果的权重，依据专家的类别，权重分级如下：专家评级权重表6T/AHAI012—20242表2(续)15.3.4自适应测评5.3.4.1自适应测评模型负责识别出学习者能力，应实现以下模块。a)题目参数估计模块：系统应利用学习资源数据中的题目数据构建题库，并对题库中的所有题目进行参数估计，包括难度、区分度和猜测参数等，用于在后续测评过程中动态选择合适的题目。b)学习者测评模块：系统应根据学习者的历史学习记录或当前能力值，选取适合的起始题目，并根据学习者的答题表现动态更新能力值，进而选择与其能力相匹配且信息量高的新题目。c)能力估计模块：系统应基于学习者的测评表现和题目参数，运用现代心理测量理论评估学习者的能力值，衡量其在特定领域的知识掌握程度；并且，在自适应测评完成后，系统根据其获得的能力评估结果，授予学习者相应领域的资格认证。该认证是基于学习者在测评过程中展现出的知识和技能水平，证明其在该领域的专业能力和资格。在资格认证过程中，应引用已有的行业标准或专业认证体系，以确保认证的权威性和可信度。在信息技术领域，可以引用CompTIAA+认证标准。首先，分析CompTIAA+认证的考试大纲和内容，明确关键的知识点和技能要求。在自适应测评中，增加涵盖CompTIAA+认证要求的题目，确保题目的难度和覆盖范围与CompTIAA+认证一致。设定学习者在自适应测评中达到特定分数或能力等级，即可获得推荐申请CompTIAA+认证的资格。5.3.4.2自适应测评模型应采用预测学习者回答不同习题结果的准确率来衡量其测评效果，准确率的计算公式为：TP+TNACC=TP+TN+FP+FN自适应测评模型的效果依据准确率的大小分为A1、A2、A3、A4四个等级：a)A1：ACC﹥0.9；b)A2：0.75﹤ACC≤0.90；c)A3：0.6﹤ACC≤0.75；d)A4：ACC﹤0.6。5.4应用层设计要求应用层应确保将模型层的输出高效地转化为学习者友好型服务，是实现学习路径规划服务、自适应测评服务以及学习资源推荐服务的关键环节。系统应确保实现以下功能。a)格式化呈现：系统应将模型层算法输出结果转化为学习者易于理解和使用的形式。将学习路径在知识图中进行高亮展示，有助于学习者深入理解课程的内在逻划个人的学习计划。对学习资源集合进行规范化展示，能够让学习者更加便学习效率。对学习者测评成绩进行雷达图展示，能够直观地反映出学习者的b)学习者交互友好：系统应提供直观且易于使用的交互界面，确保学习者能够轻松操作。引入简洁明了的导航菜单和清晰的按钮布局不同设备和屏幕尺寸上保持一致的使用体验，确保学习者随时随地如在学习者首次使用某项功能时显示简要的操作指南c)多语言支持：系统应支持多种语言，满足不同语言背景学习者的需求。7T/AHAI012—2024包括文本、音频和视频，均能提供多语言版本，以满足全球化学习者的需地化的客服支持和学习辅助，确保学习者在使用过程中能够获d)无障碍输出：系统应运用语音识别、视频教学、盲文支持等先进的技术手段，使终身学习场景下不同特征的学习者能够根据自己的需求和偏好选择最适合自己的学习方式。对于视力受损的学习者，系统可以提供盲文支持，让他们能够通过触觉感知e)社交互动：系统应提供多种社交互动方式，促进学习者之间的交流与合作。设立讨论区和学习群组，学习者可以在其中分享学习心得、提出问统，通过适度的竞争和奖励机制激励学习者积极参与学习。支持6系统非功能性要求6.1运行环境系统应以提供微服务的方式运行，并可以在包括PC、HarmonyOS、Mac、Android、IOS等不同平台上提供服务。系统具体软、硬件运行环境应满足：a)软件环境：Docker容器部署；b)硬件环境：1)应支持CPU：X86，X86-64、ARM等多种指令集芯片；2)占用内存：8GB及以上；3)磁盘：250GB以上；4)网络：1000mbps以上。6.2系统健壮性在系统健壮性方面，系统应：a)在出现故障或错误时，不会完全崩溃；并且具备识别和处理常见的错误和异常情况的能力，以保持系统的稳定性和可靠性。b)具备符合GB/T20271-2006要求的安全机制，以防范各种恶意攻击、数据泄露、未经授权的访问等安全威胁，采取合适的加密、认证和授权措施来保护数据和系统资源。c)实现备份和恢复机制，以确保即使发生数据丢失或系统崩溃，也能够快速恢复并尽可