《大语言模型基础》课程简介

《大语言模型基础》课程简介课程名称： 大语言模型基础 Foundationoflargelanguagemodels课程编号：CS-301学分：2学分课程简介：本课程旨在介绍大语言模型的基本概念、核心技术、应用场景以及开发流程。通过本课程的学习，学生将能够理解大语言模型的工作原理，掌握大语言模型的基本概念、核心技术、应用场景以及开发流程,掌握模型的训练、微调和应用方法，并能够独立设计和实现基于大语言模型的应用系统，为未来的学术研究和实际应用打下坚实的基础。课程目标：1.知识目标：掌握大语言模型的基本概念、发展历程和技术原理。2.技能目标：能够使用开源大模型进行微调和应用开发。3.应用目标：能够在实际项目中设计和实现基于大语言模型的解决方案。4.伦理目标：了解大语言模型伦理和法律问题，具备负责任的技术应用能力。课程内容：1.大模型基础•1.1人工智能基础•1.2大模型定义•1.3大模型技术的形成•1.4通用人工智能2.大模型与生成式AI•2.1什么是语言模型•2.2大模型发展三阶段•2.3Transformer模型•2.4生成式人工智能3.大模型架构•3.1大模型生成原理•3.2多模态语言模型•3.3大模型的结构•3.4应用技术架构•3.5OpenAI的Sora大模型4.人工数据标注•4.1知识表示方法•4.2什么是数据标注•4.3数据标注分类•4.4制定标注规则•4.5执行数据标注•4.6标注团队管理5.大模型预训练数据•5.1数据来源•5.2数据处理•5.3数据影响分析•5.4典型的开源数据集•5.5训练集、测试集、验证集的异同•5.6数据集面临的挑战6.大模型开发组织•6.1大模型开发流程•6.2大模型的数据组织•6.3分而治之的思想•6.3.1分布式计算•6.3.2消息传递接口MPI•6.3.3MapReduce模型•6.3.4批处理和流处理•6.4分布式训练与策略7.提示工程与微调•7.1什么是提示工程•7.2大模型为什么要微调•7.3提示学习和语境学习•7.4上下文窗口扩展•7.5指令数据的构建•7.6微调及其PEFT流行方案8.强化学习方法•8.1强化学习的概念•8.2强化学习基础•8.3强化学习分类•8.4深度强化学习9.大模型智能体•9.1智能体和环境•9.2智能体的良好行为•9.3环境的本质•9.4智能体的结构•9.5构建大模型智能体•9.6人工智能内容生成（AIGC）10.大模型应用框架•10.1大模型哲学问题•10.2大模型应用流程•10.3大模型应用场景•10.4案例：Magic突破Q算法11.技术伦理与限制•11.1人工智能面临的伦理挑战•11.2数据隐私保护对策•11.3人工智能伦理原则•11.4大模型的知识产权保护12.大模型产品评估•12.1模型评估概述•12.2大模型评估体系•12.3大模型评估实践•12.4大模型产品对比•12.5大模型的大趋势教学方法：•课堂讲授：通过多媒体课件和案例讲解，系统介绍大语言模型的基础知识和技术原理。•实验实训：通过实验室实践，让学生动手操作，掌握大语言模型的训练、微调和应用方法。•小组讨论：组织学生进行小组讨论，探讨大语言模型的实际应用和伦理问题。•项目作业：布置实际项目作业，要求学生独立设计和实现基于大语言模型的应用系统。考核方式：•平时成绩（30%）：包括课堂表现、实验报告和小组讨论。•期中考试（30%）：考察学生对大语言模型基础知识的理解和掌握。•期末项目（40%）：要求学生独立