人工智能应用基础 课件 项目7 大模型

人工智能应用基础授课人：周老师

技术篇项目7 大模型01项目描述05项目拓展02项目分析06项目小结03相关知识07项目练习04项目实施目录项目描述01以前小明遇到不懂的问题都是用百度进行查找，很快就有搜索到符合自己的网页。最近小明发现，在搜索的结果中出现了人工智能的问答，得到结果往往更精准，省去了自己去网页中一个个找答案的时间。小明心中存在疑问，这些能回答问题的人工智能到底是从哪里一下冒出来的呢？这里面的技术跟深度学习、神经网络有关系吗？小明想更深入了解这背后的技术，并希望能在更多的地方利用这项人工智能技术，为自己带来方便。7.1项目描述02项目分析ChatGPT、文心一言、豆包等都属于人工智能的范畴，自然背后的技术也是我们熟悉的深度学习，它们同样利用了深层的神经网络模型来学习大量的知识，所以能轻而准确的回答出我们提出的问题。只不过，这些能回答问题的人工智能与我们之前了解的神经网络模型稍有不一样，我们通常把它们称作“大模型”。下面我们就一起来学习大模型的以下知识：1.

大模型发展历程2.

大模型相关技术3.大模型的应用方向7.2项目分析03相关知识大模型通过在大型文本语料库上进行训练，专用于自然语言处理任务的深度学习模型称为大语言模型（LargeLanguageModel，LLM），我们简称为“大模型”。7.3相关知识目前大模型已成为人工智能发展的重要方向，为各行各业带来了前所未有的变革。标志着人工智能向通用智能迈出的重要一步。在经历了基于数据的互联网时代和基于算力的云计算时代之后，我们正步入一个以大型模型为基础的人工智能新时代。1.大模型的发展直到2022年底，ChatGPT震撼上线，人工智能技术因此迎来了一次重要进展。虽然大模型拥有强大的性能，短短几年的时间就席卷了整个社会，但是支撑这些模型的背后技术确不是一蹴而就的，那我们来看一下大模型是怎么发展起来的，其发展历程可归纳如下：7.3相关知识（1）探索阶段20世纪90年代，神经网络技术重新复苏，这时候已经发现深层的神经网络可以有更好的特征提取效果，研究者们开始探索大规模神经网络模型，这也是大模型的早期探索时代，我们前面做过的手写体数字识别在这个时候也已经用卷积神经网络完成了，但由于硬件计算能力和数据集规模的限制，模型参数无法提升。1.大模型的发展7.3相关知识（2）突破阶段2012年，由于互联网的普及，人们进入了大数据时代，具备了收集海量数据的条件，同时硬件平台也得到了迅速发展，解决了训练模型的算力问题。于是，模型的识别能力开始变得越来越精准，使用的数据集也越来越大。用于图像分类的AlexNet模型被提出来（以作者的名字AlexKrizhevsky命名），它是一个深层的卷积神经网络结构，分类效果远超其它模型，训练AlexNet模型的图片数量超过了1400万张，深度学习模型逐渐开始朝“大”的方向发展。在自然语言处理领域中，Word2Vec诞生，首次提出将单词转换为向量的“词向量”，计算机也开始变得能更好地理解和处理文本数据了。1.大模型的发展7.3相关知识（3）开启阶段2017年，基于注意力机制的Transformer模型的提出，开启了自然语言处理领域的大模型时代。之后在语言模型几乎都采用或部分采用了注意力机制，并且在其它领域的应用也开始慢慢拓展。1.大模型的发展7.3相关知识（4）爆发阶段2020年，经过前两代模型的沉淀，GPT-3发布，将大模型参数规模推向千亿级别，引发了广泛关注。它基于深度神经网络的架构，可以生成自然语言，完成文本分类、翻译、问答、对话等多种任务。ChatGPT是将GPT-3专门针对对话交互场景进行优化而来的。训练数据集更加注重对话交互领域的数据，可以更好地适应对话交互场景，提供更加流畅、自然的对话交互体验。2.大模型的分类7.3相关知识（1）通用大模型通用是指通用的大语言模型，能在自然语言处理中能完成多种类型的任务，如文本生成、文本分类、机器翻译等。（2）特定领域大模型专门针对某个领域的细分场景，用于训练特定领域大模型的数据集较小，在更小的数据范围内进行专业领域知识的训练，因此可以更快、更便宜地进行训练。（3）多模态大模型能够处理多种模态的数据，如图像、文本、语音等，如GPT-4。目前的多模态大模型已经初步具备了基于视觉或语音信息进行推理的能力，可以称得上是真正的通用大模型。3.大模型技术7.3相关知识（1）大模型的“大”①参数规模大：大模型具有数十亿甚至千亿级别的参数，能够捕捉到数据中的深层次特征。②训练数据量大：大模型通常在数百GB甚至TB级别的数据上进行训练。③计算资源需求高：大模型训练过程中需要大量计算资源，如GPU、TPU等。④模型泛化能力强：泛化能力是指模型能将在训练数据上学习到的知识推广到新的、未见过的数据上，大模型在各类任务中都表现出具有较强的泛化能力。3.大模型技术7.3相关知识（2）大模型的预训练GPT这三个字母中G指“生成式”，P指“预训练”，T指“Transformer”，可见预训练在大模型中的重要作用。预训练是大模型训练的第一步，预先用大量广泛而多样的数据来训练模型，让模型在见到特定任务数据之前，先学习到数据中通用的知识，从而提升模型在目标任务上的表现能力。模型在学习了通用知识后，转而再去学习某个领域的知识是比较容易的，需要的训练样本也会减少很多。水果识别的预训练模型7.3相关知识用一部分图像数据训练一个卷积神经网络来对水果进行分类，这些数据量不够，不足以训练出一个有效的模型来识别水果类别。水果识别的预训练模型7.3相关知识利用接收过千万张图片训练过的Alex模型（预训练），再次用少量水果图片进行训练（微调）。3.大模型技术7.3相关知识（3）大模型的微调①在新任务的小规模标注数据集上进一步训练。这种方式以预训练模型作为基础，在新任务的小规模标注数据集上，使用少量数据进行微调，以使其适应新任务。可以调整模型的全部参数，也可以冻结部分层的参数不调整，保持模型大部分参数不变。这种微调方法适用于那些有明确标注数据集的任务，如文本分类、图像识别等。3.大模型技术7.3相关知识（3）大模型的微调②基于人类反馈的微调，这是一种有监督微调的特殊形式，希望在让模型理解和遵循人类指令。3.大模型的应用7.3相关知识（1）自然语言处理中的大模型①序列标注。如实体命名和词性标注。②关系抽取。关系抽取任务关注于从非结构化文本数据中自动提取出蕴含的语义关系。③文本生成。文本生成如机器翻译和自动摘要。3.大模型的应用7.3相关知识（2）推荐系统中的大模型①大模型可以直接作为推荐模型来提供推荐服务。②大模型还可以用于增强推荐系统的数据输入、语义表示或偏好表示，以从不同角度改进已有推荐模型的性能。3.大模型的应用7.3相关知识（3）大模型赋能人形机器人①提升人形机器人的自然语言交互，使机器人能够与人进行自然语言的交互理解。。②识别复杂场景视觉感知。③对动作和规划进行精准把控。3.大模型的应用7.3相关知识（4）大模型安全与隐私问题①信息泄露：无论是开源模型还是闭源模型，都有可能在生成的文本中无意泄露训练数据中的敏感信息。②生成不适当内容：无论是开源还是闭源模型，都可能生成攻击性、不恰当或误导性的内容。③被恶意利用：无论是开源还是闭源模型，都可能被恶意用户利用，生成虚假信息或进行网络钓鱼等恶意活动。04项目实施1、打开文心一言主页，提出问题打开文心一言主页，向其提出一个问题，如：“请以秋分为主题，写一首20字的诗”。——“反馈大模型答案”7.4项目实施2、重新生成答案待模型输出完答案后，点击答案下方的“重新生成”案钮，再次生成一个答案。3、反馈两次答案的结果得新生成答案后，可以根据答案下方的反馈提示，选择一个你认为合适的比较结果。05项目拓展7.5项目拓展通用大模型的“工业潜力”通用大模型作为人工智能从专用化迈向通用化的发展新阶段，在工业领域中展现出了巨大的“工业大脑”潜力，主要体现在智能决策、预测与优化、检测与控制几个方面。7.5项目拓展通用大模型与专用大模型的结合通用大模型通过处理大量通用数据获得广泛的知识基础，但也面临着数据质量、成本问题、灵活性等挑战。而专用大模型针对特定工业场景或任务进行训练和优化，具有更高的精度和效率，能够解决通用大模型在特定场景下可能存在的性能不足问题。专用模型以通用大模型为基础，通过行业数据微调，使其适应特定工业场景，则能够快速响应行业需求，降低开发成本。06项目小结模型的流因为大数据的发展给深度学习提供了足够的训练数据，而硬件算力的提升保证了模型能在可靠的时间内训练完成。大模型其实也是一个神经网络模型，但由于它的预训练加微调的学习方法，使其接受了海量知识的训练，所以它能看上去那么智能。同时我们也要注意大模型的安全隐私问题，主要包括数据安全和隐私泄露、提示注入风险、内容违规和误用滥用风险。7.6项目小结07项目练习一、选择题

1. 下列哪个是代表性的大语言模型？（

）

A. Tansformer

B. ChatGPT

C. 自编码器D. CNN2. 大模型普遍采用了下列哪个结构？（

）A. 感知机B. 自编码器C. 全连接神经网络D. 基于注意力机制的Tansformer3. 下列哪个不属于大模型的特点？（

）A. 体积大B. 需要海量训练数据C. 模型参数规模大D. 计算资源需求高7.7项目练习一、选择题

4. 下列哪个不属于ChatGPT中“GPT”代表的含义？（

）

A. 生成式B. 预训练C. Transformer

D. 深度学习5. 大模型的分类不包括下列哪个？（

）A. 通用大模型