大语言模型通识微课课件：大语言模型的定义

大语言模型通识微课

大语言模型的定义大语言模型是深度学习的应用之一，尤其在自然语言处理领域，这些模型的主要目标是理解和生成人类语言。为了实现这个目标，模型需要在大量文本数据上进行训练，以学习语言的各种模式和结构。例如，ChatGPT就是一个大模型的例子，它被训练来理解和生成人类语言，以便进行有效的对话和解答各种问题。微课1.2大语言模型的定义生成式人工智能（GAI）是一种先进的人工智能技术，它能够基于已学习的大量数据集，利用复杂的算法、模型和规则，创造出新的、原创性的内容。这种技术不仅限于文本生成，还涵盖了图像、声音、视频乃至代码的生成，展示了超越传统软件在内容创作上的能力。生成式人工智能的核心在于其能够理解和模仿数据中的模式，并以此为基础生成看似由人类创作的全新数据实例。这背后通常涉及深度学习模型，如生成对抗网络、变分自编码器、扩散模型等，这些模型通过学习潜在的概率分布来生成内容。1.2.1生成式人工智能在很多语境下，人工智能生成内容（AIGC）也被用于指代生成式人工智能。相关人工智能领域术语的关系如图1-4所示。这些概念共同构成了AIGC的核心要素。图1-4AIGC与人工智能技术谱系1.2.2人工智能生成内容AIGC的重要意义在于它能够：•提高创意产业的生产力：通过自动生成，加速内容创作过程。•个性化内容定制：根据用户偏好生成个性化推荐、广告或媒体内容。•辅助创作和教育：作为辅助工具，帮助创作者快速原型设计，或在教育领域生成定制化的学习材料。•跨媒体内容生成：实现文本到图像、图像到视频等跨模态内容的转换，推动多媒体和元宇宙的发展。•自然语言处理的进步：如ChatGPT所示，AIGC在对话系统、文本摘要、翻译等方面展现巨大潜力。1.2.2人工智能生成内容大语言模型（LLM）是一种基于深度学习技术构建的先进人工智能模型，其核心能力在于理解和生成自然语言。这类模型通过在海量文本数据上进行训练，学习语言的统计规律、结构和语义，能够执行多种自然语言处理任务，如文本生成、问答、翻译、情感分析、文本摘要等。大语言模型的关键特点包括：（1）规模庞大：通常包含数十亿至数万亿个参数，这些参数使模型能够学习语言数据中的复杂模式，从而更准确地模拟人类语言的多样性和细微差别。1.2.3大语言模型的定义（2）无监督预训练：大多数大语言模型采用无监督学习方法进行预训练，这一过程让模型在未标注的文本数据上学习语言的一般知识，之后可针对特定任务进行有监督的微调。（3）基于深度学习架构：常见的如Transformer架构，这种架构能有效捕捉长距离语言依赖关系，增强模型的理解和生成能力。（4）多功能性：由于在广泛数据上进行了泛化学习，大语言模型能够适应多种应用场景，展示出一定的逻辑思维、推理和创造性表达能力。（5）持续进化：随着技术进步和计算资源的增加，大语言模型不断进化，参数量和性能持续提升，推动了自然语言处理领域的一系列突破。1.2.3大语言模型的定义大语言模型代表了自然语言处理领域的一个重要里程碑，不仅极大地提升了机器处理语言任务的效率和质量，也为人工智能的未来应用开辟了新的可能。大模型可以进行预训练，然后针对特定目标进行微调。以训练狗为例，可以训练它坐、跑、蹲和保持不动。但如果训练的是警犬、导盲犬和猎犬，则需要特殊的训练方法。大模型的训练也采用与之类似的思路。大模型被训练来解决通用（常见）的语言问题，如文本分类、问答、文档总结和文本生成等。1.2.3大语言模型的定义在“大模型”的上下文中，“大”主要有两层含义。一方面，它指的是模型的参数数量。在这些模型中，参数的数量通常会非常大，达到数十亿甚至数百亿。这使得模型能够学习和表示非常复杂的模式。另一方面，“大”也指的是训练数据的规模。大模型通常可以在来自互联网、书籍、新闻等各种来源的大规模文本数据上进行训练。在大模型中，“通用”描述的是模型的应用范围。通用语言模型在训练时使用了来自各种领域的数据，因此能够处理各种类型的任务，使得这些模型在处理新的、未见过的任务时具有很强的泛化能力。1.2.4大模型的特征有别于“专用（特定领域）人工智能”，通用人工智能（AGI）是指一种能够像人类一样思考、学习和执行多种任务的人工智能系统，它具备自主感知、认知、决策、学习、执行和协作等能力，且符合人类情感、伦理与道德观念。开发ChatGPT的OpenAI公司将AGI写在了自己的企业使命中，OpenAI官网上是这样写的：“OpenAI的使命是确保通用人工智能，即一种高度自主且在大多数具有经济价值的工作上超越人类的系统，将为全人类带来福祉。我们不仅希望直接建造出安全的、符合共同利益的通用人工智能，而且愿意帮助其它研究机构共同建造出这样的通用人工智能以达成我们的使命。”1.2.5什么是通用人工智能虽然大模型已经取得了一些惊人的进展，但它还不符合通用人工智能的要求。（1）大模型在处理任务方面的能力有限。它还只能处理文本领域的任务，无法与物理和社会环境进行互动。（2）大模型也不具备自主能力。它需要人类来具体定义好每一个任务，就像一只“巨鹦鹉”，只能模仿被训练过的话语。（3）虽然ChatGPT已经在不同的文本数据语料库上进行了大规模训练，包括隐含人类价值观的文本，但它并不具备理解人类价值或与其保持一致的能力，即缺乏所谓的道德指南针。1.2.6大模型与通用人工智能图灵奖得主扬·勒昆认为：语言只承载了所有人类知识的一小部分，大部分人类具有的知识都是非语言的。因此，大模型是无法接近人类水平智能的。深刻的非语言理解是语言有意义的必要条件。正是因为人类对世界有深刻的理解，所以我们可以很快理解别人在说什么。