大语言模型通识微课课件：提示工程和语境学习

大语言模型通识微课

提示工程与语境学习大语言模型正在发展成为人工智能的一项基础设施，少数大厂负责预训练大模型，而大多数人则会是其用户。用户掌握用好大模型的技术。用好大模型的第一个层次是掌握提示工程，第二个层次是做好大模型的微调。提示工程关注提示词的开发和优化，帮助用户将大模型用于各场景和研究领域。掌握提示工程相关技能帮助用户更好地了解大模型的能力和局限性。另一方面，需要使用指令数据对其进行微调。如何构造指令数据，如何高效低成本地进行指令微调训练，以及如何在语音模型基础上进一步扩大上下文等问题，是大模型在有监督微调阶段的核心。微课8.1提示工程与语境学习提示工程应用于开发和优化提示词，帮助用户有效地将语言模型用于各种应用场景和研究领域。研究人员可利用提示工程来提高大模型处理复杂任务场景的能力，如问答和算术推理能力以及大模型的安全性。开发人员可通过提示工程设计和实现与大模型或其他生态工具的交互和高效接轨，借助专业领域知识和外部工具来增强大模型能力。8.1.1什么是提示工程提示不仅是用户与大模型（如ChatGPT）交互的桥梁，更是一种全新的“编程语言”，用于指导人工智能模型产生特定的输出。（1）角色转变：用户通过精心设计的提示来“编程”人工智能模型，指导其执行各种任务。（2）任务多样性：任务的范围非常广泛，从简单问答、文本生成到复杂的逻辑推理、数学计算和创意写作等。（3）即时性与互动性：提示通常更加即时和互动。用户可以直接在模型接口中输入提示并立即看到结果。8.1.1什么是提示工程提示工程涉及到如何设计、优化和管理提示内容，以确保人工智能模型能够准确、高效地执行用户的指令。（1）设计：需要仔细选择词汇、构造清晰的句子结构，并考虑上下文信息，确保大模型能够准确理解用户的意图并产生符合预期的输出。（2）优化：可能涉及调整词汇选择、改变句子结构或添加额外的上下文信息，以提高大模型的性能和准确性。需要多次迭代以达到最佳效果。（3）管理：管理大量提示内容，包括组织、存储和检索提示，以便在需要时能够快速找到并使用它们。同时，还需要定期更新和维护。8.1.2提示工程的原理以下是设计提示的一些技巧。（1）从简单开始。记住设计提示是一个迭代过程，需要大量实验来获得最佳结果。可以从简单提示开始，随着目标获得更好的结果，不断添加更多的元素和上下文。具体、简洁和简明通常会带来更好的结果。当有一个涉及许多不同子任务的大任务时，可以尝试将任务分解为更简单的子任务，并随着获得更好的结果而不断构建。这避免了在提示设计过程中一开始就添加过多的复杂性。8.1.3提示的技巧（2）指令。可以使用命令来指示模型执行各种简单任务，例如“写入”“分类”“总结”“翻译”“排序”等，为任务设计有效的提示。需要进行大量的实验，尝试使用不同的关键字、上下文和数据尝试不同的指令，看看哪种方法最适合特定的用例和任务。通常情况下，上下文与要执行的任务越具体和相关，效果越好。（3）具体性。提示越具体和详细，结果就越好。在提示中提供示例非常有效，可以以特定格式获得所需的输出。在设计提示时，还应考虑提示的长度，因为长度有限制。8.1.3提示的技巧（4）避免不精确。通常最好是具体和直接，越直接信息传递就越有效。例如，如果有兴趣了解提示工程的概念。可以尝试这样做：解释提示工程的概念。保持解释简短，只有几句话，不要过于描述。但更好的提示是非常具体、简洁和直接的。设计提示时的另一个技巧是避免说不要做什么，而是说要做什么。鼓励更具体化，并关注导致模型产生良好响应的细节。8.1.3提示的技巧语境学习，也称上下文学习，是指模型可以从上下文中的几个例子中学习：向模型输入特定任务的一些具体例子（也称示例）及要测试的样例，模型可以根据给定的示例续写测试样例的答案。以情感分类任务为例，向模型中输入一些带有情感极性的句子、每个句子相应的标签，以及待测试的句子，模型可以自然地续写出它的情感极性为“正面”。

图8-5语境学习示例8.1.4语境学习语境学习可以看作提示学习的一个子类，其中示例是提示的一部分。语境学习的关键思想是从类比中学习，整个过程并不需要对模型进行参数更新，仅执行前向的推理。大模型可以通过语境学习执行许多复杂的推理任务。作为大模型的一种新的范式，语境学习具有许多独特的优势。首先，其示例是用自然语言编写的，提供了一个可解释的界面来与大模型进行交互。其次，不同于以往的监督训练，语境学习本身无须参数更新，这可以大大降低使大模型适应新任务的计算成本。8.1.4语境学习在语境学习中，示例的标签正确性（输入和输出的具体对应关系）并不是有效的关键因素，起到更重要作用的是输入和样本配对的格式、输入和输出分布等。此外，语境学