chatgpt原理、应用与提示技巧

ChatGPT原理与应用分享2023年5月ChatGPT原理简介ChatGPT的局限性ChatGPT多维应用提示技巧01ChatGPT是什么ChatGPTChatGPT是一款由OpenAI公司开发的基于GPT架构的与AI聊天的产品。GPT(GenerativePretrainedTransformer)是一种大语言模型(LargeLanguageModel)，其核心为Transformer模型。通过在大量文本数据上进行预训练，学习语言模式、知识、推理等能力。然后，通过在特定为什么GPT令人兴奋？因为他真的好像能理解人说的话了。从“人工智障”迈出了一大步。01为什么ChatGPT能引起如此大的轰动-强大的泛化能力，通用人工智能的曙光ChatGPT具备了理解上下文、连贯性等诸多先进特征，解锁了海量应用场景。可实现连续对话，PT予相关建议。意图01为什么传统AI泛化能力弱？ 01为什么是大语言模型，与传统AI的区别？ 01GPT的核心技术-Transformer：Ø通过自注意机制(Self-AttentionMechanism)，Transformer可以有效地处理长距离依赖，也就是说，有其他词的上下文信息。01GPT实际上在做文字接龙游戏-transformer是如何工作的AIAI本质上是一个概率问题GPT实际的处理步骤：的位置。Ø将以上信息“向量化”，作为大模型“函数”的输入参数。的词汇，并进行回复。重复上述步骤，直到最高概率的词汇是01大模型为何能做到文字接龙？--大语言模型之“大”与参数：与参数：GPT-3为例，其训练数据源为互联网的各种精选，规模达到了45TB，相当于阅读了一亿本书。用于捕捉数据中的规律和特征。通常，宣称拥有百亿、千亿级别参数的大型模型，指的都是其参文的基本能力回答质量。01参数的“涌现效应”-只有参数足够多，才能量变引起质变处理其他多类型任务时的表现如果要求大模型根据emoji猜电影名称，如代处理其他多类型任务时的表现级01参数的“涌现效应”-WHY无法理解或执行所有步骤，导致最终结果不正确，达到千亿级参数时，其解决问题的全链路能力已经足够。人们以最终结果的正误作为评判标准，导致认为是一种“涌现”。大脑容量X01大模型练习生GPT的训练之路2018(15亿参数)01大模型练习生GPT的训练之路2018(15亿参数)甚至可以生成假新闻、钓鱼邮件或在线进行角2019(1.17亿参数)有一定的泛化能力，能够用2020InstructGPT是一个经过微调的新版GPT-3，可以将有害的、不真实的和有偏差的输(1750亿参数)：类叙事、创作定制诗歌、生成游戏2022.012022.12ChatGPT是InstructGPT的衍生产品，它将人类的反馈2023.0302GPT的几个局限性得益于自注意力机制(self-attention)，ChatGPT具GPT-3.5模型仅支持向前追溯4096个tokens用于回复的参考。更糟糕的是，这4096个tokens还包括ChatGPT之前回复用户的部分！这使得其捉襟见肘的记忆更加难堪，堪称电子金鱼。03ChatGPT的多维应用：依靠电脑的重复劳动都会消失聊天能力主要指以下几类产品：103ChatGPT的多维应用：依靠电脑的重复劳动都会消失聊天能力主要指以下几类产品：1.ChatGPT本体2.套壳产品3.特定场景的聊天机器人基于补充的知识库，如智能客服、房产经纪人助手。日常应用频率⭐问题需要使用者具备一定基本的判断力。文1.2.文1.2.3.本能力要指以下几类用法：写代码片段提数SQL提供EXCEL公式等1.应用频率⭐极大提升使用EXCEL的效率及效果。只要描述清自己的需求，EXCEL公式直接奉上。03ChatGPT的多维应用语言能力主要指以下几类用法：1.文章提炼总结2.文章改写3.依据大纲扩写4.情绪分析优点：1.识别文章要点较强。2.可用于文章初润色缺点：1.不能总结超长文本(上限为4096tokens)2.长文本扩写质量很差，只能生成口水文03ChatGPT的多维应用推理能力主要指以下几类用法：1.语义识别，驱动业务流2.串联业务场景中的通用数据，自动化任务流日常应用频率⭐优点：1.潜力很高缺点：1.缺少行业知识04提升输出效果的三种核心做法调优方法优势缺点提示词优化提升效果明显成本极低占用token多，影响上下文关联长度embedding扩展GPT知识调优成本较低GPT并非真的理解了相关的内容，而是在遇到相关问题时，能够基于给定的知识库回答。微调技术成本较高，需要大量的“问答对”，训练过程非常消耗token。提示词优化：通过探索找到最优提示词模板，预留特定槽位以供用户输入。仅通过提示词优化就能实现广泛功能，许多基于GPT的产品，其底层就是基于特定提示词的包装。好的提示词需包含角色、背景、GPT需执行的任务、输出标准等。根据业界的研究，好的提示词能使GPT3.5结果的可用性由30%飙升至80%以上。提示词优化毫无疑问是这三种方法中最重要的。04GPT用于产品个体的提示技巧使用GPT提示应当遵循的原则：①给GPT赋予一个角色②提示清晰：对问题的准确描述③提供案例：如果要求GPT以某种形式进行输出，给其提供相应的案例。④告知思考步骤：在已经明确一个问题应当如何解决的前提下，告知其思考步骤，可以提升输出的质量，节省宝贵的自己实施的时间。⑤指定交付的格式：如要求在100字内总结，要求以json输出，要求以excel输出，要求以markdown输出等。最后：没有完美的prompt，如果结果不满意，就再去试，你觉得缺什么就补什么。04GPT用于方案设计的理念-用法1-AIGC通过提示词设计，让chatgpt能够产出有质量的文案。要点：需要设计实验机制，逐步提升GPT的输出质量。04GPT用于方案设计的理念-用法2-对话式系统操作，如windows几个关键的思考点：1.用于系统设计04GPT用于方案设计的理念-用法2-对话