版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
ChatGPT原理与应用分享2023年5月ChatGPT原理简介ChatGPT的局限性ChatGPT多维应用提示技巧01ChatGPT是什么ChatGPTChatGPT是一款由OpenAI公司开发的基于GPT架构的与AI聊天的产品。GPT(GenerativePretrainedTransformer)是一种大语言模型(LargeLanguageModel),其核心为Transformer模型。通过在大量文本数据上进行预训练,学习语言模式、知识、推理等能力。然后,通过在特定为什么GPT令人兴奋?因为他真的好像能理解人说的话了。从“人工智障”迈出了一大步。01为什么ChatGPT能引起如此大的轰动-强大的泛化能力,通用人工智能的曙光ChatGPT具备了理解上下文、连贯性等诸多先进特征,解锁了海量应用场景。可实现连续对话,PT予相关建议。意图01为什么传统AI泛化能力弱? 01为什么是大语言模型,与传统AI的区别? 01GPT的核心技术-Transformer:Ø通过自注意机制(Self-AttentionMechanism),Transformer可以有效地处理长距离依赖,也就是说,有其他词的上下文信息。01GPT实际上在做文字接龙游戏-transformer是如何工作的AIAI本质上是一个概率问题GPT实际的处理步骤:的位置。Ø将以上信息“向量化”,作为大模型“函数”的输入参数。的词汇,并进行回复。重复上述步骤,直到最高概率的词汇是01大模型为何能做到文字接龙?--大语言模型之“大”与参数:与参数:GPT-3为例,其训练数据源为互联网的各种精选,规模达到了45TB,相当于阅读了一亿本书。用于捕捉数据中的规律和特征。通常,宣称拥有百亿、千亿级别参数的大型模型,指的都是其参文的基本能力回答质量。01参数的“涌现效应”-只有参数足够多,才能量变引起质变处理其他多类型任务时的表现如果要求大模型根据emoji猜电影名称,如代处理其他多类型任务时的表现级01参数的“涌现效应”-WHY无法理解或执行所有步骤,导致最终结果不正确,达到千亿级参数时,其解决问题的全链路能力已经足够。人们以最终结果的正误作为评判标准,导致认为是一种“涌现”。大脑容量X01大模型练习生GPT的训练之路2018(15亿参数)01大模型练习生GPT的训练之路2018(15亿参数)甚至可以生成假新闻、钓鱼邮件或在线进行角2019(1.17亿参数)有一定的泛化能力,能够用2020InstructGPT是一个经过微调的新版GPT-3,可以将有害的、不真实的和有偏差的输(1750亿参数):类叙事、创作定制诗歌、生成游戏2022.012022.12ChatGPT是InstructGPT的衍生产品,它将人类的反馈2023.0302GPT的几个局限性得益于自注意力机制(self-attention),ChatGPT具GPT-3.5模型仅支持向前追溯4096个tokens用于回复的参考。更糟糕的是,这4096个tokens还包括ChatGPT之前回复用户的部分!这使得其捉襟见肘的记忆更加难堪,堪称电子金鱼。03ChatGPT的多维应用:依靠电脑的重复劳动都会消失聊天能力主要指以下几类产品:103ChatGPT的多维应用:依靠电脑的重复劳动都会消失聊天能力主要指以下几类产品:1.ChatGPT本体2.套壳产品3.特定场景的聊天机器人基于补充的知识库,如智能客服、房产经纪人助手。日常应用频率⭐问题需要使用者具备一定基本的判断力。文1.2.文1.2.3.本能力要指以下几类用法:写代码片段提数SQL提供EXCEL公式等1.应用频率⭐极大提升使用EXCEL的效率及效果。只要描述清自己的需求,EXCEL公式直接奉上。03ChatGPT的多维应用语言能力主要指以下几类用法:1.文章提炼总结2.文章改写3.依据大纲扩写4.情绪分析优点:1.识别文章要点较强。2.可用于文章初润色缺点:1.不能总结超长文本(上限为4096tokens)2.长文本扩写质量很差,只能生成口水文03ChatGPT的多维应用推理能力主要指以下几类用法:1.语义识别,驱动业务流2.串联业务场景中的通用数据,自动化任务流日常应用频率⭐优点:1.潜力很高缺点:1.缺少行业知识04提升输出效果的三种核心做法调优方法优势缺点提示词优化提升效果明显成本极低占用token多,影响上下文关联长度embedding扩展GPT知识调优成本较低GPT并非真的理解了相关的内容,而是在遇到相关问题时,能够基于给定的知识库回答。微调技术成本较高,需要大量的“问答对”,训练过程非常消耗token。提示词优化:通过探索找到最优提示词模板,预留特定槽位以供用户输入。仅通过提示词优化就能实现广泛功能,许多基于GPT的产品,其底层就是基于特定提示词的包装。好的提示词需包含角色、背景、GPT需执行的任务、输出标准等。根据业界的研究,好的提示词能使GPT3.5结果的可用性由30%飙升至80%以上。提示词优化毫无疑问是这三种方法中最重要的。04GPT用于产品个体的提示技巧使用GPT提示应当遵循的原则:①给GPT赋予一个角色②提示清晰:对问题的准确描述③提供案例:如果要求GPT以某种形式进行输出,给其提供相应的案例。④告知思考步骤:在已经明确一个问题应当如何解决的前提下,告知其思考步骤,可以提升输出的质量,节省宝贵的自己实施的时间。⑤指定交付的格式:如要求在100字内总结,要求以json输出,要求以excel输出,要求以markdown输出等。最后:没有完美的prompt,如果结果不满意,就再去试,你觉得缺什么就补什么。04GPT用于方案设计的理念-用法1-AIGC通过提示词设计,让chatgpt能够产出有质量的文案。要点:需要设计实验机制,逐步提升GPT的输出质量。04GPT用于方案设计的理念-用法2-对话式系统操作,如windows几个关键的思考点:1.用于系统设计04GPT用于方案设计的理念-用法2-对话
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 资产管理员练习测试题附答案
- 2024安全管理技术竞赛(多选、判断)复习测试卷附答案(一)
- 语文统编版(2024)一年级上册ɡ k h 课件
- 第1章 程控数字交换技术概述课件
- 四川省广安市邻水县2024届九年级下学期中考模拟预测数学试卷(含答案)
- 校园文明礼仪课件
- 5年中考3年模拟试卷初中道德与法治九年级下册01中考道德与法治真题分项精练(一)
- 人教版小学六年级下册音乐教案全册
- 2024-2025学年专题22.1 能源-九年级物理人教版含答案
- (统考版)2023版高考化学一轮复习课时作业23化学平衡常数
- 人教版八年级上册数学复习课件.ppt
- 民营医院绩效工资分配方案
- 我国城市社区服务需求分析与完善措施
- 安全系统工程PPT课件
- 五年级上册语文多音字专项练(完整版)
- 气候类型专题好
- 农业植物病理学教案yWord版
- 九年一贯制学校课程规划
- 重丧日与三丧日的查法与化解方法
- 毕业设计(论文)基于小波变换的图像处理方法研究(主要研究图像增强包括源代码)
- 致橡树同步练习
评论
0/150
提交评论