微课13-1 自然语言处理的进步

第2版周苏教授QQ：81505050人工智能导论微课13-1周苏教授QQ：81505050自然语言处理的进步基于句法分析和语义分析的自然语言处理系统已经在许多任务上获得了成功，但是它们的性能受到现实中极其复杂的语言现象的限制。如今，由于存在大量机器可读形式的可用文本，因此可以考虑基于数据驱动的机器学习方法应用于自然语言处理。微课13-1自然语言处理的进步在2012年的ImageNet比赛中，深度学习系统取得的令人惊叹的优秀表现带动计算机视觉出现了一个发展的转折点。而到2018年，自然语言处理也出现了一个转折点，它的主要推动力是，深度学习和迁移学习显著提高了自然语言处理的技术水平：可以下载通用语言模型，并针对特定任务进行微调，以至于研究者为此断言“自然语言处理的ImageNet时刻已经到来”。26.1关于ImageNetImageNet是斯坦福大学教授李飞飞为了解决机器学习中过拟合和泛化的问题而在2007年牵头构建的一种数据集。直到目前，该数据集仍然是深度学习领域中图像分类、检测、定位的最常用数据集之一。基于ImageNet有一个比赛，称为ImageNet大规模视觉识别挑战赛，2010年到2017年每年举办一次，历年优胜者中诞生了多个著名的深度学习网络模型。比赛包括：图像分类、目标定位、目标检测、视频目标检测、场景分类。自然语言处理的ImageNet转折点始于2013年和2014年的两个项目，研究人员可以下载模型，或者在不使用超级计算机的情况下，相对快速地训练他们自己的模型。预训练上下文表示的开销要高出几个量级。26.1关于ImageNet谷歌云TPU推荐的参考模型Transformer允许使用者高效地训练比之前更大更深的神经网络（这一次是因为软件的进步）。自2018年以来，新的自然语言处理项目通常从一个预先训练好的Transformer模型开始。GPT-2是一种类似于Transformer的语言模型，它有15亿个参数，在40GB的因特网文本上训练。它在法英翻译、查找远距离依赖的指代对象以及一般知识问答等任务中都取得了良好的成绩，并且所有这些成绩都没有针对特定任务进行微调。例如在仅给定几个单词作为提示时，GPT-2依然可以生成相当令人信服的文本。26.2自然语言处理的ImageNet时刻数据驱动的模型更容易开发和维护，并且在标准的基准测试中得分更高。可能是Transformer及其相关模型学习到了潜在的表征，这些表征捕捉到与语法和语义信息相同的基本思想，也可能是在这些大模型中发生了完全不同的事情。但我们只知道，使用文本数据训练的系统比依赖手工创建特征的系统更容易维护，更容易适应新的领域和新的自然语言。26.2自然语言处理的ImageNet时刻GPT（衍生式预训练变压器）是一种基于互联网可用数据训练的文本生成深度学习模型，主要用于文本摘要、机器翻译、分类、代码生成和对话AI。2018年GPT-1诞生，这也是自然语言处理的预训练模型元年。常用任务包括：·自然语言推理：判断两个句子的关系（包含、矛盾、中立）·问答与常识推理：输入文章及若干答案，输出答案的准确率·语义相似度识别：判断两个句子语义是否相关·分类：判断输入文本是指定的哪个类别26.3什么是GPTGPT-2于2019年如期而至，不过它并没有对原有的网络进行过多的结构创新与设计，只使用了更多的网络参数与更大的数据集：最大模型共计48层，参数量达15亿，学习目标则使用无监督预训练模型来完成有监督任务。在性能方面，除了理解能力外，GPT-2在生成方面第一次表现出了强大的天赋：阅读摘要、聊天、续写、编故事，甚至生成假新闻、钓鱼邮件或在网上进行角色扮演等，通通不在话下。在“变得更大”之后，GPT-2的确展现出了普适而强大的能力，并在多个特定的语言建模任务上实现了彼时的最佳性能。26.3.1从GPT-1到GPT-3之后，GPT-3出现了，作为一个无监督模型（自监督模型），它几乎可以完成自然语言处理的绝大部分任务，而且在诸多任务上表现卓越，例如在法语-英语和德语-英语机器翻译任务上达到当前最佳水平，自动产生的文章几乎让人无法辨别是出自人还是机器（52%的正确率，与随机猜测相当），更令人惊讶的，是在两位数的加减运算任务上达到几乎100%的正确率，甚至还可以依据任务描述自动生成代码。一个无监督模型功能多效果好，似乎让人们看到了通用人工智能的希望，可能这就是GPT-3影响如此之大的主要原因。26.3.1从GPT-1到GPT-3ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。ChatGPT使用了Transformer神经网络架构，也是GPT-3.5架构的主力模型，这是一种用于处理序列数据，优化对话的语言模型，拥有语言理解和文本生成能力，尤其是它会通过连接大量语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT具备上知天文下知地理，还能根据聊天的上下文进行互动的能力，做到与人类几乎无异的聊天场景进行交流。26.3.2ChatGPT聊天机器人模型与对策ChatGPT不单是聊天机器人，它还能够通过学习和理解人类的语言来进行对话，甚至能完成撰写邮件、视频脚本、文案、翻译、代码等任务，同时也引起无数网友沉迷与ChatGPT聊天，成为热门话题。ChatGPT不仅能流畅地对话，甚至可根据提示生成几乎任何主题的原始文本，包括文章、论文、笑话、编码甚至诗歌。ChatGPT太“聪明”了，无论是生成小说、疑难解答或者是哲学的问题，ChatGPT都交上几乎完美的答案，令人惊叹不已。26.3.2ChatGPT聊天机器人模型与对策ChatGPT采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”。一旦发现用户给出的文字提示里面含有恶意，包括但不限于暴力、歧视、犯罪等意图，都会拒绝提供有效答案。不过，ChatGPT的强大功能引起学术界的担忧。顶级科学杂志《自然》宣布，将人工智能工具列为作者的论文不能在该杂志上发表。2023年1月27日巴黎政治大学宣布，该校已向所有学生和教师发送电子邮件，要求禁止使用ChatGPT等一切基于AI的工具，旨在防止学术欺诈和剽窃。26.3.2ChatGPT聊天机器人模型与对策2023年初，谷歌发布了从文本生成高保真音乐（文生音乐）的AI模型MusicLM的研究，该系统可以从文本描述中生成任何类型的高保真音乐。但因担心风险，谷歌并没有立即发布该产品。据了解，谷歌自己的AudioML和人工智能研究机构OpenAI的Jukebox等项目都可以从文字生成音乐。然而，MusicLM模型和庞大的训练数据库（280000小时的音乐）使其能制作出特别复杂或保真度特别高的歌曲。比如“一种舞曲和雷鬼音乐的混合体，其曲调空旷、超凡脱俗，能唤起惊奇和敬畏之感”，MusicLM就可以实现。26.4从文本生成音乐的MusicLM模型ChatGPT以其强大的信息整合和对话能力惊艳了全球，一项调查显示，学生们已经在用ChatGPT做作业，用ChatGPT肆无忌惮地作弊了。于是，教育系统试图封杀ChatGPT，防ChatGPT如洪水猛兽却还是屡禁不止。教授们担心，这会对教育产生灾难性影响，让学生大脑“萎缩”。据说斯坦福大学的研究团队提出了一种用于检测AI生成文本的全新算法——D