自然语言处理教学课件1

1第1章绪论教材：

刘挺等《自然语言处理》高等教育出版社，2021自然语言处理绪论自然语言通常指人类的语言人类思维和逻辑的载体对自然语言的研究是人工智能的重要研究内容2绪论自然语言通常指人类的语言人类思维和逻辑的载体对自然语言的研究是人工智能的重要研究内容3误判超过30%认为具有人类智能测试者向被测试者随意提问被测试者：一个人和一台机器图灵测试绪论人工智能发展的三个阶段运算智能机器的基础运算和存储能力已完胜人类感知智能机器的识别能力，如语音的识别以及图像的识别基本达到人类水平认知智能涉及自然语言处理以及常识建模和推理等研究内容与人类还有很大差距45第1章绪论1.1自然语言处理的定义1.2自然语言处理的研究内容1.3自然语言处理的流派1.4自然语言处理的挑战6第1章绪论1.1自然语言处理的定义1.2自然语言处理的研究内容1.3自然语言处理的流派1.4自然语言处理的挑战定义自然语言处理（NatureLanguageProcessing）使计算机理解人类的语言，能够让计算机以自然语言作为接口与人类进行交互研究对象：“名、实、知、人”之间的关系“知”：语言符号的表征“实”：客观世界存在的实体或主观的概念“知”：知识，包括常识和领域知识“人”：语言的使用者研究层次：形式、语义、推理和语用四个层次研究问题：分类、解析、匹配和生成四类问题78第1章绪论1.1自然语言处理的定义1.2自然语言处理的研究内容

1.3自然语言处理的流派1.4自然语言处理的挑战自然语言处理的研究内容资源建设语料库建设基于统计自然语言处理方法的基础语料库中的语言知识能够以统计参数或机器学习参数的形式被计算机习得9自然语言处理的研究内容资源建设语料库建设语言知识库建设借助外部语言知识库，帮助计算机在一定程度上消歧10自然语言处理的研究内容基础研究词法分析目标是能够独立运用的最小语言单位：词包括：自动分词（Segmentation）词性标注（POStagging）命名实体识别（Namedentityrecognition）等11自然语言处理的研究内容基础研究词法分析句法分析目标是确定句中词的语法功能或词之间的关系包括：短语结构分析（Phrasestructureparsing）：短语结构树依存关系分析（Dependencyparsing）：依存树12短语结构树依存树自然语言处理的研究内容基础研究词法分析句法分析语义分析目标是获得不同语言单位的语义信息包括：词义消歧（Wordsensedisambiguation）语义角色标注（Semanticrolelabeling）语义依存分析（Semanticdependencyparsing）13语义角色标注语义依存分析自然语言处理的研究内容应用技术研究数量多，且不算有新的任务提出包括：机器翻译情感分析信息抽取指代消解省略恢复等14自然语言处理的研究内容应用系统自然语言处理技术能够直接或间接产生应用目前工业界成熟系统翻译机语音助手智能音箱开放域对话软件内容推送广告推荐认知计算平台等1516第1章绪论1.1自然语言处理的定义1.2自然语言处理的研究内容1.3自然语言处理的流派1.4自然语言处理的挑战自然语言处理的流派基于规则的自然语言处理—理性主义20世纪40年代末，电子计算机的诞生和对自动翻译的迫切需求，自然语言处理相关研究开始萌芽50年代初期，分为了基于规则方法的符号派和基于概率方法的随机派，孰优孰劣的争执一直没有停息1956年，乔姆斯基利用有限状态自动机作为刻画语法的工具，构建了大量有关语法规律的数学规则20世纪50年代到80年代中后期，具有代表的规则方法还有：Earley句法分析算法、线图句法分析算法、Tomita句法分析算法和语义网络等17自然语言处理的流派基于统计学习的自然语言处理—经验主义随着早期研究深入，基于理性主义的规则方法显得力不从心，基于经验主义的统计方法开始兴起20世纪70年代以来，越来越多学者相信基于大量真实语料才能得到可靠结果20世纪80年代后期，越来越关注工程化解决问题的方法，经验主义迅速发展20世纪90年代初期，机器翻译出现了里程碑意义的基于噪声信道模型的统计机器翻译模型，基于此的Candide翻译系统被普遍视为经验主义自然语言处理方法崛起的开始18自然语言处理的流派基于统计学习的自然语言处理—经验主义20世纪90年代中期以后，计算机的运算速度、存储容量大大增加，网络技术的发展等客观条件进步，为统计自然语言处理方法的发展提供了良好环境语料库的构建开始受到关注，大规模语料库中包含大量知识，语料库的快速发展也推动了统计自然语言处理方法的进步基于理性主义和经验主义的方法在80年代的激烈冲突后，人们逐渐认识到哪种都无法单独解决所有问题，理性主义和经验主义从对立走向融合，自然语言处理的发展进入一个前所未有的黄金时期19自然语言处理的流派基于深度学习的自然语言处理基于规则和统计自然语言处理方法的局限性原始自然语言输入转换到机器能够处理的形式的过程（特征提取），需要细致的人工和专业知识2013年开始，基于深度神经网络的表示学习方法开始兴起，在多个领域取得当时最好的效果分布式词向量的出现，深度学习开始在自然语言处理中大范围应用ELMo、GPT、BERT为代表的上下文相关词向量的出现缓解了传统上下文无关词向量中静态向量的问题，得到进一步发展2021第1章绪论1.1自然语言处理的定义1.2自然语言处理的研究内容1.3自然语言处理的流派1.4自然语言处理的挑战自然语言处理的挑战标注数据不足所有监督学习方法所面临的根本问题如何定义和建模常识知识深度学