人工智能应用概论（第2版） 课件 第7、8章-知识表示、计算机视觉应用

“十四五”广西壮族自治区职业教育规划教材

新编21世纪高等职业教育精品教材·通识课系列第七章

知识表示《人工智能应用概论（第2版）》RengongZhinengYingyongGailunPart0101知识表示的概念及发展历程Part0202知识表示的各种方法Part0303知识表示的应用场景Part01知识表示的概念及发展历程

【课程导入】机场智能机器人的应用场景从该案例中可以看出，智能机器人理解客人所说的问题后，能够准确地把问题的解决方法展示给客人看。【思考题】机器为什么能够像人一样做出智能行为和逻辑判断呢？7.1知识的概念和特征1、相对正确性在一定的条件及环境下，知识是正确的。2、不确定性由于现实世界的复杂性，知识并不总是只有“真”与“假”这两种状态，在“真”与“假”之间还存在许多中间状态，即存在为“真”的程度问题。3、可表示性与可利用性知识可以用适当形式表示出来，如用语言、文字、图形、神经网络等，这样才能被存储、传播。每个人每天都在利用自己掌握的知识来解决各种问题。知识的特征知识的概念知识是人们在长期的生活及社会实践中、在科学研究及实验中，积累起来的对客观世界的认识与经验。人工智能的知识：“规则”——用“如果……，则……”表示的关联形式，反映了信息间的某种因果关系；“事实”——通过多个信息的关联，得出事物的客观特征。7.2知识表示的概念知识表示（KnowledgeRepresentation）就是将人类知识形式化或者模型化。知识表示的目的是让计算机储存和运用人类的知识。7.3知识表示的发展历程Part02知识表示的各种方法7.4知识表示的方法7.4知识表示的方法一阶谓词逻辑表示法是一种重要的知识表示方法，它以数理逻辑为基础，是到目前为止能够表达人类思维活动规律的一种最精准的形式语言。对事实性知识，一阶谓词逻辑表示法通常用合取符号（∧）和析取符号（∨）连接形成的谓词公式来表示。例如：对事实性知识“张三是学生，李四也是学生”，可以表示为：ISSTUDENT(张三)∧ISSTUDENT(李四)这里，ISSTUDENT(x)是一个谓词，表示x是学生。对规则性知识，一阶谓词逻辑表示法通常用蕴涵符号（→）连接形成的谓词公式（即蕴涵式）来表示。例如：对于规则“如果x，则y”，可以用下列的谓词公式表示：x→y7.4知识表示的方法（3）根据所要表达的知识的语义，用适当的连接符号将各个谓词连接起来，形成谓词公式。user(Li,201)，user(Wang,202)，user(Zhao,203)，user(Zhang,204)

→telephone(590,201)，telephone(591,202)，telephone(592,203)telephone(593,204)（1）定义谓词及个体，确定每个谓词及个体的确切含义。租户：user。电话号码：telephone。（2）根据所要表达的事物或概念，为每个谓词中的变元赋以特定的值。租户与对应的房号：(Li,201)，(Wang,202)，(Zhao,203)，(Zhang,204)。房号与对应的电话号码：(590,201)，(591,202)，(592,203)，(593,204)人类智能可识别的知识一阶谓词逻辑表示法进行知识表示的过程人工智能可识别的知识表示7.4知识表示的方法产生式表示法适合表示规则性知识和事实性知识。P→Q或者：IFPTHENQ如果前提P被满足，则可推出结论Q或执行Q所规定的操作。格式含义举例1：表示规则性知识举例2：表示事实性知识7.4知识表示的方法框架表示法：框架是一种描述对象属性的数据结构。格式举例1：表示教师的数据结构举例2：表示教职工的数据结构7.4知识表示的方法框架表示法之框架网络：用框架名作为槽值，建立框架间的横向联系，用继承槽建立框架间的纵向联系。像这样具有横向与纵向联系的一组框架称为框架网络。框架网络示例如下图所示。框架系统中求解问题的核心思想是匹配与填槽。小结：框架表示法的基本过程框架表示法7.4知识表示的方法“动物能吃、能运动；鸟是一种动物，鸟有翅膀、会飞；鱼是一种动物，鱼生活在水中、会游泳”。“狗能吃，会跑”语义网络表示法多元关系网络知识含义一元关系网络知识含义7.4知识表示的方法可表示事件和动作的语义网络可表示情况和动作的语义网络“小黑这只燕子从春天到秋天一直占有一个巢”。例如：“我给他一本书作为礼物”。语义网络表示法知识含义知识含义7.4知识表示的方法脚本表示法使用一种特定的编程语言或脚本语言来表示实体、属性和关系。脚本表示法的特点：制作一杯咖啡的过程被分解为了一系列的原子动作，这些动作按照特定的顺序组织起来，形成了一个完整的制作咖啡的流程。这种方法使得知识表示既清晰又易于理解，特别适合于表示那些步骤固定、流程化的操作或活动。举例：制作一杯咖啡定义原子动作定义进入条件、角色、道具、使用原子动作表示场景，明确结局Part03知识表示的应用场景7.5知识表示的应用场景知识图谱技术最先应用于搜索，最初由谷歌提出。（1）语义搜索：实现Web从网页链接向概念链接转变，支持用户按主题而不是字符搜索。（2）关系搜索：获取两个实体之间的关系，例如公司之间的关系、人物之间的关系等。（3）结构化展现：以图形化的方式向用户展示经过分类整理的结构化知识，从而使用户从人工过滤网页寻找答案的模式中解脱出来。场景1：搜索7.5知识表示的应用场景从具体应用场景来看，当前智能对话系统应答的典型内容有三种：（1）任务型（2）问答型（3）闲聊型场景2：智能对话系统7.5知识表示的应用场景（1）知识图谱问答（2）表格问答（3）文本问答（4）社区问答问答型机器人的知识来源7.5知识表示的应用场景基于知识图谱的商品推荐7.5知识表示的应用场景辅助信贷审核可以基于知识图谱数据进行统一查询，全面掌握客户信息，避免由于系统、数据等孤立造成的信息不一致导致信用重复使用、信息不完整等问题。7.5知识表示的应用场景中医药知识平台可以针对中医药知识体系进行系统梳理、建模和展示；以图形可视化方式展示核心概念之间的关系；辅助中医专家厘清学术发展脉络，浏览中医知识，发现知识点之间的联系。与阅读文献等手段相比，中医药知识平台可大幅度节约知识检索获取时间。7.5知识表示的应用场景建立知识图谱，用于识别老虎、金钱豹、斑马、长颈鹿、鸵鸟、企鹅、信天翁这七种动物的识别系统。如：识别下图中包含哪些动物？7.5知识表示的应用场景2、设计匹配过程根据系统规则库来检索动物已知的信息为动物特征：黑色斑点、长脖子、长腿、分泌乳汁、有蹄。这是什么动物？1、获取知识表示库3、程序运行结果探索与思考（1）知识怎么被表示？（2）为什么不同阶段会有不同的知识表示概念模型产生？（3）知识表示在人工智能发展过程中有哪些作用？本章总结知识表示是对知识的一种描述，或者是对知识的一组约定，是一种计算机可以接受的用于描述知识的数据结构。它是机器通往智能的基础，使得机器可以像人一样运用知识。知识具有相对正确性、不确定性、可表示性与可利用性的特点。根据不同划分标准，知识可以分为不同的类别。例如：按确定性分类，知识可分为确定性知识、不确定性知识。谢谢THANKS第八章

计算机视觉

《人工智能应用概论（第2版）》RengongZhinengYingyongGailun“十四五”广西壮族自治区职业教育规划教材

新编21世纪高等职业教育精品教材·通识课系列Part0101计算机视觉技术概述Part0202计算机视觉的工作原理Part0303计算机视觉的典型实践案例目

录contentPart01计算机视觉技术概述尝试过大型超市刷脸支付吗？你有关注/体验现在智能汽车的自动驾驶么?【课程导入】【生活案例】微信公众号，搜索“讯飞Ai体验栈”，身份证识别、银行卡识别、颜值分析、速算题批改【课程导入】1.1计算机视觉的概念计算机视觉是人工智能的一个分支，是使用计算机模仿人类视觉系统的一门科学。它是用计算机代替人眼，使用图像处理技术、深度学习算法进一步对目标进行识别、跟踪和测量等。这涉及开发能够处理和理解图像和视频的算法、模型和系统，使机器能够从视觉数据中“看到”和提取有用的信息，并应用于从简单的图像识别（计算机视觉领域最为经典的研究问题，莫过于猫狗分类了）到复杂的场景理解（如自动驾驶汽车识别路上的行人和障碍物）的各种任务。1.2计算机视觉的发展计算机视觉的概念可以追溯到20世纪60年代，主要集中在基本的图像处理和模式识别。近十年来，深度学习的兴起极大地推动了计算机视觉技术的发展，特别是卷积神经网络（CNNs），在图像识别和分类等任务中取得了革命性的进展，这使得计算机视觉应用变得更加广泛和强大。1.2计算机视觉的发展随着GPT-4V、Gemini等大模型的惊艳亮相，更是使得计算机视觉的能力表现跃上了新台阶。1.2计算机视觉的发展随着GPT-4V、Gemini等大模型的惊艳亮相，更是使得计算机视觉的能力表现跃上了新台阶。1.2计算机视觉主要技术步骤计算机视觉技术的主要步骤包括图像预处理、特征提取、特征选择、（图像识别、目标检测和图像分割）等。这些步骤共同构成了计算机视觉处理流程的核心，使得机器能够理解并解释视觉信息，从而实现各种复杂的任务。图像预处理特征提取特征选择图像识别目标检测图像分割1.3计算机视觉主要技术步骤图像预处理是计算机视觉技术的第一步，旨在提高图像质量和可处理性。常见的预处理操作包括灰度化、二值化和滤波等。例如，灰度化是将彩色图像转换为灰度图像的过程。特征提取是从经过预处理的图像中提取有用信息的过程，用于后续的图像识别或分类任务。例如，HOG（HistogramofOrientedGradients）特征提取方法可以有效检测图像中的边缘和纹理信息。特征选择则从提取的特征中筛选出最具有区分性和代表性的特征，以提高最终任务的性能。从车图片选择出车牌。1.3计算机视觉主要技术步骤图像识别是计算机视觉的核心任务之一，目的是识别图像中的对象或场景。例如，通过训练卷积神经网络（CNN），可以有效地对图像进行分类。在图像识别过程中，算法需要面临视点变化、尺度变化、类内变化、图像变形、遮挡、照明条件和背景杂斑等多个挑战。如左图使用图像识别来识别车牌图片中的文字。1.4计算机视觉关键技术-卷积神经网络(CNN)目前较为流行的图像分类架构是卷积神经网络(CNN)-一将图像送入网络，然后网络对图像数据进行分类。卷积神经网络从输入“扫描仪"开始，该输入“扫描仪”也不会一次性解析所有的训练数据。比如输入一个大小为100*100的图像，你也不需要一个有10,000个节点的网络层。相反，你只需要创建一个大小为10*10的扫描输入层，扫描图像的前10*10个像素。然后，扫描仪向右移动一个像素，再扫描下一个10*10的像素，这就是滑动窗口。Part02计算机视觉的工作原理2.2卷积神经网络计算机视觉的相关技术在近年来取得了显著进步，这主要依靠以卷积神经网络（CNN）为代表的深度学习技术。CNN的组成要素并不复杂。例如：一个典型的用于图片分类的CNN网络主要包含输入层、卷积层、激活函数、池化层、全连接层，即INPUT、CONV、RELU、POOL、FC，如图8-6所示。2.1数字图像（1）图像获取：根据实际需要，获取数字图像或视频，它们可能来自不同的采集设备，例如相机、手机、无人机、卫星、传感器、在线网站等。2.2卷积神经网络-（2）卷积层是卷积网络的核心，使用卷积核对图片特征选取。由一系列可以学习的滤波器（也称卷积核）集合构成，大多数计算都是在卷积层中进行的。每个滤波器在宽度和高度上都比较小，但是深度输入和数据保持一致。当滤波器沿着图像的宽和高滑动时，会生成一个二维的激活图。2.2卷积神经网络（2）卷积核运算的结果就是特征，网络中不同层次的卷积核得到的特征粒度不同。一般而言，网络前端获取的主要是低层特征（如图像中的文理、边缘等），后端获取的主要是高层特征（如物体的形状轮廓）。卷积神经网络特征提取效果如图8-8所示。2.2卷积神经网络（3）池化层的最主要作用就是下采样（压缩图像），两种池化法（最大池化、平均池化）。4*42*2池化层2.2卷积神经网络（4）连接层会把以前的局部特征重新通过权值矩阵组装成完整的图（见图8-11）。因为最后进行预测时用到了所有的局部特征，所以叫全连接(神经网络层)。2.2卷积神经网络最后我们把输入层、卷积层、激活函数、池化层以及全连接层连接一起，即可得到一个例如图8-12所示的卷积神经网络模型2.3常见卷积神经网络卷积神经网络（CNN）：是处理图像分类问题最常用的技术之一，通过卷积层自动从图像中提取特征，能够识别图像中的轮廓、形状、颜色和纹理，适用于图像识别、面部识别等场景。2.3常见卷积神经网络循环神经网络（RNN）：RNN是和CNN并驾齐驱的另一种深度学习模型，特别设计用来处理序列数据，如时间序列数据或连续的图像帧（视频）。它能够处理变长的输入序列，记住先前的信息，并利用这些信息对当前任务做出决策，适用于视频分析、时间序列预测、语音识别。2.3常见卷积神经网络区域卷积神经网络（R-CNN）：通过先生成候选区域（regionproposals），然后对每个区域使用CNN提取特征进行分类，适用于需要精确定位物体的场景。如：单次多框检测（SSD）：在不同尺度的特征图上直接预测物体的边界框和类别，实现快速且准确的物体检测，适合实时应用。如：YouOnlyLookOnce（YOLO）：将物体检测视为单个回归问题，直接从图像像素到边界框坐标和类别概率的预测，特点是快速且效率高。2.3常见卷积神经网络区域卷积神经网络（R-CNN）：通过先生成候选区域（regionproposals），然后对每个区域使用CNN提取特征进行分类，适用于需要精确定位物体的场景。如：单次多框检测（SSD）：在不同尺度的特征图上直接预测物体的边界框和类别，实现快速且准确的物体检测，适合实时应用。如：YouOnlyLookOnce（YOLO）：将物体检测视为单个回归问题，直接从图像像素到边界框坐标和类别概率的预测，特点是快速且效率高。2.3常见卷积神经网络全卷积网络（FCN）：用于语义分割，能够将图像中的每个像素分类到一个特定类别，适用于场景理解、医疗图像分析等。目标跟踪：通过比较目标对象与其他对象的相似度来实现跟踪，适用于视频监控、运动分析等场景。2.3常见卷积神经网络姿态估计。OpenPose：能够从图像中实时检测人体的姿态，包括身体、手和脸部的关键点，适用于交互设计、运动分析等图像生成。生成对抗网络（GANs）：由生成器和判别器组成，能够生成新的、看起来与真实图像相似的图像，适用于图像合成、风格转换等。Part03计算机视觉的典型实践案例3.1典型案例-车牌号码被自动识别1.应用场景

自驾游客在景区需要停放车辆。为方便管理，提升服务效率和顾客体验，景区停车场需要引入车牌识别技术。游客在购票时提交自家车牌号码，录入系统，在约定时间，开车到达景区停车场后，车牌号码被自动识别，车辆可立即放行进入停车场。3.1典型案例-车牌号码被自动识别2.实现方案第一步，通过监控摄像获取包含车牌的当前试图进入停车场的车辆图片。第二步，车牌检测（PlateDetection）。对第一步获取的图像进行分析，最终截取出只包含车牌的一个图块。这个步骤的主要目的是降低在车牌识别过程中的计算量。如果直接对原始的图像进行车牌识别，会非常慢，因此需要专门的检测过程。本系统使用SVM（支持向量机）这个机器学习算法去判别截取的图块是否是真的车牌。第三步，字符识别（CharsRecognition）。这个步骤的主要目的就是对第二步车牌检测中获取到的车牌图像进行光学字符识别（OCR），其中用到的机器学习算法是著名的人工神经网络（ANN）模型。3.2典型案例-人脸识别识别第一步，通过监控摄像获取游客头像。第二步，人脸检测（FaceDetection），用于确