数据标注工程-概念、方法、工具与案例高职全套教学课件

人工智能技术应用核心课程数据标注工程——概念、方法、工具与案例全套可编辑PPT课件第1章人工智能概述.pptx第2章数据标注的概念、工具与方法.pptx第3章图像数据标注.pptx第4章视频数据标注.pptx第5章语音数据标注.pptx第6章文本数据标注.pptx第7章3D点云标注.pptx第8章工程化数据标注的组织管理.pptx第9章工程化数据标注的质量控制.pptx第10章工程化数据标注的进度管理.pptx第11章工程化数据标注的系统平台.pptx第12章数据标注的发展趋势.pptx第1章人工智能概述1.2人工智能的典型技术人工智能技术应用核心课程1.1人工智能发展历程1.3人工智能是新一代信息技术的核心1.4本章小结1.5作业与练习全套可编辑PPT课件1.1

人工智能发展历程第1章人工智能概述人工智能发展过程历经了三波浪潮，分别是“逻辑推理”时代，“知识工程”时代和“数据挖掘”时代。1.1.1人工智能的发展历程1.1

人工智能发展历程第1章人工智能概述“逻辑推理”时代（1951-1973年）

崛起：“人工智能”、“图灵测试”等概念被正式提出，部分数学理论得到突破，一批初级人工智能应用被推出：萨缪尔编写成的西洋跳棋程序、第一个能够与人互动的聊天机器人ELIZA、带有视觉传感器并能够抓取积木的移动机器人SHAKEY。寒冬：由于逻辑证明器、感知器和增强学习等工具被证实只能完成简单任务，一些重要数学模型被发现存在缺陷，人工智能不足以解决任何实际的问题，人工智能技术受到了社会舆论的普遍质疑，大量研究资金被撤走。1.1.1人工智能的发展历程1.1

人工智能发展历程第1章人工智能概述“知识工程”时代（1981-1987年）

崛起：“专家系统”兴起，“神经网络”模型突破，预期实现与人对话、翻译语言、解释图像、具有推理能力的功能。

寒冬：专家系统仅局限于某些特定场景，后期维护费用也比较高，神经网络的设计一直缺少相应严格的数学理论支持，无法对前层进行有效的学习，软件发展遇到障碍。因此预期的功能并未得到实现。1.1.1人工智能的发展历程1.1

人工智能发展历程第1章人工智能概述“数据挖掘”时代（21世纪初-至今）

崛起：“机器学习”理论发展、“深度学习”理论兴起，人工智能算法精度得到巨大提高，一批超越人脑的应用出现，例如IBM深蓝战胜了国际象棋冠军卡斯帕罗夫，IBM创造的超级电脑“沃森”与人类选手共同参加智力问答节目“危险边缘”获得冠军，阿尔法狗（AlphaGo）战胜人类顶尖围棋选手等。同时中美英等国相继发布人工智能发展战略规划。崛起原因：数据、算力和算法的突破性增长。信息时代产生了海量数据，计算机性能的不断提升大幅提高了算力，算法的突破提升了算法精度，三者共同推动人工智能行业向前发展。1.1.1人工智能的发展历程1.1

人工智能发展历程第1章人工智能概述人工智能是通过赋予机器感知和模拟人类思维的能力，使机器达到乃至超越人类的智能，人工智能技术的发展会对经济、社会、文化、政府部门产生深远影响。1.1.2人工智能的影响力人工智能发展对经济的影响：（1）总体预估：到2030年，人工智能对世界经济的贡献将达到15.7万亿美元。2030年中国人工智能核心产业规模将超过1万亿元，带动相关产业规模超过10万亿元，发展空间巨大。（2）人工智能可能改变全球产业链：工业机器人、智能制造等技术将进一步取代人类的简单重复劳作，制造业将“回流”发达经济体（3）人工智能对就业产生结构性变化：到2030年，全球将有多达8亿人会失去工作，取而代之的是自动化机器人。同时，人工智能技术的广泛应用也将增加对这方面的专业人才的需求。1.1

人工智能发展历程第1章人工智能概述1.1.2人工智能的影响力人工智能发展对社会的影响：（1）人工智能推动形成不同的技术社会形态：信息社会中信息、知识成为重要的生产力要素。在技术变革的影响下，人与人的关系、人与自然的关系、人与机器的关系，乃至人本身，都在发生变化。（2）人工智能引起社会结构重构：未来人类社会将以是否能够掌握人工智能技术、享受人工智能红利为界，将社会群体分化为“人工智能”和“非人工智能”两个层面，并对个人的发展、财富的分配起到相当大的作用。（3）人工智能对法律的影响：计算机技术要求有新的法律分析、解释和理论进行规范。1.1

人工智能发展历程第1章人工智能概述1.1.2人工智能的影响力人工智能发展对文化的影响：（1）人工智能对人们生活的改变：如一些问题、知识、新闻、学习课程等，人们能通过计算机与手机客户端，不用打字，仅仅通过“说话”，计算机或手机客户端便能呈现人们想要的内容。（2）人工智能人们观念的改变：智能化的生活方式会大幅改变人们的思维方式，使得越来越多的人产生重视灵活、快捷、现代生活方式的观念。1.1

人工智能发展历程第1章人工智能概述1.1.2人工智能的影响力人工智能发展对政府部门的影响：（1）宏观整体：人工智能中的“大数据”打破政府部门间的行政数据壁垒，便于准确掌握相关决策信息，更好地研判经济社会发展态势，提高政府决策质量。（2）微观局部：人工智能在教育、医疗、养老、环境保护、城市运行、司法服务等领域广泛应用，极大提高公共服务精准化水平，帮助全面提升民众生活品质，人工智能也能为广大民众民主参与政府部门沟通和对接国家政治事务提供便捷通道。1.1

人工智能发展历程第1章人工智能概述人工智能是战略性技术和新一轮产业变革的核心驱动力。人工智能的国际竞争通过贸易领域和军事领域是赢得竞争的战场。目前，竞争主要体现在贸易和军事方面：（1）贸易方面：美国担心在这一轮新的工业革命中丧失优势，因此对中国5G、无人机、智能安防等领域的龙头公司进行产业封锁。（2）军事方面：未来人工智能将从根本上改变战争形式和国际关系，未来战争士兵可能无需上战场，所有战斗通过指挥无人自动武器完成。因此人工智能技术将决定一个国家根本的军事实力，也必将成为大国竞争的主战场。目前，美国、日本、德国、英国和中国是竞争中的主要国家。1.1.3人工智能的国际竞争1.1

人工智能发展历程第1章人工智能概述美国：视人工智能为巩固其全球霸主地位的重要筹码（1）相关报告：《为人工智能的未来做好准备》、《国家人工智能研究与发展战略规划》与《人工智能、自动化及经济》。（2）战略目标：一是要将人工智能技术有效整合进政府的业务中，期望打造一个更有效的政府；二是服务民众福祉，鉴于人工智能技术的巨大潜力，拟在智慧城市、身心健康、社会福利、刑事司法、环境、弱势群体等领域应用人工智能技术，帮助人民改善生活。（3）数据战略：美国认为用于训练的数据集等资源的深度、质量及准确性会对人工智能性能产生重大影响。政府率先构建优质的数据集和环境，并向公众开放，充分保护公众免受数据安全伤害，并保证经济竞争的公平性。1.1.3人工智能的国际竞争1.1

人工智能发展历程第1章人工智能概述日本：以“工程化”措施推进人工智能研发（1）相关报告：《科学技术白皮书（2016年版）》、《第5期科学技术基本计划（2016-2020）》。（2）战略目标：建设国家级人工智能平台。将理化学研究所、产业技术综合研究所确定为日本的人工智能研究基地，并设立前端集成智能平台项目，开展“产学官”合作方式，在短期内进行技术开发和转化，研究与应用要密切结合。（3）数据战略：在数据支撑方面，研究机构基于不同的目的需求开展数据收集，并进行累积和储备。例如，日本汽车研究所制作的自动驾驶图像识别数据等，到事业运行阶段再将数据移交给企业。1.1.3人工智能的国际竞争1.1

人工智能发展历程第1章人工智能概述德国：将人工智能定位于工业4.0核心环节（1）相关报告：《联邦政府人工智能战略要点》。（2）战略目标：工业4.0的最终核心是人工智能，发展人工智能就是发展工业4.0，重点包括三个主题：第一是智能工厂，第二是智能生产，第三是智能物流。德国围绕智能网络制造、信息通信技术、智能技术系统、生产自动化等相关主题，资助企业与高校、科研机构合作开展了一系列研发和创新项目。1.1.3人工智能的国际竞争1.1

人工智能发展历程第1章人工智能概述英国：积极而审慎发展人工智能技术（1）相关报告：《人工智能2020国家战略》、《英国机器人及人工智能发展路线图》。（2）战略目标：英国政府将人工智能技术列为最重要的八大技术之一，同时考虑人工智能可能带来的负面影响。在产业扶持方面，民间资本在政府引导下，加大对该领域的投入，促进了人工智能初创企业的孵化和阶段科研的转化。1.1.3人工智能的国际竞争1.1

人工智能发展历程第1章人工智能概述中国：将发展人工智能上升为国家战略（1）相关报告：《新一代人工智能发展规划》。（2）战略目标：三步走。

第一步：到2020年人工智能总体技术和应用与世界先进水平同步，人工智能产业成为新的重要经济增长点，培育若干全球领先的人工智能骨干企业，人工智能核心产业规模超过1500亿元，带动相关产业规模超过1万亿元。

第二步：到2025年人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平，人工智能核心产业规模超过4000亿元，带动相关产业规模超过5万亿元，初步建立人工智能法律法规、伦理规范和政策体系。

第三步：到2030年人工智能理论、技术与应用总体达到世界领先水平，成为世界主要人工智能创新中心，人工智能核心产业规模超过1万亿元，带动相关产业规模超过10万亿元，形成一批全球领先的人工智能科技创新和人才培养基地。1.1.3人工智能的国际竞争第1章人工智能概述1.1人工智能发展历程人工智能技术应用核心课程1.3人工智能是新一代信息技术的核心1.4本章小结1.5作业与练习1.2人工智能的典型技术1.2人工智能的典型技术第1章人工智能概述人工智能的典型技术主要包括机器学习、深度学习、计算机视觉、知识工程、自然语言处理、语音识别、计算机图形学、多媒体技术、人机交互技术、机器人、数据库技术、可视化、数据挖掘、信息检索与推荐等。从发展历史看，经历了经典符号主义AI、简单神经网络、多层级文字分析、深度学习突破、图像分析突破、智适应突破、自然语言处理突破、GAN神经形态技术、人类意识系统开发等。1.2人工智能的典型技术第1章人工智能概述典型人工智能技术，从不同的视角，有多种不同的分类方式：（1）按照人工智能技术发展阶段划分①弱人工智能（ArtificialNarrowIntelligence，ANI）：是擅长于单个方面的人工智能，比如战胜世界围棋冠军的人工智能AlphaGo，它只会下围棋。②强人工智能（ArtificialGeneralIntelligence，AGI）：是类似人类级别的人工智能。强人工智能是指在各方面都能和人类比肩的人工智能，目前还无法实现。③超人工智能（ArtificialSuperintelligence，ASI）：是指“在几乎所有领域都比最聪明的人类大脑都聪明很多，包括科学创新通识和社交技能等，目前还无法实现。1.2.1人工智能技术的分类1.2人工智能的典型技术第1章人工智能概述典型人工智能技术，从不同的视角，有多种不同的分类方式：（2）按照人工智能技术发展流派划分①符号主义：认为人工智能源于数理逻辑，数理逻辑从19世纪末起得以迅速发展，到20世纪30年代开始用于描述智能行为。②行为主义：认为人工智能源于控制论，控制论思想早在20世纪40～50年代就成为时代思潮的重要部分，影响了早期的人工智能工作者。③连接主义：认为人工智能源于仿生学，特别是对人脑模型的研究。此流派是目前的主要流派，以前的传统神经网络及现在的深度神经网络均属于这一流派。1.2.1人工智能技术的分类1.2人工智能的典型技术第1章人工智能概述典型人工智能技术，从不同的视角，有多种不同的分类方式：（3）按照人工智能技术所需基础数据服务（基础层、技术层、应用层）划分①基础层：按照算力、数据和算法再次划分，对整体上层建筑起到支撑作用。②技术层：根据算法用途分为计算机视觉、智能语音、自然语言处理等，是AI最引人注目的环节。

③应用层：按照不同场景的需求定制开发专属服务，是AI真正赋能行业的方式。1.2.1人工智能技术的分类1.2人工智能的典型技术第1章人工智能概述典型人工智能技术，从不同的视角，有多种不同的分类方式：（4）按照机器学习训练方法分类①监督学习：所有数据都需要进行标注。②半监督学习：只标注一部分数据。

③无监督学习：无需标书数据。④强化学习：根据现实情况自动试错+调整1.2.1人工智能技术的分类1.2人工智能的典型技术第1章人工智能概述语音合成，又称文语转换（TextToSpeech，TTS），是一种可以将任意输入文本转换成相应语音的技术。即通过将文本转化成语音，让机器像人类一样能说会道。语音合成的技术步骤：（1）韵律分析：文本分词，韵律标注，文本特征提取。（2）声学处理：先进行文本特征向量到声学特征向量的映射，然后用声码器将声学特征变成声音信号。（3）语音合成：基于某个人少量的语音片段调整声音信号，让合成的语音拥有这个人的音色。1.2.2语音合成1.2人工智能的典型技术第1章人工智能概述语音识别是让机器识别和理解说话人语音信号内容的新兴学科。语音识别的技术步骤：（1）信号预处理：对输入语音信号进行预加重和分段加窗等处理，并滤除其中的不重要信息及背景噪声等。（2）特征提取：将反映信号特征的关键信息提取出来，以此降低维数减小计算量，用于后续处理。（3）模型训练：特征参数作为训练数据，合理设置模型参数的初始值，对模型各个参数进行重估，使识别系统具有最佳的识别效果。（4）语音识别：将待识别语音信号的特征根据一定的准则与训练好的模板库进行比较，最后通过一定的识别算法得出识别结果。1.2.3语音识别1.2人工智能的典型技术第1章人工智能概述自然语言处理（NaturalLanguageProcessing，NLP），是指用计算机对自然语言的形、音、义等信息进行处理，即对字、词、句、篇章的输入、输出、识别、分析、理解、生成等的操作和加工，实现人机间的信息交流。自然语言处理的技术步骤：五个层次（1）语音分析是要根据音位规则，从语音流中区分出一个个独立的音素，再根据音位形态规则找出音节及其对应的词素或词。（2）词法分析是找出词汇的各个词素，从中获得语言学的信息。（3）句法分析是对句子和短语的结构进行分析，目的是要找出词、短语等的相互关系以及各自在句中的作用。1.2.4自然语言处理1.2人工智能的典型技术第1章人工智能概述自然语言处理的技术步骤：五个层次（4）语义分析是找出词义、结构意义及其结合意义，从而确定语言所表达的真正含义或概念。（5）语用分析是研究语言所存在的外界环境对语言使用者所产生的影响。1.2.4自然语言处理1.2人工智能的典型技术第1章人工智能概述图像识别：对图像做出各种处理、分析，最终识别我们所要研究的目标。计算机的图像识别技术就是模拟人类的图像识别过程。图像识别技术步骤：（1）信息获取：通过相机镜头等传感器获得图像数据。（2）图像预处理：对图像数据进行处理，去掉不重要的信息和噪声。（3）特征提取：将反映信号特征的关键信息提取出来，以此降低维数减小计算量，用于后续处理。（4）模型训练：特征参数作为训练数据，合理设置模型参数的初始值，对模型各个参数进行重估，使识别系统具有最佳的识别效果。（5）图像识别：基于模型和算法对目标进行识别。1.2.5图像识别1.2人工智能的典型技术第1章人工智能概述3D点云：点云数据（pointclouddata）是指扫描资料以点的形式记录，每一个点包含有三维坐标，有些可能含有颜色信息（RGB）或反射强度信息（Intensity）。点云（pointcloud），也就是三维坐标系统中点的集合，这些点通常以x，y，z坐标来表示，并且一般用来表示物体的外表形状。当然，除了最基本的位置信息以外，也可以在点云中加入其他的信息，如点的色彩信息等。大多数的点云是由3D扫描设备获取的，如激光雷达，立体摄像机，深度相机等。1.2.63D点云1.2人工智能的典型技术第1章人工智能概述几种处理点云数据的办法：（1）基于像素的深度学习：最早用深度学习来处理点云数据的方法，但是需要先把三维点云在不同角度渲染得到二维图像，然后借助图像处理领域成熟的深度学习框架进行分析。。（2）基于体素的深度学习：将点云划分成均匀的空间三维体素，对体素进行处理。（3）基于树的深度学习：利用八叉树方法将三维点云划分为若干节点，以节点的法向量作为输入信号，按照Z排序方法将点云表示成一维数组，之后可以很方便地与已经有神经网络进行连接。（4）基于点的深度网络：用PointNet等直接对点云进行处理，考虑了输入点云的排列不变性。1.2.63D点云1.2人工智能的典型技术第1章人工智能概述多模态数据：多模态数据则可被看作多种数据类型的组合，如图像、数值、文本、符号、音频、时间序列等的组合。多模态数据处理：对多源数据进行综合有效地筛选和利用，实现集成化感知与决策的目的。常见的信息融合方式有物理层融合、特征层融合、决策层融合几个类型。（1）物理层融合：第一阶段，在采集环节对采集到的数据进行融合处理（2）特征层融合：在特征抽取和表达的层级对信息进行融合（3）决策层融合：对不同模态的感知模型所输出的结果进行融合1.2.7

多模态数据处理第1章人工智能概述1.1人工智能发展历程人工智能技术应用核心课程1.2人工智能的典型技术1.4本章小结1.5作业与练习1.3人工智能是新一代信息技术的核心1.3人工智能是新一代信息技术的核心第1章人工智能概述第五代移动通信（5G）、云计算、大数据、物联网与人工智能是新一代信息技术的五大关键支撑技术、也是相辅相成的五大技术分支。5G为数据的高速、低延迟传输提供了快速通道，为物联网的广泛应用和人工智能对应用的“赋能”提供了通信基础设施的有力支撑；云计算为人工智能的发展提供了算力支撑；大数据在经过梳理、分析之后，为人工智能决策应用提供参考；人工智能的高度取决于大数据的数据基础、数据质量。1.3人工智能是新一代信息技术的核心第1章人工智能概述5G是第五代移动通信技术，具有四大重大特点：高速度、泛在网、低功耗、低时延。人工智能与5G点关系密切：5G是人工智能基础层的重要支撑，同时人工智能也将为5G的万物互联提供AI算法模型及优化。5G+人工智能可能的落地场景：（1）自动驾驶：5G的低时延让自动驾驶的雷达、摄像头能更快地传递信息，极大的降低自动驾驶危险性。5G还将定义一种直接的通信方式，可以使汽车之间通过直接通信来实现自动驾驶，更丰富的决策信息让驾驶更加智能。（2）智慧医疗：大规模医疗健康监测数据以及医疗影像可以通过5G网络传输，让病人不用到大城市高等级医院就能享受高水平医疗影像AI服务。医生可以通过病人医疗数据实现远程监控医疗。（3）其他应用：AR、VR、安防、直播等。1.3.15G与人工智能的关系1.3人工智能是新一代信息技术的核心第1章人工智能概述云计算最初的目标是对资源的管理，管理的主要是计算资源、网络资源、存储资源三个方面。云计算的特点：（1）云计算为用户提供廉价的计算资源。（2）云计算的服务是动态可扩展的。（3）云计算能够根据用户的不同需求提供针对性的服务。云计算是一个计算、数据存储、通信工具，人工智能必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术才能形成行业级应用。人工智能未来将是掌控这个实体的大脑；云计算可以看作是大脑指挥下的对于大数据的处理并进行应用。1.3.2

云计算与人工智能的关系1.3人工智能是新一代信息技术的核心第1章人工智能概述大数据产业是人工智能产业的初级阶段，人工智能产业是大数据产业的升级及蜕变，二者之间有着深入的联系。1.3.3大数据与人工智能的关系1.3人工智能是新一代信息技术的核心第1章人工智能概述物联网（IoT，Internetofthings），即“万物相连的互联网”，是在互联网基础上的延伸和扩展的网络，将各种信息传感设备与互联网结合起来而形成的一个巨大网络。人工智能是软件，需要物联网作为载体，物联网是硬件，需要人工智能来驱动：（1）人工智能为物联网提供强有力的数据扩展。物联网是互联设备间数据的收集及共享，人工智能将数据提取出来后做出分析和总结。（2）人工智能让物联网更加智能化。人工智能技术在某种程度上可以帮助互联设备应对突发情况。（3）人工智能有助于物联网提高运营效率。人工智能通过分析、总结数据信息，从而解读企业服务生产的发展趋势并对未来事件做出预测。1.3.4物联网与人工智能的关系第1章人工智能概述1.1人工智能发展历程人工智能技术应用核心课程1.2人工智能的典型技术1.3人工智能是新一代信息技术的核心1.5作业与练习1.4本章小结1.4本章小结第1章人工智能概述本章回顾了全球人工智能的发展历程，人工智能对于经济社会、国家竞争力的作用，立足于目前人工智能所处的弱人工智能阶段，分析了语言标注、文本数据标注、视频数据标注等几大典型技术，梳理出人工智能与5G、云计算、大数据等热门技术是以数据为桥梁，构建出未来产业发展的生态。第1章人工智能概述1.1人工智能发展历程人工智能技术应用核心课程1.2人工智能的典型技术1.3人工智能是新一代信息技术的核心1.4本章小结1.5作业与练习1．人工智能是什么？2．全球人工智能分为几个阶段？每个阶段有何特征？3．目前人工智能技术发展处于什么阶段？该阶段有何特征？4．人工智能与5G、云计算、大数据之间的关系是怎么样的？5．人工智能有哪些影响力？6．如何理解“有多少智能，就有多少人工”？7．人工智能有哪些典型的技术？8．简要描述人工智能有哪些分类？以及每个分类的细分项？9．人工智能的目的是什么？10．人工智能有哪些特性？习题：人工智能技术应用核心课程数据标注工程——概念、方法、工具与案例第2章数据标注概念、工具与方法2.2数据标注对象人工智能技术应用核心课程2.1数据标注的概念及其对人工智能发展的意义

2.3数据标注工具与平台2.4典型数据标注技术2.5数据标注工程2.6本章小结2.7作业与练习2.1数据标注的概念及其对人工智能发展的意义第2章数据标注概念、工具与方法数据标注（DataAnnotations）是指对收集到的、未处理的原始数据或初级数据，包括语音、图片、文本、视频等类型的数据进行加工处理，并转换为机器可识别信息的过程。数据标注与人工智能相伴而生，是大部分人工智能算法得以有效应用的关键环节。数据标注越准确、标注的数据量越大，算法的性能就越好、准确度就越高。根据国际数据公司（IDC）的监测数据显示，2018年全球大数据储量达到33.0ZB，同比增长52.8%。到2020年，全球将总共拥有超过44ZB的数据量；其中文本、照片、音频、视频、医疗影像等非结构化内容超过85%。大数据蕴含的前所未有的社会价值和商业价值，是一个发展潜力十分巨大的机遇。因此，大数据也被被誉为“新的石油”。2.1.1全球数据的快速增长催生大数据产业2.1数据标注的概念及其对人工智能发展的意义第2章数据标注概念、工具与方法20世纪80年代出现的深度学习神经网络算法，因为没有足够的数据支持而步履维艰自2012年之后，数据技术推动数据产业的发展。大数据、人工智能、物联网及云计算等技术的快速发展，智慧城市、智慧园区、智能家电、穿戴设备、智能机器人等智能应用不断涌现，对经济社会发展产生了巨大而又深远的影响，同时也采集、获取、积累了大量的原始数据资源。智能应用技术中算法模型的学习和训练依赖于大量数据样本训练集，由此也产生了大量场景化的人工智能数据需求。2.1.2数据产业推动人工智能应用技术的发展2.1数据标注的概念及其对人工智能发展的意义第2章数据标注概念、工具与方法数据标注就是将大量的、原始的、杂乱的数据转化为规范化的、计算机能够读懂的、标识出关键特征的数据集，从而支持人工智能的相关应用。数据标注质量影响人工智能应用效率。高质量的、准确标注的数据将最大限度地提升人工智能判别的准确率；而低质量的、没有准确标注的数据会影响、甚至阻滞人工智能的进化能力。人工智能的发展促使数据标注不断进步。随着人工智能的不断发展，对数据标注的需求度越来越高，数据标注任务要求不断细化，以满足不同行业对数据的不同要求。因此，高质量的数据标注对于促进人工智能行业健康发展具有重要意义。2.1.3数据标注对于人工智能应用的意义2.1数据标注的概念及其对人工智能发展的意义第2章数据标注概念、工具与方法第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.2数据标注对象2.3数据标注工具与平台2.4典型数据标注技术2.5数据标注工程2.6本章小结2.7作业与练习数据集（DataSet）又称为资料集、数据集合、资料集合或数据产品，是经过规范化整理、工程化标注的一组具有统一格式的数据集合。人工智能数据集主要分为语音数据集、图像数据集、文本数据集和视频数据集等四大类别。部分国际人工智能公共数据集如下：2.2.1数据集2.2数据标注对象第2章数据标注概念、工具与方法在人与人、人与计算机的信息交互中，需要一种更加方便、自然的交互方式。语言是人类最重要、最有效、最常用和最方便的信息交流形式。人工智能语音数据集，按照不同的维度，通常可以分为三种：（1）按照语种分类：世界上有五千多种语言，目前的语音数据集主要包含了使用人数较多的语种，如汉语、英语、西班牙语、法语等。（2）按照方言分类：汉语有七大方言区，外语也有方言之分（3）按照语音属性分类：朗读语音、引导语音、自然对话、情感语音等上述各种维度的语音数据集，在形成数据产品的时候往往会多维度结合，各种维度交错，构成大量的语音数据产品。2.2.2语音数据集2.2数据标注对象第2章数据标注概念、工具与方法图像（图片）经数字化后形成可以存储、编辑的图像数据（图片数据）。对于计算机来说一张数字化图片的内容信息就相当于一连串代表每个像素位置和颜色的数字序列，也就是图像数据。人工智能图像数据集，按照不同的维度，通常可以分为七种：（1）按照应用场景分类：例如人体识别、车辆识别、车牌识别、动物识别等（2）按照局部或整体特征分类：以车辆为例，车牌为局部，车型为整体（3）按照待识别对象的数量分类：例如单人、人群（4）按照气象条件分类：晴天、阴天、雨天、雪天、雾霾、白天、黑夜等（5）按照拍摄角度分类：正面、侧面、上面、下面、背面（6）按照光线情况分类：顺光、侧光、逆光、侧逆光（7）按照拍摄对象分类：不同人种、不同性别、不同表情等2.2.3图像数据集2.2数据标注对象第2章数据标注概念、工具与方法文本数据是指不能参与算术运算的字符集合，也称为字符型数据。文本数据集主要应用于自然语言理解、机器翻译、语音识别、智能交通等领域。文本数据可收集的种类包括：命令词、常见人名、地名库、歌曲名称、影视名称、餐饮词汇、短信库、电子邮件等文本分类、语言识别、机器翻译、文本校对等。2.2.4文本数据集2.2数据标注对象第2章数据标注概念、工具与方法视频是典型的、复合的多媒体数据，可以包含图像、语音、音乐、音效和文字等多种媒体信息。视频数据的特点：（1）信息内容丰富：视频数据是随时间变化的图像流，含有更为丰富的其他媒体所无法表达的信息和内容。（2）数据量巨大：静态图像、文本等类型的数据，数据量较小，而视频数据，数据量巨大。（3）时空二重性的复杂结构关系：视频数据由多幅连续的图像序列构成，既有时间属性又有空间属性。（4）数据解释的多样性、主观性：视频数据具有十分丰富的内涵，受人的个体主观因素影响较大，不同的人对同一段视频会产生不同的感受和重述。2.2.5视频数据集2.2数据标注对象第2章数据标注概念、工具与方法第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.3数据标注工具与平台2.2数据标注对象2.4典型数据标注技术2.5数据标注工程2.6本章小结2.7作业与练习常见的语音数据标注工具包括：单段落语音数据标注、多段落语音数据标注等。（1）单段落语音标注：标注人员试听语音资料后，需要判定语音资料的有效性，说话人的说话内容以及周围环境等信息，试听判断完成后，将相应信息填写到音频下方的文本输入框中2.3.1语音数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法（2）多段落语音标注：标注人员同样需要试听一段语音资料，与单段落标注不同的是，多段落标注中的语音视频为多人对话，标注人员可以拖动鼠标对有人声的语音资料进行选取，之后对语音资料中说话人的性别、说话内容以及周围环境等信息进行识别，并填写音频下方的相关内容2.3.1语音数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法图片标注工具主要实现的标注功能有：关键点标注、2D标注框标注、3D标注框标注、线标注、区域标注、图片属性标注等2.3.2图像数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法视频标注工具通常包含视频通用功能标注工具和物体跟踪标注工具：（1）视频通用功能标注工具：包含点（Shift+A）、线（Shift+S）、矩形（Shift+D）、多边形（Shift+F），并支持快捷键选择工具。支持标注图形使用delete键删除或者直接点击下面属性名称删除。2.3.3视频数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法下拉列表表单输入框表单（2）物体跟踪标注工具：标注人员通过拖动鼠标进行画框以及输入物体编号的方式对车辆、行人进行标注，在此过程中，用户可以通过点击重播、上一帧、下一帧、上十帧、下十帧按钮或直接拖动进度条的方式来对视频播放进度进行控制。2.3.3视频数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法常见的文本数据标注工具主要有实体标注、实体关系标注、文档属性标注、阅读理解、交互意图等。2.3.4文本数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法（1）文本句法树标注：标注人员对文本进行分词、词性标注、短语机构标注，依存关系标注等更深层次的处理能力，可满足自然语言处理的不同层次的要求。2.3.4文本数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法（1）文本属性标注：标注人员可以对两条文字数据进行对比，也可以根据模板中提供的类别模板对文本内容进行标注，例如选取一句话中的主语、谓语和宾语等。页面最上方有一行文本文字，标注人员通过阅读文本确定文本的主题、时间，发生地点等内容，根据实际情况将相关内容填写在下方的文本框内。2.3.4文本数据标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法3D点云标注是指对激光雷达等设备采集的3D图像，通过3D标注框将车辆、行人、广告标志和树木等目标物体标注出，供计算机视觉、无人驾驶等人工智能模型训练使用。2.3.5

3D点云标注工具2.3数据标注工具与平台第2章数据标注概念、工具与方法车辆、行人的3D点云图第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.4典型数据标注技术2.2数据标注对象2.3数据标注工具与平台2.5数据标注工程2.6本章小结2.7作业与练习人工智能数据的标注技术随着设备的研发会产生新的标注要求，随着算法技术的发展呈现精度更高、更智能化的特点。以下对语音转写、人脸检测和关键点检测、图像分割、图像识别和视频处理等关键标注技术进行介绍。2.4

典型数据标注技术第2章数据标注概念、工具与方法语音转写技术主要包括前端处理、语音识别相关技术。（1）前端处理：将接收到语音信号进行预处理，增强或降噪等。（2）识别过程：首先对预处理后的声音信号进行特征提取，然后进行语音活动检测将语音信号和非语音信号（包括无声段或背景噪声）进行划分，最后基于声学模型对语音特征进行训练和识别。常用声学模型包括：隐马尔科模型-高斯混合模型（HMM-GMM）、深度神经网络（DNN）等。2.4.1语音转写技术2.4典型数据标注技术第2章数据标注概念、工具与方法（1）面部特征点定位任务即根据输入的人脸图像，自动定位出面部关键特征点，如眼睛、鼻尖、嘴角点、眉毛以及人脸各部件轮廓点等。（2）这项技术的应用很广泛，比如自动人脸识别，表情识别以及人脸动画自动合成等。（3）由于不同的姿态、表情、光照以及遮挡等因素的影响，需要准确地定位出各个关键特征点。早期的人脸识别研究主要针对具有较强约束条件的人脸图像，需要设计巧妙的人脸图像纹理、语义表达的“特征”，进而完成识别模型的训练。（4）随着深度学习算法、GPU/FPGA计算力的增强，出现了“端到端”人脸检测技术路线，图像特征的学习被融入神经网络的学习当中，将人脸检测、人脸关键点检测、人脸图像分类一并输出。显然，人脸检测方法又进入了新阶段和新高度。2.4.2人脸检测和关键点检测2.4典型数据标注技术第2章数据标注概念、工具与方法图像分割是要对图像每个像素所属的目标类别进行识别，常见的图像分割算法包括FCN、Mask-rcnn等。目前，目前图像分割的软件如下表所示：2.4.3图像分割2.4典型数据标注技术第2章数据标注概念、工具与方法视频标注工具Vatic源自麻省理工学院的一个研究项目。输入一段视频，支持自动抽取成粒度合适的标注任务并在流程上支持接入亚马逊众包平台。除此之外，其还有很多实用的特性：简洁使用的图形用户界面，支持多种快捷键操作；基于opencv的视频跟踪，这样就可以抽样的标注，减少工作量；具体使用时，可以设定要标注的物体属性标签，比如：水果、人、车等等。然后指派任务给到众包平台（也可以是自己的数据工程师）。现阶段支持的标注样式是标注框（box）标注。2.4.4视频类标注2.4典型数据标注技术第2章数据标注概念、工具与方法第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.5数据标注工程2.2数据标注对象2.3数据标注工具与平台2.4典型数据标注技术2.6本章小结2.7作业与练习数据标注工程，也称为工程化数据标注，是指数据产品制造（数据集）的系统化、工程化、流程化的组织与实施过程，可以划分为数据采集、数据处理、数据标注、数据质检、数据验收交付等五大流程。2.5数据标注工程第2章数据标注概念、工具与方法数据采集是人工智能数据工厂中生产数据的第一关。人工智能领域必须对采集的数据进行良好的把关，才能有效提高后续质量。数据采集的方法主要四种：互联网数据采集（网络抓取）、众包、行业合作以及各种传感器数据。（1）互联网数据采集：互联网数据采集也称网络抓取，主要是通过数据爬虫和网页解析进行。数据爬虫架构如下图所示：2.5.1数据采集2.5数据标注工程第2章数据标注概念、工具与方法（2）数据众包采集：数据众包采集是以数据支撑平台为基础，集全社会的力量进行采集，并对数据的噪音、错误、遗漏进行发现和纠正。数据众包采集主要应用场景是基于现有的数据采集人力、设备和时间无法满足海量的原始数据采集需求，在成本可接受的范围内可以采用众包模式。数据众包采集如下图所示：2.5.1数据采集2.5数据标注工程第2章数据标注概念、工具与方法（3）数据行业合作：主要是对拥有庞大和高质量数据资源的行业企业和机构，通过数据连接以及人工智能大数据服务平台对数据进行清洗、处理，并整合、分析，在企业混合云平台中对数据资产的管理与审核，最后将数据用于人工智能应用。2.5.1数据采集2.5数据标注工程第2章数据标注概念、工具与方法（4）传感器数据采集：传感器数据采集是计算机与外部物理世界连接的桥梁。在计算机广泛应用的今天，各种录像摄像设备、气候环保监测设备、道路交通监测监控设备等等。不同传感器接收不同类型信号的难易程度差别很大。在实际采集时，噪声也可能带来一些麻烦，传感器的参数对数据采集也有一定的影响，传感器进行数据采集的一般结构如图所示。2.5.1数据采集2.5数据标注工程第2章数据标注概念、工具与方法数据处理是对采集到的数据进行数据审核、去重、去噪、标准化、规范化、审查、校验等一系列数据整理、转换、清洗操作。（1）数据处理工具：主要用于数据审核和脱敏、语音&图像&视频&文本数据分析和多源数据关联集成。（2）数据清洗方法：数据清洗包括无效值和缺失值的处理、数据一致性检查、数据查重等工作。2.5.2数据处理2.5数据标注工程第2章数据标注概念、工具与方法数据标注方式包括人工标注、半自动标注、自动标注、众包等等。具体步骤如下：数据处理是对采集到的数据进行数据审核、去重、去噪、标准化、规范化、审查、校验等一系列数据整理、转换、清洗操作。（1）定义所需标注数据和预估数据量：数据标注前应完成以下五项准备工作：

①分析数据。明确机器学习和模型训练过程中所需的标注数据类型、量级、用途及应用场景等。②整理数据。明确数据与标签文件存放的目录结构，在任务分配与回收时，应按指定的目录进行数据组织。③明确命名规则。应明确数据与标签文件的命名方式，命名规则应避免数据更新送代时的重名，使于数据追踪、标注追踪，且数据文件名与标签文件名应保持一致。④预估数据量。根据标注任务的人力获取模式、工具选择、标注任务类型、算法选择以及整个项目的成本对所需标注的数据量进行预估。⑤标注数据定义与需求。明确标注数据的定义并确定最终的需求量。2.5.3

数据标注2.5数据标注工程第2章数据标注概念、工具与方法（2）标注说明规则。

①标注说明规则职责分工。数据需求方应负责确保数据标注的规则符合该领域的业务和专业常识，并根据标注规则，检查所标注的数据是否满足数据需求方。②标注说明规则定义。明确项目背景、意义及数据用场景，包含项目标注工具、任务描述、标注方法、正确示例、常见错误等内容标注。③标注说明规则内容。标注说明规则包括但不限于项目背景、版本信息、任务描述、保密责任、标注方法、正确示例、注意事项和质量要求。④执行方法及注意事项。应加强数据标注员相关标注规则培训，保证每个标注人员理解标注说明规则，满足技能要求。⑤标注说明中术语体系规范化。术语体系的规范化至少应满足国家法规、项目需求方、项目执行方的规定，且确保标注人员对术语和定义理解的一致性。2.5.3

数据标注2.5数据标注工程第2章数据标注概念、工具与方法（3）标注人力供给成本。应根据标注任务的数据量级、保密性与资质要求、对业务规程的理解程度、成本预算以及交付时间等各类因素评价并确认标注人力供给方式。标注人力模式可包括：内部自营标注、第三方标注、众包标注等。

2.5.3

数据标注2.5数据标注工程第2章数据标注概念、工具与方法（4）标注工具和标注平台选择。标注工具应满足以下条件：①易操作性：标注工具应降低标注人员的操作难度，提供交互方式的自有标注。②规范性：标注工具的数据导出格式，应满足或可转换到格式要求。③高效性：标注工具应保证标注任务的完成效率。标注平台包含标注工具全部功能、团队管理、任务分发、质量审核等环节的模块，且将所有标注环节工具化。规模较大的平台可完成图像、文本、语音或视频等不同任务的标注。当数据量相对较小、数据类型相对单一、标注周期较短时，宜选择标注工具进行标注。当标注量较大、数据类型较多、标注难度较大且周期较长时，宜选择标注平台进行标注。

2.5.3数据标注2.5数据标注工程第2章数据标注概念、工具与方法（5）标注任务创建、分发、开展和回收。具体内容如下：①标注任务创建：明确任务基本信息和需求，完成任务配置和数据上传。②标注人物分发：根据任务发布者确定的参数及需求，将标注任务分发给标注人员，同时规定标注人数、每天工作量、子任务回收时间点、任务结束时间点等内容③标注任务开展：根据实际任务灵活采用半自动标注或全人工标注。在标注前期，可根据标注规则对少量样本先行试标注，将试标注结果反馈给数据需求方，确认标注结果正确无误后，再批量开展数据标注任务。④标注任务回收：在项目协定的任务将要完成时，项目负责人需回收标注作业，且需保证已分配的任务能被完整交付。

2.5.3数据标注2.5数据标注工程第2章数据标注概念、工具与方法数据质检是保证数据质量的重要环节。在数据质检操作方面，可通过排查或抽样检查的方式。质检时，一般由多名专职审核人员对数据质量进行层层把关，一旦发现数据不合要求，则交由数据标注人员进行返工复查并纠正，直到最终通过审核为止。数据质检主要包含以下三个步骤：（1）质量检查：确保数据有价值，符合数据需求方的特定应用目的。（2）质量反馈：确保标注过程可控，并产生预期的结果。遇到质量较低数据时及时预警反馈，并查明原因。（3）质量检查与控制中合格标准的确认：需在抽查前建立并确认合格标准，并在相关环节贯彻实施。2.5.4

数据质检2.5数据标注工程第2章数据标注概念、工具与方法数据标注质量标准：对于数据标注行业，数据标注的质量标准就是标注的准确性，主要包括图像数据标注、语音数据标注、文本数据标注等质量标准。（1）图像类型的数据验收：数据结果为带有标签的数据，包含标签的具体内容，及此图像标签对应的图像空间位置（可选）。标注文件输出格式推荐使用易解析、易存储的数据格式，格式包括但不限于JSON或XML。（2）文本类型的数据验收：数据结果包含文本标签的位置和标签的具体内容。标注文件的输出格式推荐使用易解析、易存储的数据格式，包括JSON、XML、TXT等。（3）语音类型的数据验收：数据结果包含语音标签的时间位置和标签的具体内容（例如转写内容、说话人信息、噪声等）。标注文件的输出格式为JSON文件或其他通用输出格式。2.5.5数据交付2.5数据标注工程第2章数据标注概念、工具与方法（4）视频类型的数据验收：数据结果可包含视频标签的时间位置、空间位置和标签信息等内容。标注文件的输出格式推荐使用易解析、易存的数据格式，包括JSON、XML等。（5）其他数据：医学影像数据具有其特殊性，因此在此单独定义输出标准。对于DICOM类型的数据，按照ISO12052的要求，参照前述图像、文本、语音和视频数据的输出格式，存储在DICOM数据格式的相应标签和数据集合中。（6）数据交付：标注团队需对最终提交的数据量进行说明。交付的内容应包括标注结果（必选）、交付和说明文档（可选）、关于标注数据的Metadata（可选）、原始数据（可选）等。交付的文件存储结构如图所示。2.5.5数据交付2.5数据标注工程第2章数据标注概念、工具与方法在交付数据后，数据需求方应在数据验收期内完成对数据标注结果的验收工作，验收方式包括抽样验收和逐一验收两种。若验收数据质量未达到期望值，数据需求方可要求数据服务提供商对数据进行修正。2.5.6

数据验收2.5数据标注工程第2章数据标注概念、工具与方法第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.6本章小结2.2数据标注对象2.3数据标注工具与平台2.4典型数据标注技术2.7作业与练习2.5数据标注工程本章第一节从数据标注对人工智能的重要性和必要性开始论述；第二、三、四则介绍数据标注对象——数据集、数据标注工具、数据标注技术；第五节介绍数据标注流程。使读者全面了解数据标注方法和过程。2.6本章小结第2章数据标注概念、工具与方法第2章数据标注概念、工具与方法2.1数据标注的概念及其对人工智能发展的意义

人工智能技术应用核心课程2.7作业与练习2.2数据标注对象2.3数据标注工具与平台2.4典型数据标注技术2.6本章小结2.5数据标注工程1．如何理解人工智能与数据标注的关系？2．什么是数据标注？3．数据标注的对象包含什么？4．数据标注工程包括哪些环节？5．数据标注都有哪些应用工具？6．数据标注工具有哪些应用场景？7．数据采集方法有哪些？8．数据标注环节包括哪些内容？9．语音标注涉及的技术有哪些？10．图像标注涉及的技术有哪些？习题：人工智能技术应用核心课程数据标注工程——概念、方法、工具与案例第3章图像数据标注3.2关键点标注方法人工智能技术应用核心课程3.1图像数据标注简介3.3标注框标注方法3.4图像区域标注方法3.5本章小结3.6作业与练习目的：人类在学习某项新技能时需要一些学习资料，而标注后的图像数据相当于为计算机提供了学习资料，从而使得计算机能够学习到这些图像的特征信息，最终使得计算机具备处理图像数据的能力，图像数据标注为计算机视觉的研究提供了丰富的带有标签的图像数据，确保算法模型可以被有效训练。发展：斯坦福大学李飞飞教授在2007年开启的ImageNet项目，该项目标注了一千四百多万张图像，举办了八次图像任务挑战赛，吸引了全球的参赛队伍通过编写相关算法来完成分类、检测和定位等子任务。ImageNet项目的成功改变了算法为王的认知，逐步意识到数据才是人工智能的核心，数据比算法重要得多。常用开源数据集如下表所示：3.1.1图像数据标注的目的与发展3.1

图像数据标注简介第3章图像数据标注（1）图像数据标注中的角色：在图像数据标注中，用户的角色可以分为3类，分别是标注员、审核员和管理员。标注员负责对图像数据进行标注，审核员负责对标注好的数据进行审核，管理员负责对相关人员进行管理，并对标注任务进行发放及回收。（2）图像数据标注流程：图像获取->图像前处理->图像预识别->图像标注->结果输出。

①图像获取：项目不同图像的获取方式也不同，一般可通过现下采集，网络采集等方式获取所需的图像。

②图像前处理：对图像进行查重处理，将重复的图像删除。

③图像预识别：可通过特定的程序，先对数据做一个预标注，标注员只需校验标注结果即可，进而大幅提高标注效率。④图像标注：选择适合的标注工具，根据指定的规范要求进行标注。⑤结果输出：标注完之后，会根据数据的需求制定特定的数据输出格式。3.1.2图像数据标注规范3.1

图像数据标注简介第3章图像数据标注（3）图像数据标注工具：在进行标注任务时，首先要根据标注对象、标注要求和不同的数据集格式选择合适的标注工具，几个常用的图像数据标注工具如下图所示。目前常见的标注文档以XML或者JSON形式存储，少数情况下为TXT格式。3.1.2图像数据标注规范3.1

图像数据标注简介第3章图像数据标注图像数据标注产业的蓬勃发展为人工智能行业计算机视觉方向的兴起奠定了扎实的基础，不同行业对于数据的标注要求有所差异，其主要的适用场景包括以下几个方面：（1）自动驾驶：利用带有标签的数据集来对自动驾驶模型进行训练，使其对路面情况具备判断能力，并能做出相应的应对策略。标注内容包括路面中行人识别、车辆识别和道路识别等。（2）智慧医疗：主要包括对解剖部位或病变部位对应的点线面以及轮廓进行标记，如CT断层成像数据，需要根据病理特点标注肺部边界轮廓。（3）智能安防：通过对复杂条件下的人脸、道路、车辆、动作的数据采集与标注实现城市道路监控、车辆人流监测、公共安全防范等应用。3.1.3场景分类型图像数据标注3.1

图像数据标注简介第3章图像数据标注常见的图像数据标注类型包括关键点标注、矩形框标注、图像分割、3D框标注、属性标注等，根据项目所需分别对数据集进行不同的标注方式，不同标注类型所利用的标注工具和难度也有所区别。（1）关键点标注：关键点标注模板最大的应用即是对脸部的关键点进行标注，通过不同方位的关键点标注，可以判断图像上的人物的功能。关键点标注样例如图所示。3.1.4图像数据标注形式分类3.1

图像数据标注简介第3章图像数据标注嘴部关键点人体关键点人脸关键点（2）矩形框标注：矩形框标注是一种对目标对象进行目标检测框标注的简单处理方式，常用于标注自动驾驶下的人、车、物等。矩形框标注样例如图所示。3.1.4图像数据标注形式分类3.1

图像数据标注简介第3章图像数据标注路面车辆标注框标注文字识别标注（3）区域标注：区域标注指是指将图像分成各具特性的区域并提取出感兴趣部分的过程。区域标注包括开区域标注和闭区间标注。按照通用定义，区域标注需同时满足均匀性和连通性的条件，其中均匀性指的是该区域中的所有像素点都满足灰度、纹理、彩色灯特征的某种相似性准则；连通性是指在该区域内存在的链接任意两点的路径。与矩形框标注相比，其区域要求标注更加精确，标注边缘可以是多边形甚至是柔性的，常用于自动驾驶中的道路识别，标注示例如图所示。3.1.4图像数据标注形式分类3.1

图像数据标注简介第3章图像数据标注道路区域标注（4）属性标注：属性标注俗称打标签，是用一个或多个标签标注目标物的属性。一般是从既定的标签中选择数据对应的标签，是封闭集合。可以将不同的图片根据场景进行分类；也可以对目标进行性别、年龄、全身、着装等进行标注。3.1.4图像数据标注形式分类3.1

图像数据标注简介第3章图像数据标注目标类别属性标注（1）图像任务：指标注后的图像数据集主要为用在哪种分类算法中，具体可以分为：

①检测：使用矩形框、四边形框或者关键点，将目标物定位出来；②识别：综合多种标注形式（例如标框+关键点或者标框打标签），确认目标物的编码；③分类：通过属性标注，确认目标物或者目标场景的类别；④语义分割：使用图像区域分割工具，确定每一个像素的目标类别；⑤语义描述与理解：目前多数使用属性标注，在图像全局上更高层次的表达（例如审美、情感等）。3.1.5图像任务和数据标注的关系3.1

图像数据标注简介第3章图像数据标注（2）数据标注：图像数据的特征标注方法主要有：

①标注框标注：用矩形框、四边形框框选出目标物；②关键点标注：用一个或多个关键点标注目标物特定局部的位置；③区域标注：用开区域或闭区域分割出目标物的轮廓；

④属性标注（俗称打标签）：用一个或多个标签标注目标物的属性等。3.1.5图像任务和数据标注的关系3.1

图像数据标注简介第3章图像数据标注本小节总结了实际的图像数据标注中常用的术语，如下表所示。3.1.6图像数据标注的术语3.1

图像数据标注简介第3章图像数据标注第3章图像数据标注3.5本章小结人工智能技术应用核心课程3.2关键点标注方法3.3标注框标注方法3.4图像区域标注方法3.6作业与练习3.1图像数据标注简介关键点标注是指将需要标注的元素按照需求位置进行点位标识，从而实现关键点的识别。目前在各种应用场景中，需要对大量的待标注图片进行关键点标注，得到标注后的数据，然后使用所得的标注数据完成相应的任务。现阶段主要依靠人工的方式对大量待标注图像的关键点进行标注。关键点标注正如其字面含义，标注人员需要在规定的位置标注关键点，这类标注通常用于统计模型和姿势或脸部识别模型。统计模型借助关键点标注表示特定场景内目标物体的密度，例如商城人流统计模型。除此之外，姿势或面部识别模型借助关键点标注理解各个点在运动中的移动轨迹，通过不同方位的点标注，可以判断图片上人物的特定，从而实现更复杂的判断。3.2关键点标注方法第3章图像数据标注目前关键点标注常用于人脸识别，人体骨骼检测，手势确认等方面。随着人脸识别技术不断成熟，市场需求将加速释放，应用场景不断被挖掘。从社保领取到校园门禁，从远程的预授信到安检闸机检查，人脸识别正在不断打开各级应用市场。人脸识别应用的加速普及，行业也将呈现出新的发展趋势。人脸识别市场热度高涨，其应用场景得到跨越式发展的根本原因在于技术革新。深度学习将人脸识别的精确度提高到肉眼级别，极大丰富了人脸识别的应用场景。互联网银行远程开户的刚需将人脸识别带进了金融级应用场景；巨头频繁布局人脸识别赋予其更大的应用场景想象空间，同时培养用户“刷脸”习惯以及对技术的认可度，有利于产业进一步发展，多方的推动使得人脸识别应用得到爆发式发展。3.2.1关键点标注项目的应用及发展前景3.2关键点标注方法第3章图像数据标注关键点标注一般用于人体脸部轮廓、五官定位、身体部位和动物头像等，而关键点标注最大的应用即是对人脸轮廓、手部、人体的关键点标注。通过关键点标注，可以判断图片上的人物的功能。关键点标注样例如图所示。3.2.2关键点的标注内容3.2关键点标注方法第3章图像数据标注手掌21关键点标注人脸68关键点标注（1）数据命名格式说明：图片命名格式为：图片名称_性别_年龄_人种_戴帽状态_戴眼镜状态_背景。如：00091_女_少年_黄种人_戴帽子_戴普通无色眼镜_室内。（2）元数据处理说明：每张标注完成的图片均需要生成对应的数据标签，部分元数据如图所示。3.2.3标注结果数据格式3.2关键点标注方法第3章图像数据标注（3）数据存储结构：完整的数据存储结构如图所示。3.2.3标注结果数据格式3.2关键点标注方法第3章图像数据标注本部分以数据堂的关键点标注工具为样例进行介绍。点标注模板最大的应用即是对人脸的点标注。通过不同方位的点标注，可以判断图片上的人物的功能。常用的点标注包括人脸106关键点标注、手势21等关键点标注等，具体内容如下：①标注图片类型：常见人体脸部、五官、部位，动物头像；②关键点数量：常见18点、22点、64点、106点、128点；③点属性：可见点/不可见点，预估点；④图片属性：背景、角度、动作名称、性别等。3.2.4

关键点标注工具简介3.2关键点标注方法第3章图像数据标注（1）标注工具说明布局。标注页面分为三大区域，即画选区、工具区、标签区：

①画选区：该区域用来显示图片和具体的打标签；②工具区：显示所有在标注过程中放大缩小需要用到工具；③标签区（区分图层）：通过区分图层，显示标注的内容。3.2.4

关键点标注工具简介3.2关键点标注方法第3章图像数据标注（2）标注方式。①标注点，用鼠标点击鼻子，眼睛等部位进行标注，按顺序点击各个部位；②编辑点：点击标签列表区的器官对应编辑按钮，即可对标注过的点进行编辑；③删除点：点击标签列表区的器官对应的删除按钮，即可对标注过的点进行删除。

关键点标注界面如图所示。3.2.4

关键点标注工具简介3.2关键点标注方法第3章图像数据标注（3）关键点标注工具简介。标注工具的界面如图所示，界面上包含了一些按钮，通过点击这些按钮可以对标注图像进行必要操作。

3.2.4

关键点标注工具简介3.2关键点标注方法第3章图像数据标注（3）关键点标注工具简介。标注工具具体功能如表所示。

3.2.4

关键点标注工具简介3.2关键点标注方法第3章图像数据标注项目背景：作为嘴部识别应用软件的数据支持，进行图像处理。标注需求：标记出上下嘴唇的外交结点，上下内嘴唇的交接点，下嘴唇的等分点。关键点位置说明如下表所示。

3.2.5关键点标注案例分析：嘴部九个关键点3.2关键点标注方法第3章图像数据标注标注规范：特殊情况需要根据想象将图片上无法直观看到的位置进行补充，将关键点标注在预估的准确位置上。要求1、2点严格在嘴角上。3、4、5、6、7严格在下嘴唇外边缘的边界上，在某些唇色不明显或者嘴唇外边缘交界线不明显，可以把点往上画一点。在张大嘴的情况下1、2和8、9靠得很近，甚至是重合的，这就要求8、9不能超过1、2点。在嘴唇被遮挡的情况下，通过想象预估补画出相应的点，不用添加是否遮挡标志，如果图片中没有预标注结果，则本图跳过。标注截图如图所示。验收标准：关键点要尽量贴合，并且位置要符合实际情况，关键点标注准确率99%。标注输出：原图+JSON+效果图。3.2.5关键点标注案例分析：嘴部九个关键点3.2关键点标注方法第3章图像数据标注关键点标注虽然看起来比较简单，只要在需要标注的地方打点标注就行，但是实现起来难度非常大，在图片标注任务中属于高难度标注。首先是关键点的数量一般较多，在标注过程中需要搞清楚少则几个，多则上百个点所代表的含义，做得多就容易错得多。其次是判断标注合格的标准不是很明确，导致标注人员不能检查自己犯的错误，在这么多标注点的情况下，某一个点偏离了位置就不容易及时发现，毕竟人不是机器，靠肉眼找到两个点之间的等分点是非常有挑战的事情。在人脸关键点标注项目中，标注的人脸图片通常是二维图片的，但是