人工智能+GIS技术专题课件

1、面向深度学习的遥感影像样例库背景0102030405解决方案-目标与任务样例数据-设计、生产与管理算法验证提 纲结论与展望背景1.1 自 然 影 像 机 器 识 别 技 术 进 展 机 器 学 习 技 术 快 速 发 展多伦多大学教授Hinton开启深度学习在学术和工业界应用Al人工智能持续发展“无50年代6080年代902000年代200620112016人工智能兴起提出图灵测试进入萌芽时代浅层学习模型兴起人工智能出现新的浪潮AlphaGo1.1 自 然 影 像 机 器 识 别 技 术 进 展 计 算 能 力 提 升 支 撑 了 机 器 学 习 的 发 展 互 联 网 数 据 的 增 长深

2、度 学 习 模 型 层 数 多 、 参 数 多 ， 需 要 更 高 的 计 算 能 力互联网数据的呈量级增长，满 人 工 智 能 对 影 像 的 解 译 -分 类深层卷积神经网络猫 分 类 分 割在 自 然 影 像 领 域 ， 深 度 学 习 在 计 算 机 视 觉 方 向 的 研 究 工 作 ，根 据 任 务 可 以 分 为 分 类 、 目 标 检 测 和 要 素 分 割 三 类 ；根 据 对 象 数 量 可 以 分 为 单 目 标 和 多 目 标 两 种 。 分 类 、 分 割 识 别人脸识别得到实际应用 基于深度学习的人脸识别方案，准确识别图片中的人脸信息，提供人脸属性识别、关键点定位、

3、人脸1：1比对、人脸1：N识别、活体检测等能力 远程身份认证 安防监控 身份辨识 人脸支付 人脸签到 高铁、机场，你已经被识别过 两 大 支 撑 影 像 样 本 /算 法 模 型面 向 自 然 影 像 的 进 展-ImageNet为 代 表 的 数 据 集 极 大 地 促 进 了 机 器 视 觉 技 术 发 展ImageNet数据集从互联网搜集1400多万幅图片，涵盖2万多个类别；其中有超过百万的图片有明确的类别标注和图像中物体位置标注。 两 大 支 撑 影 像 样 本 /算 法 模 型准确分类与分割需要优秀的算法模型（ AlexNet ，VGG，GoogleNet，ResNet FCN）同一

4、模型的参数优化对结果有明显影响2010年开启基于ImageNet数据集的深度学习年度挑战赛，短短七年时间，识物体的最高准确率从71.8%提升至97.3%，超过了人类的识别水平。 成功训练一个深度网络需要大量已标注的训练样本 准确分类、分割、识别研究对象需要优秀的算法模型引自： Long,J Fully Convolutional Networks for semantic Segmentation由于观测高度、角度、相机等方面的差异自然目视影像的样例数据不能用在地表遥感影像平视俯视1.2 面向地表遥感影像的可喜尝试-几个科学数据集1 / 3 UC Merced_LandUse数据集（Yang

5、and Newsam, 2010） UC、美国地质勘探局 从美国波士顿等19个不同城市地区大量卫星影像中通过人工收集和提取 影像的分辨率为0.3米，大小为300M左右。包含21个不同的土地利用类型，为农业，飞机，棒球场地，海滩，建筑物，丛林，密集住宅，森林，高速公高尔夫场，港口，交叉口，中密度住宅，立交桥，停车场，河流，跑道，稀宅，储罐和网球场等 每个类由100个具有256256像素尺寸的图像组成1.2 面向地表遥感影像的可喜尝试-几个科学数据集2 / 3 SAT-4和SAT-6数据集（Basu et al., 2015） Louisiana State University， NASA 从N

6、AIP（ National Agriculture Imagery Program）收集加利福尼亚州的两个区业遥感影像 SAT-4由裸露地、草地、林地、其他类4个类别， 500,000张影像； SAT-6由裸露地、草地、林地、道路、建筑物、水体6个类别，405,000张影像 影像尺寸的大小均为28281.2 面向地表遥感影像的可喜尝试-几个科学数据集3 / 3 RSI-CB数据集（Haifeng Li et al., 2017）(remote sensing image classification bench 中南大学和武汉大学团队 基于众包数据（OpenStreetMap）以及 bing

7、地图和 google 地图的影像采集 其影像分辨率在0.22米至3米之间，数据集采用两种不同的影像尺寸，分别为和128128，并由此命名为RSI-CB256和RSI-CB128。 RSI-CB256 35个子类别，超过24,000张图像 RSI-CB128 45个子类别，超过36,000张图像 在中国土地利用分类标准的基础上采用分级分类体系，有6大类：农业用地、设施、交通及设施、水体及水资源保护设施、林地、其他土地利用1.3 小 结数据集名称 类别 样例大小 样例数量 构建方法数据源UC100/个 每类19美国波士顿等 个不同城市地区大量卫星影像21 256 256手工选取或标注Merced_

8、LandUseSAT-4500,0004州两个区域农业影像当前，采用深度学习模型和大样例库开展自然影像的对象识别penStreetMap）ogle地图的影像应用；对于地表遥感影像的识别也有一些可喜的尝试。但很多于样例分类和样例库规模等因素，制约着深度学习在遥感影像需求广泛应用。解决方案目标与任务2.1 我 们 的 方 案2.1 我 们 的 方 案 面向深度学习算法和模型，采用基础测绘、地理国情和监测数据成果，开展地表影像大数据样例生产。 构建样例库，成为时空大数据与云平台的重要科学数 在此样例库基础上，采用深度学习算法建立模型，开象识别与分割工作。2.1 我 们 的 方 案航空摄影获取影像基

9、础 测 绘 、 普 查 成 果 是 可 靠 的 样 例 数 据人工目视解译影像采集要素 地类的标识由现场调绘完成外业核查 数据的生产具有完整的质量控制体系数据类型基础测绘基础测绘时期十一五十二五第一轮十二五第二轮数据量 海量的数据积累266074702861761228814558119981481081441412193618 江苏省测绘地理信息局基础测绘201520162017地理国情普查地理国情监测地理国情监测年年年 生产更新4期1:1万省级基础测绘数据 2015年地理国情普查数据 2016/17地理国情监测数据。2.2 目 标 与 任 务 目标在充分分析深度学习算法模型对遥感影像样例数

10、据需求基础上，结合目已有的基础测绘和地理国情普查、监测数据成果，研究面向深度学习的感影像样例数据生产方法和工具，构建包含时空信息的、多数据源、多尺度的江苏省遥感影像样例数据并建立样例库，在此基础上开展地表对象识别与分割，为深度学习在测绘地理信息行业深度应用打坚实基础。2.2 目 标 与 任 务 基于以上目标将项目分解为以下几个主要任务： 调研目前已有深度学习算法在影像解译领域的应用方向和算法对样例的需求，样例数据规范或标准； 分析已有的基础测绘数据、地理国情普查与监测数据采集标准、采集方式，制例数据分类体系和样例数据生产方法； 基于样例数据标准和生产方法，开发样例数据生产工具； 利用工具生产样

11、例数据，形成样例数据库； 开发自动解译居民地（房屋面）的深度学习影像解译算法，基于样例库和解译自动解译2017年遥感卫星影像。样例数据设计设计、生产与管理3.1 样 例 设 计样例大小样例规模样例类别样例类简平衡3.1 样 例 设 计 样例大小不同的算法实现会对图片大小有要求，因为每个模型的实现方式并不固定，而且考虑到深度学习从影像中提取特征是从低层到高层，分别对应边缘特征、局部特征、整体特征，以及在输入模型之前可以对图片进行任意预处理等因素，我们认为：样例需要能够体现地物的全部特征，大小可以不固定。3.1 样 例 设 计 样例规模吴恩达曾经说过：做AI研究就像造宇宙飞船，除了充足的燃料之外，

12、强引擎也是必不可少的。假如燃料不足，则飞船就无法进入预定轨道。而不够强劲，飞船甚至不能升空。类比于AI，深度学习模型就好像引擎，海量的训练数据就好像燃料，这两者对于AI而言同样缺一不可。所以，样例数据越多越好，规模越大越好。3.1 样 例 设 计 样例类别样例类别和算法最终要解决的问题相关，样例类别选取应以需求为向，综合考虑已有数据、生产难度和算法实现可能性三个因素。 样例类间数量瑞典皇家理工学院的Paulina Hensman研究过样例类别间数量不平会对卷积神经网络的分类结果产生明显影响，所以数据类的样本数量应尽量平衡，不能差距太大。3.2 样 例 生 产 数 据 分 析 基础测绘数据与国情

13、数据对比分析对比项基础测绘数据地理国情数据版本2015年普查数据、2016年和2017年监测数据，十五、十一五、十二五第一轮、十二五第二轮，共四个版本共三个版本影像情况分类情况十五：1米卫片；十一五:0.5米航片；十二五两轮：0.3米航片2015年普查：0.3米航片；2016年监测：1米卫片；2017年监测：1米卫片定位基础、水系、居民地、交通、管线、境界与政区、地貌、植被与土质、地名及注记，九大类种植土地、林草覆盖、房屋建筑（区）、铁路与道路、构筑物、人工堆掘地、裸露地表、水域、地理单元、地形，十个一级类要素类型采集原则每一类数据根据上图指标分为点、线、面三种地表覆盖全部为面状数据；重要国情

14、要素数据由点、线、面三种组成，点状要素非常少以地图制图为主要原则之一，对上图信息进行综合取舍，位置精度要求高，属性项较少，不能完全反映真实世界面向信息统计，较少考虑出图，尽可能反映真实世界，较少的综合取舍，重要国情要素属性信息丰富3.2 样 例 生 产 数 据 分 析 基础测绘数据与国情数据对比分析序号 基础地理信息分类国情普查类别123定位基础水系基础测绘数据和地理国情数据分在交叉，需要做出选取。水域居民地及设施房屋建筑（区）、构筑物、人工堆掘地、裸露属、基础测绘和地理国情数据，是良好的样例生产数据源。要、不是所有的基础测绘和地理国情矢量数据，都适于生产样例数生需要选择性使用、制定不同策略3

15、.3 小 结 样例大小 样例规模 样例类别 样例体现地物的全部特征，大小不固定 样例数据越多越好，规模越大越好。1200万 样例类别选择要综合考虑已有数据、生产难度和算法实 8个大类，66个二级类，123类（三级） 样例类间平衡 尽量平衡团队数据集名称样例类别 样例大小 样例规模方法UCUC（Yang andNewsam, 2010）Merced_LandUseUniversity ofCalifornia100个/每类美国波士顿等 个不同城19市地区大量卫星影像人工收集和提取21 256 25500,000NAIP（ NationalAgriculture Imagery和提取 Progra

16、m）加利福尼亚州两个区域农业遥感影像SAT-4SAT-646Louisiana StateUniversity， NASA人工收集2828405,00036,00024,00012812RSI-CB128RSI-CB25645基于众包数据人工收集8中南大学武汉大学（OpenStreetMap）以及bing地图和google地图的影像25625和提取63512，000，123我们不固定卫星 航摄影像0003.4 样 例 管 理 -样 例 库 功 能 模 块面向深度学习的遥感影像样例库 样例数据管理系统面向样例使用人员提供样例查询、下载功能，样例生产人员提供新样例生产、清洗功能，管理人员提供统计、

17、分析功能。新增新时期样本新增旧时期样本映射文件管理样本查询样本清洗模型使用模型介绍样本统计角色管理3.4 样 例 管 理 -样 例 库 功 能 模 块关于模型 构建 上载 使用 管理模型验证建筑物识别与分割 本项目中使用到的语义分割算法的主干网络是U-Net网络。 它是一种编码器-解码器结构,编码器逐渐减少池化层的空间维度，解码器逐步修复物体的细节和空间维度。编码器和解码器之间通常存在快捷连接，因此能帮助解码器更好地修复目标的细节。因为结构上的对称性所以形如大写的英文字母U，故称为U-Net网络。引自：Olaf.R U-Net: Convolutional Networks for Biome

18、dical Image Segmentation分 类 与 分 割 结 果城 市 地 区 27平 方 公 里时 间 11秒分 类 与 分 割 结 果集 镇 地 区 27平 方 公 里时 间 13秒变化检测 2012-2017年同一地区居民地影像分析结果对比该区域总面积28.4平方公里 2012年居民地占比17.9% 2014年居民地占比20.9% 2016年居民地占比17.6% 2017年居民地占比17.3%2014年0.3米航片解译 VS 十二五（2013年）基础测绘两者面积相差2.9%总结与展望意义在哪里？ 快速变化率获取未来测绘工作的新机遇与新挑战？ 在一个影像周期内，快速获得同一对象的

19、变化率，如建筑物的变化率以及变在哪里？ 江苏省第一次地理国情普查公报：建筑物占比：9.6% 直接在第一线参与第一次地理国情普查人员约300人，历时1年半时间。 今天是多少？ 4000幅*1分钟/幅 3天 N 数据产品 快速更新地理信息 自然资源变化率发现 对象几何化 - 获得矢量数据 山水林田湖草海总 结 与 展 望 摸索出一套基于测绘已有数据生产面向深度学习的遥感影像样例数建了包含 个大类、6 个二级类、12 个三级类的遥感影像样例分 尝试以建筑物为研究对象，开展建筑物识别模型构建，初步成果令 遥感影像样例数据将作为智慧江苏时空大数据云平台的一个特色数院所、企事业单位和有兴趣做深度学习研究的

20、个人 学者开放，共在测绘领域的深层应用。 大家一起来做，形成国家完整的地理对象样本大数据集。 大家一起来做，逐步完善并积累各类遥感影像识别模型。张浩李明巨刘昱君石善球李璐王丹感 谢 关 注李明巨江苏省基础地理信息中心Esri中国信息技术有限公司 AI架张健Geo.AI当ArcGI 遇见人工智能张健 A 架构师Es 中国信息技术有限公司人工智能带来巨大的行业机遇空间科学 人工智能Geo.AIGeo.AI数据算法/模型应用矢量数据遥感数据空间分析/统计集成深度学习框架对接人工智能平台国土农业金融商业数据人行道覆盖税收包裹登记基础底图天然的机器学习样本库影像数据矢量数据数据丰富的样本制作工具影像数据

21、矢量数据深度学习算法与模型专业的空间分析工具灵活的第三方人工智能框架及服务ArcGIS的机器学习工具地理处理工具分类 最大似然分类 随即森林 支持向量机空间分析/统计ArcGIS机器学习预测聚合 空间约束多元聚类 多元聚类 经验贝叶斯克立格 面插值 基于密度的聚类 图像分割 EBK 回归预测 普通最小二乘回归 地理加权回归 基于随机森林的分类与回归 热点分析 聚类和异常值分析 时空挖掘分析ArcGIS与人工智能平台融合MicrosoftArcGISArcGIS与深度学习人工智能行机器学习深度学习ArcGIS与深度学习框架集成ArcGIS中国最大的人工智能独角兽企业SenseRemote商汤人工

22、智能遥感解译马灵霞 高级产品经理深度学习三大核心要素 海量数据超级计算AI在商汤：GPU硬件超算集群8000块GPU计算卡，10个GPU集群，最大规模连接800块GPUAI在商汤：自建原创深度学习平台Parrots开源平台商汤自建平台 Berkeley 出品 Facebook 出品 Google 出品 商汤科技出品 对单机多GPU的有限 对分布式训练的支持比 支持单机多GPU和分 支持超深网络支持较弱布式训练 超大数据学习及复杂关联 不支持分布式训练 非常灵活，但是以写底层代码为代价，生产力低 显存使用过高，性能应用欠佳？不支持大数据量的分布式训练计算效率低、效果不理想不提供最新算法迭代成果技

23、术发展受制，IP问题等可支持分布式训支持更复杂建模使用开源平台将受制于人自建平台是实现算遥感影像解译的特殊性不能直接支持遥感多波段、不能直接支持遥感数据尺寸精度差，不能直接满足遥感训练耗时长；基于VOC、COCO、ImageNet等数据集上直接finetune的VGG、GoogLeNet、ResNet等结构网络并不能很好的适用于遥感数据处理。处理速度慢；AI在商汤：遥感影像深度学习模型数据普适Data设计适用于8bit、16bit 全色、RGB、多光谱、高光谱多data_convBNBNReLuReLuDROPconv1-1conv1-2BNBNReLuReLudata_fcdata_ms种数据普适模型pooling1遥感专用p1_convp1_fcBNBNReLuReLuDROPp1_msconv2-1conv2-2BNBNReLuReLu设计多种场景专用模型，比如道路、河流类线状地物；云pooling2p1_interp雪类易混淆面状地物；复杂场景下的飞机、舰船等微小目标；多时相数据变化检测模型p2_convp2_fcBNBNReLuReLuDROPp2_mspooling3p1_interp模型压缩p3_convp3