计算机视觉应用开发课件：基于U-Net的图像语义分割

基于U-Net的图像语义分割案例描述01任务案例目标02任务案例分析03任务案例实施04任务1案例描述1案例描述本案例学习如何搭建U-Net网络，训练Oxford-IIITPet数据，实现图像语义分割。2案例目标案例目标搭建U-Net全卷积神经网络；对Oxford-IIITPet数据集中的数据进行语义分割。23案例分析案例分析Oxford-IIIT宠物数据集是37个类别的宠物图像数据集，其中有犬类25类，猫类12类，每个类别大约有200张图像。图像在比例，姿势和照明方面有很大的差异。该数据集由图像、图像所对应的标签、以及对像素逐一标记的掩码组成。掩码其实就是给每个像素的标签。每个像素分别属于以下三个类别中的一个：类别1：像素是宠物的一部分；类别2：像素是宠物的轮廓；类别3：以上都不是（外围像素）。34案例实施4案例实施 1.加载Oxford-IIIT宠物数据集dataset,info=tfds.load(data_dir='data/oxford',name='oxford_iiit_pet:3.0.0',with_info=True)2.数据预处理

先将图像标准化到[0,1]范围内。像素点在图像分割掩码中被标记为{1,2,3}中的一个。为了方便起见，将分割掩码都减1，得到了以下的标签：{0,1,2}

input_image=tf.cast(input_image,tf.float32)/128.0–1随机的水平翻转了一些图片，用来扩充测试数据集。input_image=tf.image.flip_left_right(input_image)input_mask=tf.image.flip_left_right(input_mask)4案例实施3.数据集划分原始数据集已经划分好了训练集和测试集,所以也延续使用相同的划分。train=dataset['train'].map(load_image_train,num_parallel_calls=tf.data.experimental.AUTOTUNE)test=dataset['test'].map(load_image_test)对数据进行打乱分批处理train_dataset=train.cache().shuffle(BUFFER_SIZE).batch(BATCH_SIZE).repeat()train_dataset=train_dataset.prefetch(buffer_size=tf.data.experimental.AUTOTUNE)test_dataset=test.batch(BATCH_SIZE)4案例实施4.搭建U-Net网络base_model=tf.keras.applications.MobileNetV2(input_shape=[128,128,3],include_top=False)layer_names=['block_1_expand_relu',#64x64'block_3_expand_relu',#32x32'block_6_expand_relu',#16x16'block_13_expand_relu',#8x8'block_16_project',#4x4]升频取样模块up_stack=[pix2pix.upsample(512,3),#4x4->8x8pix2pix.upsample(256,3),#8x8->16x16pix2pix.upsample(128,3),#16x16->32x32pix2pix.upsample(64,3),#32x32->64x64]4案例实施model_history=model.fit(train_dataset,epochs=EPOCHS,steps_per_epoch=STEPS_PER_EPOCH,validation_steps=VALIDATION_STEPS,validation_data=test_dataset,callbacks=[DisplayCallback()])loss