计算机视觉应用开发课件：有监督的图像增强

有监督的图像增强单样本图像增强01任务多样本图像增强02任务学习目标掌握单样本图像增强的方法

掌握多样本图像增强的方法1单样本图像增强1单样本图像增强按照有无图像作为参考依据，图像增强也可分为有监督的图像增强和无监督的图像增强。有监督图像增强，即采用预设的图像变换规则，在已有图像的基础上进行图像的扩增，包含单样本图像增强和多样本图像增强。单样本图像增强主要有几何操作、颜色变换、随机擦除、添加噪声等方法。1、裁剪裁剪有两种扩种方式，一种是对大尺寸的图像直接按照需要送入网络的尺寸进行裁剪；另外一种是将随机裁剪固定尺寸大小的图片，然后再将图像通过插值算法调整到网络需要的尺寸大小。由于数据集中通常数据大小不一，后者通常使用的较多。使用OpenCV进行图像裁剪：img_crop=img[new_h:new_h+512,new_w:new_w+512,:]1单样本图像增强2、翻转和旋转翻转和旋转都是将原始的图像像素在位置空间上做变换，图像的翻转是将原始的图像进行镜像操作，主要包括水平镜像翻转，垂直镜像翻转和原点镜像翻转。角度旋转操作和图像镜像相对，它主要是沿着画面的中心进行任意角度的变换，该变换是通过将原图像和仿射变换矩阵相乘实现的。OpenCV实现图片翻转：h_flip=cv2.flip(img,1)#水平镜像v_flip=cv2.flip(img,0)#垂直镜像hv_flip=cv2.flip(img,-1)#水平垂直镜像OpenCV实现图片旋转：M_rotation=cv2.getRotationMatrix2D((w/2,h/2),angle,1)#计算仿射变换矩阵img_rotated=cv2.warpAffine(img,M_rotation,(w,h))#得到旋转后的图像1单样本图像增强仿射变换矩阵是一个余弦矩阵，在OpenCV中有实现的库cv2.getRotationMatrix2D(center,angle,scale)可以使用，该函数的center参数是旋转中心，angle参数是逆时针旋转角度，scale参数是缩放倍数，对于只是旋转的情况参数值是1，返回的值就是做仿射变换的矩阵。然后通过cv2.warpAffine()将原图像矩阵乘以旋转矩阵得到最终的结果。通过上述的操作，旋转的图像会存在黑边，如果想去除掉图片的黑边，需要将原始的图像做出一些牺牲。对旋转后的图像取最大内接矩阵，该矩阵的长宽比和原始图像相同，如图中所示。要计算内切矩阵的坐标Q,需要通过旋转角度和原始图像矩阵的边长OP得到。1单样本图像增强3、缩放图像可以向外或向内缩放。向外缩放时，最终图像尺寸将大于原始图像尺寸，为了保持原始图像的大小，通常需要结合裁剪，从缩放后的图像中裁剪出和原始图像大小一样的图像。另一种方法是向内缩放，它会缩小图像大小，缩小到预设的大小。OpenCV实现图片缩放：img=cv2.resize(img,(512,512))4、移位移位只涉及沿X或Y方向（或两者）移动图像，mat_shift代表移动的坐标，分别记录沿X方向和Y方向移动的距离。OpenCV实现图片移位：mat_shift=np.float32([[1,0,100],[0,1,200]])img_1=cv2.warpAffine(img,mat_shift,(h,w))1单样本图像增强5、高斯噪声基于噪声的数据增强就是在原图片的基础上，随机叠加一些噪声，最常见的做法就是添加高斯噪声。OpenCV实现图片增加高斯噪声：noise=np.random.normal(mean,var**0.5,image.shape)img=image+noise6、色彩抖动色彩抖动主要是在图像的颜色方面做增强，主要调整的是图像的亮度，饱和度和对比度。工程中不是任何数据集都适用，通常如果不同背景的图像较多，加入色彩抖动操作会有很好的提升。2多样本图像增强多样本图像增强多样本增强是通过先验知识组合及转换多个样本，主要有Smote、SamplePairing、Mixup等方法在特征空间内构造已知样本的邻域值。1、Smote(SyntheticMinorityOver-samplingTechnique)Smote方法较常用于样本均衡学习，核心思想是从训练集随机同类的两近邻样本合成一个新的样本，其方法可以分为三步：1）对于各样本

，计算与同类样本的欧式距离，确定其同类的K个近邻样本；2）从该样本k近邻中随机选择一个样本如近邻

，生成新的样本；3）重复2步骤迭代N次，可以合成N个新的样本。2多样本图像增强Python程序中可以通过调用fromimblearn.over_samplingimportSMOTE来实现Smote数据增强。smote=SMOTE()x_train_res,y_train_res=smote.fit_resample(x_train,y_train)2多样本图像增强2、SamplePairingSamplePairing算法的核心思想是从训练集随机抽取的两幅图像叠加合成一个新的样本（像素取平均值），使用第一幅图像的label作为合成图像的正确label。2多样本图像增强3、mixupmixup算法的核心思想是按一定的比例随机混合两个训练样本及其标签，这种混合方式不仅能够增加样本的多样性，且能够使决策边界更加平滑，也增强了难例样本的识别，模型的鲁棒性得到提升。其方法可以分为两步：1）从原始训练数据中随机选取的两个样本()和()。其中y（原始label）用one-hot编码。2）对两个样本按比例组合，形成新的样本和带权重的标签：最终的loss为各标签上分别计算cross-entropyloss，加权求和。2多样本图像增强4、cutmixcutmix作为mixup的改进版数据增强工具，解决了mixup算法的一些短板。cutmix和mixup的区别是，混合位置是采用hard0-1掩码，而不是soft操作，相当于新合成的两张图是来自两张图片的hard结合，而不是mixup的线性组合。但是其lab