Python图像处理与机器视觉入门 课件汇 李钦 第11-23章 卷积与相关 - 视频处理

图像处理技术第十一章

卷积与相关前置知识：高数连续函数的积分

1-1卷积与相关前置知识：高数连续函数的积分≈离散求和（分成无限份）

1-1卷积与相关互相关：互相关是描述f(s)、g(t)在任意两个不同时刻s，t的取值之间的相关程度连续函数（积分）离散函数（求和）

1-1卷积与相关自相关：f(s)=g(t)连续函数（积分）离散函数（求和）

1-1卷积与相关自相关就是函数和函数本身的相关性，即f(x)=g(t)，当函数中有周期性分量的时候，自相关函数的极大值能够很好的体现这种周期性。

1-1卷积与相关互相关就是两个函数之间的相关性，当两个函数都具有相同周期分量的时候，它的极大值同样能体现这种周期性的分量。

1-1卷积与相关（1）相关（2）卷积f(x)为原图（原信号），g(x)为滤波器

1-1卷积与相关（1）相关（2）卷积f(x)为原图（原信号），g(x)为滤波器

1-1卷积与相关卷积中，g(t)需要反转反转示例（沿着n轴对称反转）

1-1卷积与相关反转示例

1-1卷积与相关反转示例

1-1卷积与相关反转示例

1-1卷积与相关一维卷积示例

1-1卷积与相关f(t)g(t)R(t)一维卷积示例

1-1卷积与相关f(t)g(t)R(t)一维卷积示例

1-1卷积与相关f(t)g(t)R(t)一维卷积示例

1-1卷积与相关f(t)g(t)R(t)一维卷积示例

1-1卷积与相关f(t)g(t)一维卷积示例

1-1卷积与相关f(t)g(t)重叠求和R(t)一维卷积示例

1-1卷积与相关f(t)g(t)重叠求和R(t)

1-1卷积与相关本课程中所有的图像滤波操作统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]f(x)为原图(原信号)，g(x)为滤波器，R(x)就是输出的目标图像此时，f(x)是一维单通道图像矩阵，

g(t)是滤波器（可视为已经反转）

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈?

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[?1237894567?],

x=-1x=10

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[?1237894567?],插值，有哪些插值？

x=-1x=10

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]

x∈[0,9]，t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

x=-1x=10

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(0)=sum(f(0+t)g(t))t∈[-1,1]

=f(0-1)g(-1)+f(0+0)g(0)+?x=-1x=10

1-1卷积与相关统一使用：例：f(x)=[1237894567],x∈[0,9]

g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(0)=sum(f(0+t)g(t))t∈[-1,1]=f(0-1)g(-1)+f(0+0)g(0)+f(0+1)g(1)=1*1+1*1+2*1=4x=-1x=10

1-1卷积与相关统一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(1)=sum(f(1+t)g(t))t∈[-1,1]=f(1-1)g(-1)+f(1+0)g(0)+f(1+1)g(1)=?x=-1x=10

1-1卷积与相关统一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(1)=sum(f(1+t)g(t))t∈[-1,1]=f(1-1)g(-1)+f(1+0)g(0)+f(1+1)g(1)=1*1+2*1+3*1=6x=-1x=10

1-1卷积与相关统一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(2)=sum(f(2+t)g(t))t∈[-1,1]=f(?-1)g(-1)+f(?+0)g(0)+f(?+1)g(1)=?x=-1x=10

1-1卷积与相关统一使用：例：g(t)=[111],t∈[-1,1]x+t∈[0-1,9+1]=[-1,10]f(x+t)=[112378945677],最近邻插值

R(3)=sum(f(3+t)g(t))t∈[-1,1]=f(?-1)g(-1)+f(?+0)g(0)+f(?+1)g(1)=?x=-1x=10

1-1卷积与相关统一使用：例：

1-1卷积与相关练习1：

1-1卷积与相关二维卷积示例（滑动乘积后求和）

1-1卷积与相关二维卷积示例（滑动乘积后求和）g(x)f(x)

1-1卷积与相关二维卷积示例（滑动乘积后求和）f(x)插0值

1-1卷积与相关二维卷积示例（滑动乘积后求和）f(x)*g(x)

0*1+0*1+0*(-1)+1*(-1)=-1

1-1卷积与相关二维卷积示例（滑动乘积后求和）f(x)*g(x)

0*1+0*1+1*(-1)+2*(-1)=-3

1-1卷积与相关二维卷积示例（滑动乘积后求和）f(x)*g(x)

0*1+1*1+0*(-1)+2*(-1)=-1

1-1卷积与相关二维卷积示例（滑动乘积后求和）f(x)*g(x)

1*1+2*1+1*(-1)+2*(-1)=0

1-1卷积与相关高通滤波：边缘提取与增强低通滤波：边缘平滑边缘区域的灰度变换加大，也就是频率较高。所以，对于高通滤波，边缘部分将被保留，非边缘部分将被过滤；对于低通滤波，边缘区域将被平滑过渡

1-1卷积与相关降噪，去除高频噪声f(x)g(x)R(x)

1-1卷积与相关锐化，获取高频分量、获取边缘

1-1卷积与相关练习2二维卷积练习（滑动乘积后求和）f(x)=[11

22]g(x)=[-1-1

11]图像处理技术、杨耿图像处理技术第十二章

图像降噪

1-2图像降噪（1）经典低通模型：平均滤波

1-2图像降噪（2）高斯滤波（积分）一维高斯

1-2图像降噪（2）高斯滤波

1-2图像降噪（2）高斯滤波

1-2图像降噪（2）高斯滤波生成一个sigma=1.8，滤波器窗口长度为3的高斯核。首先，建立局部直角坐标系，窗口为3的高斯核每个点的坐标如下。代入公式

1-2图像降噪（2）高斯滤波生成一个sigma=1.8，滤波器窗口长度为3的高斯核。

1-2图像降噪（2）高斯滤波生成一个sigma=1.8，滤波器窗口长度为3的高斯核。

1-2图像降噪（2）高斯滤波生成一个sigma=1.8，滤波器窗口长度为3的高斯核。对m(i,j)做归一化，将所有m(i,j)除以sum(m(i,j)),得到归一化后的高斯核M(i,j)。

1-2图像降噪（3）中值滤波练习6

1-2图像降噪中值滤波对比平均滤波

1-2图像降噪中值滤波对比平均滤波

1-2图像降噪中值滤波对比平均滤波消除噪声同时变模糊

1-2图像降噪练习，编写代码，实现均值滤波、高斯滤波、中值滤波图像处理技术、杨耿图像处理技术第十三章

图像锐化

1-3图像锐化（1）导数（微分）

连续函数的导数

1-3图像锐化（1）导数（微分）

连续函数的导数离散函数的导数f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3图像锐化（1）导数（微分）

连续函数的导数离散函数的导数f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3图像锐化（1）导数（微分）

连续函数的导数离散函数的导数f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3图像锐化（1）导数（微分）

连续函数的导数离散函数的导数f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?

1-3图像锐化（1）导数（微分）

连续函数的导数离散函数的导数f'(n)=f(n+1)-f(n)/(n+1)-nf'(x)=df(x)/dxf'(n)=df(n)/dn=?f''(n)=?

1-3图像锐化（1）导数（微分）

1-3图像锐化（1）导数（微分）练习7

1-3图像锐化（2）经典高通滤波模型

1-3图像锐化（2）Sobel算子偏导数概念

1-3图像锐化（2）Sobel算子描述了该方向的变化情况y方向，水平边缘x方向，竖直边缘该算子包含两组3x3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度差分近似值

1-3图像锐化（2）Sobel算子原函数的一阶导数在原函数平滑处取零值，在原函数的“边缘”处取极值。所以，图像边缘增强可由图像求导来实现。

1-3图像锐化（2）Sobel算子原函数与高斯函数一阶导数的卷积如下图所示，可知，卷积的结果与求导非常相似，所以可以利用卷机操作来取代求导。

1-3图像锐化（3）拉普拉斯算子二阶偏导数

一阶偏导数的导数—描述了一阶偏导数在某方向变化情况

二阶混合偏导数—描述了一阶偏导数的两个方向变化叠加

1-3图像锐化（3）拉普拉斯算子原函数的二阶导数在原函数平滑处取零值，在原函数的“边缘”处取极值。所以，图像边缘增强也可由图像求二阶导数来实现。

1-3图像锐化（3）拉普拉斯算子原函数与高斯函数二阶导数的卷积如下图所示，可知，卷积的结果与求导非常相似，所以可以利用卷机操作来取代求导。

1-3图像锐化（3）拉普拉斯算子

1-3图像锐化锐化算子比较

1-3图像锐化练习，编写代码，实现Sobel和拉普拉斯滤波图像处理技术与应用、杨耿图像处理技术与应用第14章

频率域图像增强

1-1傅里叶变换

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换时域，空间域频域

1-1傅里叶变换

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换时域，空间域频域定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换定理1：世界上一切信号，都可以分解为一系列正弦以及余弦信号的加权和。

1-1傅里叶变换图像处理技术与应用、杨耿图像处理技术与应用第五章

频率域图像增强

1-2离散余弦变换定理1简化版：世界上一切信号，都可以分解为一系列余弦信号的加权和。

1-2离散余弦变换定理1简化版：世界上一切信号，都可以分解为一系列余弦信号的加权和。

1-2离散余弦变换DC1DC2DC3DC1+2+3fx=0.9*cos(x)+0.8*cos(3*x)+0.9*cos(9*x);

1-2离散余弦变换时间域频率域DC1DC2DC3f（x）=DC1+2+3C(u)

1-2离散余弦变换

1-2离散余弦变换练习1：编程实现下面的一维离散余弦变换，调整信号采样率，观察不同采样率下的离散余弦变换。注意：采样率过低，某些频率无法分解，采样率过高，计算耗时

1-2离散余弦变换

Ts

1-2离散余弦变换采样定理采样频率fs=1/Ts=Ns/T（样本/秒）

Ts

是采样间隔，T是信号周期，Ns是采样个数采样率越高，则越能重构连续信号，为保证采样后信号的频谱形状不失真，采样频率必须大于信号中最高频率成分的2倍，这称之为采样定理这就是为什么采样点数越多，越平滑的原因fx=0.9*cos(x)+0.8*cos(3*x)+0.9*cos(9*x);

1-2离散余弦变换f(x)中，最高频率成分是cos9x，其周期为2pi/9秒，则采样间隔需小于pi/9秒。

1-2离散余弦变换采样周期Ts越大，采样点数Ns越少，采样频率fs越低，则重构的信号会失真变形

1-2离散余弦变换离散余弦（DCT）变换实现图像压缩（去燥）:(1)设T=1，将小于T的C(u)值都置为零，则(2)对f(x)进行重建

1-2离散余弦变换离散余弦（DCT）变换实现图像压缩（去噪）设T=1，将小于T的C(u)值都置为零，则练习2：调整T值，观察不同的压缩率和误差率

1-2离散余弦变换原始信号T=0，压缩率0，误差0T=1，压缩率70%，误差3.5

1-2离散余弦变换练习3：二维离散余弦（DCT2）变换实现图像压缩（去燥）:将一维DCT进行二维推广调整压缩率，观察不同的压缩效果图像处理技术与应用、杨耿图像处理技术与应用第16章

频率域图像增强

1-3小波变换

1-3小波变换

1-3小波变换

1-3小波变换（1）一维小波

1-3小波变换

1-3小波变换

1-3小波变换（2）二维小波

1-3小波变换（2）二维小波

1-3小波变换（2）二维小波

1-3小波变换（2）二维小波

1-3小波变换（2）二维小波

1-3小波变换练习：编程实现小波分解

1-3小波变换（2）Haar小波行小波变换b00=(a00+a01)/2(均值）b01=(a02+a03)/2

b02=(a00-a01)/2（差分）

b03=(a02-a03)/2a00b00a03b03

1-3小波变换（2）Haar小波

1-3小波变换（2）Haar小波练习2:对下面的图像进行haar小波变换【4321579133465231】

1-3小波变换在图像处理中，通过去除高频信息，小波变换可用于图像压缩及去噪。练习3:编程实现小波压缩

1-3小波变换小波变换也可用于图像的边缘提取，提取的过程如下：(1)将数字图像利用小波变换分解为N层；(2)初始化：n=N;(3)将第n层的高频细节HL、LH、HH相加并上采样，得到第n层的高频细节；(4)将第n-1层的高频细节HL、LH、HH相加并与第n层的高频细节相加，然后上采样，得到第n-1层的高频细节；(5)重复（3）-（4）直至n=1,则得到数字图像的边缘信息。练习4:编程实现小波边缘提取图像处理技术与应用图像处理技术与应用第17章

图像特征提取本章大纲1-1主元分析（PCA）1-2线性分辨分析（LDA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从2维降到1维的情况。

1-1主元分析（PCA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从3维降到2维的情况。

1-1主元分析（PCA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从2维降到1维的情况。

1-1主元分析（PCA）（2）PCA降维的步骤：

1-1主元分析（PCA）数据的类别：类别2该类别下的索引：类别2下的第一个数据（2）PCA降维的步骤：第1步：对识别目标进行向量表达。下面有4个2维向量，可以理解为4副两个像素的图像，也可理解为实际的值，例如4个人的身高和体重。

1-1主元分析（PCA）（2）PCA降维的步骤：第1步：对识别目标进行向量表达。

1-1主元分析（PCA）第2步：计算数据中心。

1-1主元分析（PCA）

1-1主元分析（PCA）第2步：计算数据中心。第3步：计算总体散度矩阵

1-1主元分析（PCA）第3步：计算总体散度矩阵

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第5步：特征向量重要性分析

1-1主元分析（PCA）第6步：投影

1-1主元分析（PCA）练习1，对下面4个向量进行PCA降维

1-1主元分析（PCA）图像特征提取指的是从图像中提取有用的数据或信息，得到图像的“非图像”的表示或描述，如数值、向量等。提取出来的这些“非图像”的表示或描述就是特征。有了这些数值或向量形式的特征，我们就可以实现图像的匹配，使得计算机具备图像识别的功能。两幅数字图像进行匹配时，通常需要先转换成向量的形式。向量可以理解为一个1维数组，该数组可由原始图像简单拼接构成，数组中元素的个数一般称为向量的维度。例如，一个100×100像素的图像可转换为一个1万维的向量。两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，仅保留有效的特征

1-1主元分析（PCA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从2维降到1维的情况。

1-1主元分析（PCA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从3维降到2维的情况。

1-1主元分析（PCA）（1）降维：两个向量如果纬度过高（1万，100万），则匹配误差会增高、匹配速度会降低，需要对象量进行降维，即是说删除一些对识别无用的维度，下图展示了向量从2维降到1维的情况。

1-1主元分析（PCA）（2）PCA降维的步骤：

1-1主元分析（PCA）数据的类别：类别2该类别下的索引：类别2下的第一个数据（2）PCA降维的步骤：第1步：对识别目标进行向量表达。下面有4个2维向量，可以理解为4副两个像素的图像，也可理解为实际的值，例如4个人的身高和体重。

1-1主元分析（PCA）（2）PCA降维的步骤：第1步：对识别目标进行向量表达。

1-1主元分析（PCA）第2步：计算数据中心。

1-1主元分析（PCA）

1-1主元分析（PCA）第2步：计算数据中心。第3步：计算总体散度矩阵

1-1主元分析（PCA）第3步：计算总体散度矩阵

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第4步：计算特征值与特征向量

1-1主元分析（PCA）第5步：特征向量重要性分析

1-1主元分析（PCA）第6步：投影

1-1主元分析（PCA）练习1，对下面4个向量进行PCA降维

1-1主元分析（PCA）（2）使用PCA进行人脸识别2.1读取人脸图像，转换为向量；2.2使用人脸图像对PCA模型进行训练，得到特征向量（学习）计算特征值与特征向量分析特征值保存特征向量2.3读取特征向量，进行投影，实现图像降维（提取特征）2.4计算两个投影后的向量间的距离，距离足够小时，判定为同一个人的两幅人脸图像

1-1主元分析（PCA）练习2，使用PCA和SVM进行人脸识别

1-1主元分析（PCA）PCA的优化目标为：投影后总体散度最大LDA的优化目标为：投影后类内散度最小且类间散度最大

1-2线性辨析分析（LDA）一元线性回归-最小二乘法1一元线性回归一元线性回归-梯度下降

1一元线性回归將b、W的求解转换为求J的极小值。一元线性回归-梯度下降从曲面中的任意一点开始，沿着梯度的反方向一步步的下降，直到下降到曲面的最低点。1一元线性回归练习3：编码实现一元梯度下降

1一元线性回归多元线性回归

2多元线性回归逻辑回归-神经元

3神经元神经网络-NN-回归

4神经网络神经网络-NN-分类

4神经网络深度学习-卷积神经网络：全连接网络指的是输入层的所有单元与隐藏层的所有单元相连。在图像处理中，更常用的是卷积神经网络（ConvolutionalNeuralNetwork,CNN）。卷积神经网络在神经网络中加入了一个或多个卷积层，卷积层中有一个或多个滤波器，输入数据和滤波器卷积后，卷积结果和隐藏层相连，从而有效利用了图像的局部信息，并且对训练参数做了大幅精简，

5卷积神经网络6图像特征提取与分类Resnet506图像特征提取与分类练习4：使用卷积神经网络，实现图像分类功能predictedresult:[[('n02115641','dingo',0.6255645),('n02110806','basenji',0.32402647),('n02109961','Eskimo_dog',0.017492699)]]图像处理应用技术1图像分割图像分割是指将图像中具有特殊意义的不同区域划分开来，这些区域是互不交互的，每个区域满足某种相似性准则。1-1基于直方图分析的图像分割本节介绍一种最简单的图像分割方法，基于直方图分析的图像分割，该方法实现步骤如下：(1)读取原图像；(2)将原图像转换为灰度图像；(3)对灰度图像进行直方图均衡化；(4)计算均衡化后的直方图，观察该直方图，取波谷处横轴的坐标作为分割阈值(5)将灰度图像中灰度值小于分割阈值的像素的灰度值置为0，将灰度图像中灰度值大于分割阈值的像素的灰度值置为255，实现图像的二值分割。1-1基于直方图分析的图像分割1-1基于直方图分析的图像分割练习1编写代码，实现基于直方图的图像分割请您编辑题干作答正常使用主观题需2.0以上版本雨课堂主观题10分1-2基于神经网络的图像分割任务主要分为三种类型：(1)语义分割（semanticsegmentation）：对图像中的每个像素点进行分类。(2)实例分割（instancesegmentation）：在图像中对需要分割的目标进行实例区分，再对实例区域中的像素点进行分类。(3)全景分割（panopticsegmentation）：是语义分割和实例分割的结合，对图像中的每个像素点（包括背景）进行分类的同时，还要给同类对象进行实例区分。1-2基于神经网络的图像分割1-2基于神经网络的图像分割根据不同的任务，近年来较为流行的应用场景有：(1)人像抠图：人脸分割、人体分割、背景分割(2)医学影像：血管分割、病灶分割、肿瘤分割(3)自动驾驶：行人分割、车辆分割、障碍物分割、车道线分割1-2基于神经网络的图像分割DeepLap系列是语义分割领域非常著名的模型，该系列一共发表了4个模型：DeepLabV1（2015）、DeepLabV2（2017）、DeepLabV3（2017）、DeepLabV3plus（2018）。本节主要讲解DeepLapV3plus的实现。DeepLabv3+通过encoder-decoder进行多尺度信息的融合，同时保留了原来的空洞卷积和ASSP层，其骨干网络使用了Xception模型。1图像分割7图像分割练习2：使用卷积神经网络，实现图像分割，包括语义分割、实例分割、全景分割请您编辑题干作答正常使用主观题需2.0以上版本雨课堂主观题10分图像处理应用技术1图像修复图像修复(ImageInpainting)本质就是力求保持图像的本来面目，以保真原则为前提，找出图像降质的原因，描述其物理过程，提出数学模型，根据该模型重建或恢复被退化的图像，是一个典型的逆问题(inverseproblems)。1-1研究领域一、降噪图像降噪（ImageDenoising）是指减少数字图像中噪声的过程，有时候又称为图像去噪。噪声是图像干扰的重要原因。一幅图像在实际应用中可能存在各种各样的噪声,这些噪声可能在传输中产生,也可能在量化等处理中产生。根据噪声和信号的关系可将其分为三种形式:(f(x,y)表示给定原始图像,g(x,y)表示图像信号,n(x,y)表示噪声。)(1)加性噪声,此类噪声与输入图像信号无关,含噪图像可表示为f(x,y)=g(x,y)+n(x,y),信道噪声及光导摄像管的摄像机扫描图像时产生的噪声就属这类噪声;(2)乘性噪声,此类噪声与图像信号有关,含噪图像可表示为f(x,y)=g(x,y)+n(x,y)g(x,y),飞点扫描器扫描图像时的噪声,电视图像中的相干噪声,胶片中的颗粒噪声就属于此类噪声。(3)量化噪声,此类噪声与输入图像信号无关,是量化过程存在量化误差,再反映到接收端而产生。降噪，又称为去噪，是一个经典的图像修复研究方向。其实在第5章时有讲到图像降噪，主要的手段是滤波算法，第6章也有讲到降噪的相关实现，主要是非线性变换算法。1-1研究领域二、去模糊(deblurring)图像去模糊方法主要包含盲去模糊(blinddeblurring)和非盲去模糊(non-blinddeblurring)，区别在于模糊核是否已知。传统的图像去模糊算法利用了多种先验，如：全变差(totalvariation)、重尾梯度先验(heavy-tailedgradientprior)等。随着深度学习技术的迅猛发展，也提出了基于CNN、基于GAN和基于RNN的用于图像去模糊的方法，比较著名的如DeblurGAN和DeblurGAN-v2等，而这些方法都专注于从模糊图像中恢复清晰图像本身，而忽略了图像模糊这个源头，因此并没有对图像模糊过程进行建模；同时由于数据集的稀缺，很多方法都采用了数据增强的方式来增加数据样本，但是大多数情况下合成的模糊图像与真实图像相差甚远。1-1研究领域三、去雾(dehazing)光在雾、霾等介质中传播时，由于粒子的散射作用导致成像传感器采集的图像信息严重降质，在很大程度上限制了图像的应用价值。图像去雾（ImageDehazing）的目的是消除雾霾环境对图像质量的影响，增加图像的可视度，是图像处理和计算机视觉领域共同关切的前沿课题，吸引了国内外研究人员的广泛关注。传统的去雾方法主要是基于先验知识的，主要有暗通道先验（DarkChannelPrior，DCP）方法、最大对比度（MaximumContrast，MC）方法，颜色衰减先验（ColorAttenuationPrior，CAP）方法，色度不一致方法。由于神经网络在检测，识别等任务上的取得了很大的进展，所以研究人员开始尝试用基于深度学习的方法取代传统的图像去雾方法。其方法主要可以分为两种，一种是基于大气退化模型，利用神经网络对模型中的参数进行估计，早期的方法大多数是基于这种思想的；另一种是利用输入的有雾图像，直接输出得到去雾后的图像。目前最新的去雾方法更倾向于后者。1-1研究领域四、超分辨率图像超分辨率（ImageSuperResolution）是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。图像超分辨率技术分为超分辨率复原和超分辨率重建。目前，图像超分辨率研究可分为3个主要范畴：基于插值、基于重建和基于学习的方法。1-2基于深度学习的图像修复基于深度学习的图像修复技术旨在恢复残缺图像中损坏部分的像素特征，在许多计算机视觉应用领域中发挥关键作用，是当前深度学习领域的一大研究热点。根据修复网络结构进行分类，分为基于卷积自编码网络结构的图像修复方法、基于生成式对抗网络结构的图像修复方法和基于循环神经网络的图像修复方法。图像处理应用技术1图像形态学所谓形态学主要用来提取出描述图像中形状的分量，例如边界，连通区域等等。通过形态学方法进一步处理图像从而得到便于计数的图像。2实验步骤步骤1腐蚀操作 首先我们学习形态学中的腐蚀操作，顾名思义，是将二值图中亮度高的部分也就是白色的部分向内腐蚀。同样的，类似之前学到的图像滤波处理，形态学处理也需要一个核来表示腐蚀或者膨胀的大小。这里我们将使用一个手写字母样例图片直观感受。首先将其读取进来并展示。(右上图）同样的，类似之前学到的图像滤波处理，形态学处理也需要一个核来表示腐蚀或者膨胀的大小。这里我们将使用erode函数来完成，并制定kernel为5乘5的矩阵，可以看到腐蚀后的图像被细化了。（右下图）练习1实现腐蚀操作作答正常使用主观题需2.0以上版本雨课堂主观题10分2实验步骤步骤2膨胀操作 膨胀与腐蚀操作相反，可以视为上面的逆操作。这里使用dilate函数来完成，具体用法和erode一样，同样需要一个核代表膨胀大小，这里我们继续使用上述的5乘5的核。可以看到新的膨胀图像变粗大了。步骤3开操作 我们可以看到，单纯的腐蚀和膨胀操作会使得图像在原有的形状的基础上发生改变。但是往往我们需要在不改变图像的基础上除去一些噪声或者填充孔洞，则需要结合这两种操作。 首先为了去除图像上的白噪声，我们可以使用开操作，即先腐蚀再膨胀，可以将小的噪声腐蚀掉且保留大区域的形状骨架，再通过膨胀来还原。这里我们使用morphologyEx函数，并指定操作类型为MORPH_OPEN，计算核和之前保持一致。练习2实现膨胀操作作答正常使用主观题需2.0以上版本雨课堂主观题10分2实验步骤步骤3开操作 我们可以看到，单纯的腐蚀和膨胀操作会使得图像在原有的形状的基础上发生改变。但是往往我们需要在不改变图像的基础上除去一些噪声或者填充孔洞，则需要结合这两种操作。 首先为了去除图像上的白噪声，我们可以使用开操作，即先腐蚀再膨胀，可以将小的噪声腐蚀掉且保留大区域的形状骨架，再通过膨胀来还原。这里我们使用morphologyEx函数，并指定操作类型为MORPH_OPEN，计算核和之前保持一致。练习3实现开操作作答正常使用主观题需2.0以上版本雨课堂主观题10分2实验步骤步骤4闭操作 闭操作则相反，当图像存在空隙，或者是黑噪点时，我们可以使用闭操作，即先膨胀再腐蚀，可以将形状中的空洞填补。这里我们同样使用morphologyEx函数，并指定操作类型为MORPH_CLOSE，计算核和之前保持一致。练习4实现闭操作作答正常使用主观题需2.0以上版本雨课堂主观题10分2红细胞计数我们基本已经学习处理红细胞图像的一系列方法，接下来我们需要将所有方法重新整合一边，并展开学习图像轮廓来了解计算机视觉如何对红细胞进行最终计数的。本实验主要是前面实验的总结和整理。2红细胞计数步骤1读取红细胞图像 第一步我们需要将红细胞读取进来并转化为灰度图像。2红细胞计数步骤2完成直方图均衡 接下来我们通过直方图均衡使得图像前后景的阈值更加明显。2红细胞计数步骤3阈值化处理 接下来我们将通过阈值化处理将图像二值化。2红细胞计数步骤4轮廓空隙填充 我们在上一个实验已经知道形态学处理其实也可以完成空隙填充，但是在空隙较大且物体间距较小的情况下，闭操作带来的空隙填充可能会大大破坏图像的完整性，所以我们在形态学处理之前加上轮廓空隙填充。轮廓可以简单地解释为连接具有相同颜色或强度的所有连续点（沿边界）的曲线。轮廓是用于形状分析以及对象检测和识别的有用工具。首先通过findContour来找到图像轮廓，第二三个参数都是指定具体的方法，这里不作展开。可以看到返回的轮廓是一个列表，包含158个轮廓，每个轮廓又是由一系列点组成的。但是这个数字并不是我们想要的结果，因为图像中还有很多杂质，类似血小板之类的区域。2红细胞计数步骤5形态学处理 接下来利用形态学操作除去杂质颗粒带来的影响。步骤6利用图像轮廓完成红细胞计数 可以看到大部分杂质被剔除了，除了一些细胞排列太过紧密无法分离之外，整体上感觉细胞分布还是较为均匀的。这里继续用到上一个实验学习的findContours方法，可以直接通过图像轮廓计数，轮廓的数量就是估计出来的红细胞的个数。练习5实现红细胞计数作答正常使用主观题需2.0以上版本雨课堂主观题10分图像处理应用技术1增强现实增强现实技术是一种将虚拟信息融合到真实世界的技术，将计算机生成的文字、图像、三维模型等虚拟信息模拟仿真后，应用到真实世界中，两种信息相互补充，从而实现对真实世界的效果增强。增强现实通过定位或者识别的方式来确定此刻观察者的位置和视角，从而获取相机的姿势估计，通俗一点来说就是确定观察者的眼睛往哪个方向看。本项目主要关注基于标记的增强现实背后用到的技术，来简单地实现在棋盘上的3D模型展示。2实验1相机矫正增强现实通常需要使用到摄像头或者相机，而往往由于相机的内源因素，镜头对平面上不同区域的放大率不同导致拍摄的图像会出现几何畸变，而这种畸变成都会从画面中央往画面边缘逐渐递增。由于畸变主要源自镜头本身的物理因素，所以在使用摄像头之前首先对其进行矫正是很有必要的。本实验旨在了解相机矫正的过程，并提供同一摄像头下的照片作为实验素材，条件允许的话同学们也可以用其他摄像头的数据完成实验。2实验1相机矫正步骤1读取图片 首先我们先读取需要矫正的图片，这里会用到Python自带的glob模块完成读取一系列类似文件名的文件，同学们可以自行查看不同图片。2实验1相机矫正步骤2设置目标点 为了解决畸变模型，我们需要提供一些真实点以及其在图片上的对应点以便求解。由于三维时间真实点包含x,y,z轴，但是我们可以默认所有棋盘上的真实点在一个平面上，只用考虑x,y轴的部分。通过mgrid来生成目标点。2实验1相机矫正步骤3寻找图像点 为了找到这些真实点对应的图像上的左边点，我们需要用到OpenCV中的findChessboardCorners函数，指定网格的大小，从而获得一个成功与否的返回值以及对应的坐标点。由于需要对每一张图片进行处理，且记录是否存在合适的对应网格点，这里需要用到for循环。另外我们也可以使用drawChessboardCorners来查看这些点的具体位置信息。2实验1相机矫正步骤4相机矫正矩阵 我们已经获取到足够多的对应点信息，这里可以用calibrateCamera直接完成相机的矫正，输入真实点坐标，图像点的坐标以及源图像的大小。返回值我们主要关注相机矩阵mtx以及失真系数dist。步骤5矫正图像 当我们已经获取到相机的上述参数，便可以直接对该摄像头下的畸变图像进行矫正了，这里需要使用undistort函数来输