作者：姚童，Datawhale优秀学习者
图像的实质是一种二维信号，滤波是信号处理中的一个重要概念。在图像处理中，滤波是一常见的技术，它们的原理非常简单，但是其思想却十分值得借鉴，滤波是很多图像算法的前置步骤或基础，掌握图像滤波对理解卷积神经网络也有一定帮助。
线性滤波：对邻域中的像素的计算为线性运算时，如利用窗口函数进行平滑加权求和的运算，或者某种卷积运算，都可以称为线性滤波。常见的线性滤波有：方框滤波、均值滤波、高斯滤波、拉普拉斯滤波等等，通常线性滤波器之间只是模版的系数不同。
非线性滤波：非线性滤波利用原始图像跟模版之间的一种逻辑关系得到结果，如最值滤波器，中值滤波器。比较常用的有中值滤波器和双边滤波器。
卷积核
数字图像是一个二维的数组，对数字图像做卷积操作其实就是利用卷积核在图像上滑动，将图像点上的像素值与对应的卷积核上的数值相乘，然后将所有相乘后的值相加作为卷积核中间像素点的像素值，并最终滑动完所有图像的过程。
通常，卷积核的宽度和高度一般是奇数，这样才有中心的像素点，所以卷积核一般都是3x3，5x5或者7x7等。n×n的卷积核的半径为(n-1)/2，例如5x5大小的卷积核的半径就是2。
两种常见噪声
函数介绍：python中的skimage图像处理模块，该函数可以方便的为图像添加各种类型的噪声。
参数：
1、椒盐噪声（脉冲噪声）
椒盐噪声也称为脉冲噪声，是图像中常常见到的一种噪声，它是一种随机出现的白点或者黑点，可能是亮的区域有黑色像素或是在暗的区域有白色像素（或是两者皆有）。产生具有椒盐噪声的图像：（python）
效果：左边为原图，右边加入了椒盐噪声
2、高斯噪声
高斯噪声是指它的概率密度函数服从高斯分布（即正态分布）的一类噪声。如果一个噪声，它的幅度分布服从高斯分布，而它的功率谱密度又是均匀分布的，则称它为高斯白噪声。
高斯白噪声的二阶矩不相关，一阶矩为常数，是指先后信号在时间上的相关性。高斯噪声是与光强没有关系的噪声，无论像素值是多少，噪声的平均水平（一般是0）不变。产生具有高斯噪声的图像：（python）
效果：左边为原图，右边加入了高斯噪声
均值滤波、方框滤波
1、方框（盒子）滤波
方框滤波是一种非常有用的线性滤波，也叫盒子滤波。
积分图：图像积分图中每个点的值是原图像中该点左上角的所有像素值之和。建立一个数组作为积分图像，其宽度和高度与原图像相等.，然后对这个数组赋值，每个点存储的是原图像中该点左上角的所有像素值之和。
对一个灰度图而言，事先将其积分图构建好，当需要计算灰度图某个区域内所有像素点的像素值之和的时候，都可以通过查表的方法和有限次简单运算，迅速得到结果。
优势：它可以使复杂度为O(MN)的求和，求方差等运算降低到O(1)或近似于O(1)的复杂度，也就是说与邻域尺寸无关了，有点类似积分图，但是比积分图更快（与它的实现方式有关）。
方框滤波采用下面的卷积核与图像进行卷积：
应用：
可以说，一切需要求某个邻域内像素之和的场合，都有方框滤波的用武之地，比如：均值滤波、引导滤波、计算Haar特征等等。方框滤波还可以用来计算每个像素邻域上的各种积分特性，方差、协方差，平方和等等。
2、均值滤波
均值滤波就是方框滤波归一化的特殊情况。使卷积核所有的元素之和等于1。卷积核如下：
α为卷积核中点的个数。
均值滤波是方框滤波的特殊情况，均值滤波方法是：对要处理的像素，选择一个模板，该模板由其邻域内的若干个像素组成，用模板的均值来替代原像素的值。可见，归一化了就是均值滤波；不归一化则是方框滤波。
均值滤波的缺点：
均值滤波本身存在着固有的缺陷，即它不能很好地保护图像细节，在图像去噪的同时也破坏了图像的细节部分，从而使图像变得模糊，不能很好地去除噪声点。特别是椒盐噪声。
利用均值滤波处理图像：
应用：
均值模糊可以模糊图像以便得到感兴趣物体的粗略描述，也就是说，去除图像中的不相关细节，其中“不相关”是指与滤波器模板尺寸相比较小的像素区域，从而对图像有一个整体的认知。即为了对感兴趣的物体得到一个大致的整体的描述而模糊一幅图像，忽略细小的细节。
高斯滤波
在进行均值滤波和方框滤波时。其邻域内每个像素的权重是相等的。在高斯滤波中，会将中心点的权重值加大，原理中心点的权重值减小，在此基础上计算邻域内各个像素值不同权重的和。
在高斯滤波中，核的宽度和高度可以不相同，但是它们都必须是奇数。
在实际应用中，卷积核都会经过归一化，归一化后可以表示为小数形式或分数形式。没有进行归一化的卷积核进行滤波，结果往往是错误的。
高斯滤波和均值滤波一样，都是利用一个掩膜和图像进行卷积求解。不同之处在于：均值滤波器的模板系数都是相同的为1，而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小（服从二维高斯分布）。所以，高斯滤波器相比于均值滤波器对图像的模糊程度较小，更能够保持图像的整体细节。
高斯滤波卷积核：
先介绍一下二维高斯分布：
首先我们要确定卷积核的尺寸ksize，然后设定高斯分布的标准差。生成的过程，首先根据模板的大小，找到模板的中心位置。 然后遍历，将模板中每个坐标带入高斯分布的函数，计算每个位置的系数。
具体过程如下：
不必纠结于系数，因为它只是一个常数，并不会影响互相之间的比例关系，并且最终都要进行归一化，所以在实际计算时我们忽略它而只计算后半部分。
根据二维高斯分布公式，其中为卷积核内任一点的坐标，为卷积核中心点的坐标，通常为；σ是标准差。
例如：要产生一个3×3的高斯滤波器模板，以模板的中心位置为坐标原点。模板中各个位置的坐标，如下图所示。
这时，高斯分布的函数可以改为：
然后，将各个位置的坐标带入到高斯函数中，得到的值就是模板的系数。
通常模板有两种形式：小数形式和整数形式。
不难发现，高斯滤波器模板的生成最重要的参数就是高斯分布的标准差σ。标准差代表着数据的离散程度，如果σ较小，那么生成的模板的中心系数较大，而周围的系数较小，这样对图像的平滑效果就不是很明显；反之，σ较大，则生成的模板的各个系数相差就不是很大，比较类似均值模板，对图像的平滑效果比较明显。
一维高斯分布的概率分布密度图：图中，紫色的σ较小，青色的σ较大。
利用高斯滤波处理图像：
应用： 高斯滤波是一种线性平滑滤波器，对于服从正态分布的噪声有很好的抑制作用。在实际场景中，我们通常会假定图像包含的噪声为高斯白噪声，所以在许多实际应用的预处理部分，都会采用高斯滤波抑制噪声，如传统车牌识别等。
中值滤波
中值滤波不再采用加权求和的方式计算滤波结果，它用邻域内所有像素值的中间值来代替当前像素点的像素值。
中值滤波会取当前像素点及其周围临近像素点的像素值，一般有奇数个像素点，将这些像素值排序，将排序后位于中间位置的像素值作为当前像素点的像素值。
中值滤波对于斑点噪声（speckle noise）和椒盐噪声（salt-and-pepper noise）来说尤其有用，因为它不依赖于邻域内那些与典型值差别很大的值，而且噪声成分很难被选上，所以可以在几乎不影响原有图像的情况下去除全部噪声。但是由于需要进行排序操作，中值滤波的计算量较大。
中值滤波器在处理连续图像窗函数时与线性滤波器的工作方式类似，但滤波过程却不再是加权运算。
如下图：滤波核大小为3，邻域内的像素值排序后为[56,66,90,91,93,94,95,97,101]，中值为93，所以用93替换中心点原来的像素值56。
双边滤波
双边滤波是综合考虑空间信息和色彩信息的滤波方式，在滤波过程中能有效的保护图像内的边缘信息。
双边滤波在计算某一个像素点的像素值时，同时考虑距离信息（距离越远，权重越小)和色彩信息（色彩差别越大，权重越小）。既能去除噪声，又能较好的保护边缘信息。
如下图：左边为原图，中间为均值滤波可能的结果，右边为双边滤波的结果
在双边滤波中，计算左侧白色区域的滤波结果时：
计算右侧黑色区域的滤波结果时：
这样，左侧白色的滤波结果仍是白色，黑色的像素点权重为0，对它不会有影响；右侧黑色的滤波结果仍是黑色，白色的像素点权重为0，对它不会有影响。所以，双边滤波会将边缘信息保留。
边界处理
对于图像的边界点，不存在n×n的邻域区域，例如左上角第一行第一列的像素点，如果以其为中心取3×3的领域，则部分区域位于图像外部，图像外部是没有像素点和像素值的，所以无法计算像素和。在实际处理过程中需要对图像边界进行扩充，如下图。
扩充后的点需要填充像素值，常见的几种方式：
为了更直观的体现填充情况，这里设卷积核为5×5的，填充情况如下：
c++实现
1、方框滤波
参数：
关于是否归一化：
如果没有进行归一化处理，邻域内的像素值和基本都会超过像素的最大值255，最后得到的图像接近纯白色，部分点处有颜色。有颜色的点是因为这些点周围邻域的像素值均较小，相加后仍小于255。如下图：
2、均值滤波
参数：
3、高斯滤波
参数：
4、中值滤波
参数：
5、双边滤波
参数：
c++代码
1、方框滤波、均值滤波、高斯滤波
效果：可以看出，均值滤波与方框滤波归一化后的结果是一样的
2、中值滤波
效果：可以看出，中值滤波消除椒盐噪声的效果比高斯滤波好
3、双边滤波
效果：可以看出，双边滤波后的边缘保留的比高斯滤波好
python实现
1、方框滤波、均值滤波、高斯滤波
效果：
2、中值滤波
效果：左边为原图，右边是中值滤波处理后
下图左边为原图，右边是高斯滤波处理后。可以看出高斯滤波对椒盐噪声的效果不如中值滤波。
3、双边滤波
效果：左边为原图，中间为中值滤波处理，右边为高斯滤波处理。可以看出，经过高斯滤波的边缘被模糊虚化了，经过双边滤波的边缘得到了较好的保留。
版权声明：
本文来源网络，所有图片文章版权属于原作者，如有侵权，联系删除。
本文网址：https://www.mushiming.com/mjsbk/7185.html