sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法...

(78) 2024-07-20 19:01:01
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第1张点上方 智媒之音可以订阅哦!

作者 | 张文豪  李革          

编辑 | 李旭峰

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第2张

第一行图像为原始水下图像;第二行图像为我们的方法增强后的效果

1

背景简介

水下成像技术对于海洋资源的探索、海底生态的研究以及海洋军事的应用等都有着重要的意义。然而,水下的环境是很恶劣的,因为光线在介质传播的过程中被严重吸收和散射。光线被大颗粒悬浮物反射到各个方向,由此造成了图像模糊。同时,不同波长有不同的吸收率,光线被水吸收导致能量降低,当到达一定深度时,波长越长的越先消失,由此而产生欠曝光和色偏现象。为了让拍摄的图像更适合观察,我们需要恢复它相对真实的颜色和自然的景象。

针对水下图像存在的问题,研究者们提出了多种解决方法。这些方法主要分为三大类:

第一类是通用的图像增强方法。例如,文献[1]记载的直方图均衡化(HE)、文献[2]记载的广义反锐化掩模(GUM)、文献[3]记载的基于概率的方法(PB)等。将通用方法应用在水下领域时,也能取得不错的效果。

第二类是将去雾的方法应用在水下增强领域,因为水下成像存在和陆地成像同样的有雾的问题。文献[4]中,Fattal提出的SID方法运用了表面阴影和透射率是局部无关的这一特性来去雾;文献[5]中何凯明采用的DCP方法提出了著名的暗通道先验,无雾的图片每个像素中至少有一个通道是一个较小值,来估计透射率图以达到去雾效果。去雾方法虽好,但只考虑了散射因素,不能很好地解决水下偏蓝偏绿的现象。  

第三类是专门针对水下成像特性设计的增强方法。目前,比较主流的几个水下增强方法有:文献[6]中Cosmin and Ancuti提出的在不同滤波器之间做一个融合以重建一张清晰地水下图像;文献[7]傅雪阳提出的方法运用Retinex模型来分解图像成反射部分和光照部分,然后分别进行后处理再组合。傅雪阳的方法效果很好,但是复杂度太高。

为了克服上述现有技术的不足,我们提出一种基于Retinex模型的综合颜色校正和亮度调整的水下图像增强方法,能够有效提高增强后的图像的视觉效果。

2

我们的方法

下图为我们方法的流程框图。它包括颜色校正和亮度调整过程;首先进行水下图像颜色校正,再将图像从RGB空间转化到HSV空间,然后基于Retinex模型,将V通道分解成反射和光照部分,对光照部分进行初始化、提纯、校正,得到亮度调整后的V通道,和其他两个通道合并转换为RGB空间;

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第3张

流程图

(一)水下图像颜色校正。

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第4张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第5张

左图为原始水下图像及其RGB直方图分布;右图为颜色校正后的图像及其RGB直方图分布;

(二)水下图像亮度调整。

21)首先是建模。将颜色校正后的水下图像由RGB空间转换为HSV空间。取HSV空间的V通道,代表图像的亮度值。根据Retinex模型,将V通道的能量分解成为反射部分和光照部分,表示为式(1):

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第6张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第7张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第8张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第9张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第10张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第11张
sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第12张

图中(a)初始光照图(b)估计光照图(c)伽马校正后的光照图

总结

与现有技术相比,我们的方法能够让增强后的图像获得很好的视觉效果。下图提供了我们的方法与其他已有方法进行性能比较的实例,结果表明,相比于现有方法,采用我们的方法处理后的图片拥有更真实的颜色、更自然的表现以及更好的视觉效果。此外,我们的方法的计算复杂度较低,处理时间较短。

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第13张

图中,(a)是原始水下图像,(b-e)是采用现有方法的增强效果,依次是直方图均衡化、Fattal的单个图像去雾法、何凯明的暗通道先验去雾法、傅雪阳的基于Retinex的水下图像增强法;(f)是我们的方法的增强效果。

参考文献

[1] C. A. M. Jaspers, “Histogram equalization,” 2004.

[2] G. Deng, “A generalized unsharp masking algorithm,” IEEE Transactions on Image Processing, vol. 20, no. 5, pp. 1249–1261, 2011.

[3] Fu X, Liao Y, Zeng D, et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation[J]. IEEE Transactions on Image Processing, 2015, 24(12): 4965-4977.

[4] R. Fattal, “Single image dehazing,” ACM Transactions on Graphics, vol. 27, no. 3, p. 1, 2008.

[5] H. K., S. J., and T. X., “Single image haze removal using dark channel prior.” Pattern Analysis and Machine Intelligence, IEEE Transactions on, vol. 33, no. 12, pp. 2341–2353, 2010.

[6] C. Ancuti, C. O. Ancuti, T. Haber, and P. Bekaert, “Enhancing underwater images and videos by fusion,” Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp.81–88, 2012.

[7] Fu X, Zhuang P, Huang Y, et al. A retinex-based enhancing approach for single underwater image[C]//Image Processing (ICIP), 2014 IEEE International Conference on. IEEE, 2014: 4572-4576.

END

作者简介

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第14张

张文豪

北京大学深圳研究生院数字媒体研究中心在读硕士研究生,主要研究方向是水下图像增强、水下图像检测识别。

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第15张

李革

北京大学深圳研究生院教授、博导。目前主要从事视频处理与分析、视频大数据挖掘等方面的研究。

往期精选:

【技术前沿】点云压缩:技术、应用及标准化

【技术前沿】没有IphoneX其实也可以创建动态表情

【技术前沿】uAVS2-4K:比x265更快、压缩效率更高的全4K视频实时编码内核

【标准解说】第1期:什么是AVS2标准

谁将引领新一代视频编码标准:HEVC、 AVS2和AV1性能对比报告

sid图像数据_【技术前沿】首届“水下机器人目标抓取大赛”第一名的图像增强方法... (https://mushiming.com/)  第16张

微信公众号ID : media_pkusz

THE END

发表回复