Medical Journal of the Chinese People's Armed Police Forces

Journal of Changjiang River Scientific Research Institute >

2025 , Vol. 42 >Issue 9: 156 - 166

DOI: https://doi.org/10.11988/ckyyb.20240836

Engineering Safety And Disaster Prevention

Detection of Apparent Defects of Underwater Structures in Turbid Waters Based on Polarization Imaging and Deep Learning

  • LÜ Zong-jie , 1 ,
  • LI Jun-jie , 1 ,
  • ZHANG Xue-wu 2
Expand
  • 1 College of Water Conservancy and Hydropower Engineering,Hohai University,Nanjing 210098, China
  • 2 College of Information Science and Engineering, Hohai University, Changzhou 213022, China

Received date: 2024-08-09

  Revised date: 2025-01-27

  Online published: 2025-03-21

Fold

Abstract

[Objective] In underwater engineering inspection, the turbid shallow water environment severely hinders the performance of machine vision-based methods for detecting surface defects in underwater structures. To address the challenge of defect detection in turbid water, this study proposes a lightweight three-stage underwater defect detection method that integrates polarization imaging and deep learning techniques. A defect detection model, named PCC-YOLOv7, is developed. [Methods] First, polarization imaging technology was combined with a polarization restoration model to analyze the polarization characteristics of light waves. This approach effectively suppressed scattering interference in turbid water, thereby achieving clear imaging of turbid environments and restoring defect images. Consequently, defect details obscured by scattering particles were reconstructed. Second, the CAA-SRGAN (Coordinate Attention ACON-Super Resolution Generative Adversarial Network) model was introduced. By employing an improved attention mechanism and a generative adversarial network structure, super-resolution processing was performed on the restored images. This yielded high-resolution underwater defect images, providing a high-quality data foundation for subsequent precise detection. Finally, a defect detection model based on CBAM-YOLOv7 was established, where the convolutional block attention module (CBAM) was utilized to enhance the network’s focus on defect features. Leveraging the advanced YOLOv7 object detection framework, common underwater structural defects, including cracks, holes, and spalling can be rapidly and accurately identified. These three sub-models worked collaboratively to form a comprehensive detection system. [Results] For image restoration, the polarization restoration model exhibited superior performance in metrics such as image clarity and color fidelity compared to current restoration methods. The CAA-SRGAN model generated images with notable improvements in detail texture preservation and resolution enhancement. The CBAM-YOLOv7 defect detection model achieved higher accuracy in both defect localization and classification. A comprehensive evaluation of the PCC-YOLOv7 defect detection model revealed an average improvement of 33.5% in mean average precision (mAP0.5, mAP0.75, and mAP0.5-0.95). Compared to existing models, PCC-YOLOv7 significantly enhanced defect detection performance in turbid underwater environments, effectively improving both recognition rate and detection efficiency. [Conclusions] The PCC-YOLOv7 defect detection model innovatively integrates polarization imaging technology with deep learning. Through the collaborative operation of three functionally complementary sub-models, it successfully addresses the challenge of detecting surface defects in underwater structures in turbid water. Compared to existing models, the proposed model demonstrates enhanced adaptability to turbid underwater detection scenarios. It enables stable and efficient detection of surface defects in underwater structures under complex turbid conditions, providing a practical technical solution for the safety assessment and maintenance of underwater structures. Future work may focus on further optimizing the model structure and extending its application to more underwater scenarios.

Key words： turbid water; underwater structure; defect detection; polarization imaging; deep learning; super-resolution reconstruction

Cite this article

LÜ Zong-jie , LI Jun-jie , ZHANG Xue-wu . Detection of Apparent Defects of Underwater Structures in Turbid Waters Based on Polarization Imaging and Deep Learning[J]. Journal of Changjiang River Scientific Research Institute, 2025 , 42(9) : 156 -166 . DOI: 10.11988/ckyyb.20240836

开放科学(资源服务)标识码(OSID):

0 引言

与水上结构相比,水下结构易受到氯离子侵蚀、水流冲刷、温度变化和微生物腐蚀等因素影响,进而发生破坏,致使水下建筑物耐久性显著降低。对水下结构进行定期检测,是确保水下结构安全运行的关键环节[1]。目前,水下检测方法可分为人工探测、非成像检测和成像检测[2]。人工探测由潜水员下水检测缺陷,其检测精度取决于潜水员的专业水平。非成像检测涵盖光纤传感器和超声检测等方式,往往需要大型检测设备及计算资源,实时性欠佳。成像检测包括声学成像和光学成像。声学成像具有成像距离远且不受浑浊度限制的优点,但图像分辨率较低,难以检测小尺寸缺陷特征,且缺陷特征辨识较为复杂[3]。光学成像分辨率高,在清澈水体中可有效获取小尺寸缺陷特征,然而其成像效果易受水体浑浊度影响。陶显等[4]对表面缺陷检测方法进行总结,研究结果表明将深度学习方法、光学图像和声学图像相结合,可实现水下结构缺陷智能化检测。尽管现有光学成像方法为水下结构缺陷检测提供了可行方案,但检测精度过度依赖水体环境,使得在浑浊水体中难以实现缺陷检测。
浑浊水体中存有大量肉眼可见的颗粒,水中高浓度散射粒子对光的吸收与散射作用更为显著。散射粒子对光产生的强散射作用使得缺陷目标的信息光减少,难以利用现有的水下成像模型对图像中的缺陷信息进行恢复。此外,水下机器人所配备的光学相机分辨率较低,水下缺陷图像特征不突出且边缘信息容易丢失,加大了水下缺陷识别的难度。现有的水下缺陷检测智能模型通常利用清晰水下缺陷图像进行模型学习与训练,导致检测模型对高浑浊度水下图像的鲁棒性偏低,致使浑浊水体中缺陷检测失效,更难以满足水下缺陷实时检测的需求。
针对浑浊水体中结构表观缺陷存在的无法观测、成像质量差以及难以检测这三大问题,本文结合偏振成像与深度学习,提出一种轻量级三阶段水下结构表观缺陷检测方法。首先,构建一种适用于浑浊水体环境的偏振成像模型,引入偏振信息抑制浑浊水体中光线的散射效应。该模型依据散射粒子的后向散射光与混凝土结构的目标信息光之间的偏振特性差异,恢复浑浊水体环境中缺陷细节和轮廓信息;随后,提出适用于浑浊水体环境缺陷偏振图像的超分辨率重建模型(CAA-SRGAN),利用自适应激活函数(Activer or Not,ACON)和协调注意力机制(Coordinate Attention,CA)对超分辨率生成性对抗网络(Super Resolution Generative Adversarial Networks,SRGAN)进行改进,生成高分辨率的水下缺陷图像;最后,结合CBAM-YOLOv7目标检测模型,提出一种适用于浑浊水体环境的三阶段水下结构表观缺陷检测模型(PCC-YOLOv7),对偏振复原和超分辨率重建后的图像进行多类别缺陷检测,并以裂缝、孔洞和剥落3种缺陷来检验本文模型的检测性能。
所设计的三阶段检测框架在第一阶段借助偏振成像恢复浑浊水体中水下结构的缺陷信息,可实现浑浊水体环境中的清晰成像,为浑浊水体环境中水下结构缺陷观测提供基础;第二阶段,通过深度学习模型着重对缺陷区域的细节信息予以增强,实现图像增强与缺陷数据集扩充,为后续缺陷检测提供高质量数据集;第三阶段,再度运用偏振信息对缺陷进行分类和检测,将浑浊水体环境中水下结构缺陷从低能见度、低检测精度提升至高能见度、高检测精度水平。本文方法能够应用于不同浑浊度水体以及多种缺陷类别的水下缺陷检测,为水下结构的维护与安全保障提供强有力的技术支撑。

1 三阶段水下结构表观缺陷检测模型

图1展示了本文构建的三阶段水下结构表观缺陷检测模型框架。在水下成像试验中,采用泥沙与牛奶来模拟浑浊的水体环境,运用分焦平面偏振相机采集水下偏振图像,以此获取研究所需的原始偏振图像。随后,对原始偏振图像实施3个阶段的处理流程,分别是复原阶段、超分辨率重建阶段和水下缺陷检测阶段。复原阶段用于恢复浑浊水体水下结构缺陷信息,超分辨率重建阶段用于获取高分辨率的水下缺陷偏振图像,水下缺陷检测阶段用于实现浑浊水体环境下多类别缺陷检测。最终,达成水下混凝土结构多类别缺陷检测的目标。
图1 三阶段水下结构表观缺陷检测模型框架

Fig.1 Framework of three-stage apparent defect detection model for underwater structures

1.1 水下偏振复原模型

Jaffe-McGlamery(JM)[5]成像模型是水下光学成像和图像处理领域的主流模型。此模型把成像系统所接收的光源信息近似视为直接传输光、前向散射光以及后向散射光的线性累加。鉴于前向散射光的信号强度远低于后向散射光,其对图像产生的干扰相对较小,故而在该成像模型中通常会忽略前向散射光的影响。简化后的JM水下成像模型表达式为
I λ ( x ) = D + B = J λ ( x ) t λ ( x ) + B λ , ∞ ( 1 - t λ ( x ) ) 　 。
式中: I λ ( x )表示相机接收到的水下场景信息;参量 D表示直接传输光的信息; B表示后向散射光的信息; J λ ( x )为所需要恢复的清晰水下场景信息; t λ ( x )为水下传输率; B λ , ∞为无穷远处后向散射光强度; λ为R、G、B三个通道。
光在水下传输期间,会与散射颗粒产生散射效应,改变光的偏振特性[6]。偏振相机所获取的光强图像 I可划分为平行于入射平面的最大光强偏振图像 I m a x和垂直于入射平面的最小光强偏振图像Imin,Imax、Imin和 I的表达式和关系分别为:
I m a x = D m a x + B m a x 　 ,
I m i n = D m i n + B m i n 　 ,
I = I m a x + I m i n 　 。
背景的后向散射光偏振度 P B表达式为
P B = B m a x - B m i n B m a x + B m i n 　 。
可求得水下复原图像表达式为
J λ ( x ) = 1 - B λ , ∞ · P B · I - B λ , ∞ Δ I - Δ D ] B λ , ∞ · P B - [ Δ I - Δ D ] 　 。
式中:Dmax、Dmin分别表示最大和最小直接传输光的信息;Bmax、Bmin分别表示最大和最小后向散射光的信息;ΔI为 I m a x与 I m i n的差值;ΔD为 D m a x与 D m i n的差值,因混凝土结构为低偏振度物体,ΔD可近似为0; B λ , ∞和 P B可通过人为选取无目标的背景区域计算得到。由式(6)可知,获取 B λ , ∞、 P B、 I、ΔI和ΔD即可实现水下偏振图像复原。
传统偏振成像方法通过手动选择偏振片来选取 I m a x和 I m i n,不精准的 I m a x和 I m i n图像会降低偏振图像复原效果,难以实现动态目标成像。本文结合Stokes矢量和Mueller矩阵,提出了一种自动获取 I m a x和 I m i n的方法。图2为水下偏振图像处理流程。首先利用TRI050S-QC彩色偏振相机同时获取4个角度偏振图像,结合Stokes矢量计算出水下场景的I、Q、U这3个参量图像,其中,I代表光强图像,Q代表水平与垂直偏振差异图像,U代表45°与135°偏振差异图像;接着,结合偏振方向和光轴的夹角关系计算求解偏振图像的光强信息随偏振角变化关系,通过曲线拟合求得 I m a x和 I m i n;随后,利用限制对比度自适应直方图均衡化(CLAHE)算法对 I m i n进行增强得到经处理后的最小光强偏振图像 I c m i n,并结合 I m a x与 I m i n的偏振度关系,求解经处理后的最大光强偏振图像 I c m a x;最后,将经CLAHE增强的 I c m a x和 I c m i n代入水下偏振成像模型,求得最终的水下缺陷偏振复原图像。
图2 水下偏振图像处理流程

Fig.2 Flowchart of underwater polarization image processing

1.2 基于CAA-SRGAN的水下结构缺陷偏振图像超分辨率重建

无人机所搭载的相机往往具备上千万像素,相较而言,水下机器人所携带相机的像素通常不高于500万像素。这种光学相机像素上的显著差距,加大了在浑浊水体中进行水下结构缺陷检测的困难程度。为提升水下结构缺陷图像的分辨率并强化缺陷特征信息,本文提出一种经过改进的SRGAN模型(CAA-SRGAN),专门应用于水下结构缺陷偏振图像的超分辨率重建任务,旨在为后续水下结构缺陷目标检测提供高分辨率图像。SRGAN[7]采用生成对抗网络架构形式,主要由生成网络和判别网络组成。CAA-SRGAN剔除了生成网络中的部分归一化层,以此提升网络模型的精度[8]。在生成网络中融入CA[9]从而能够同步关注与方向相关的位置信息以及通道信息。基于自适应激活函数(ACON)[10]可自适应选择是否激活函数的特点,取代PReLU和Leaky ReLU激活函数,进而提高水下结构缺陷偏振图像中缺陷信息的占比。CAA-SRGAN水下结构缺陷图像的超分辨率重建模型,其生成网络、判别网络以及训练流程如图3所示。本模型运用的感知损失函数包括内容损失与对抗损失。其中,感知损失函数用于捕捉水下结构缺陷图像的缺陷特征信息;内容损失用于评估生成缺陷的超分辨率图像与真实缺陷的高分辨率图像之间的差异;对抗损失则用于激励网络生成更为逼真的水下结构缺陷的超分辨率图像。
图3 CAA-SRGAN的生成网络、判别网络、训练流程

Fig.3 Generative network, discriminative network, and training process of CAA-SRGAN

1.3 基于CBAM-YOLOv7的水下结构缺陷检测模型

YOLOv7模型由骨干网络、颈部网络与头部网络3个部分构成。骨干网络中的SPPCSPC模块在卷积操作时引入多次最大池化层,有效防止因图像失真而导致缺陷特征质量下降的情况。首先,将经过偏振复原和超分辨率重建的图像输入到骨干网络部分,以此提取图像中的缺陷特征信息;接着,将其输入颈部网络以获取经过融合的3种不同尺寸的特征;最后,把融合后的特征传输至头部网络开展缺陷分类与检测工作,从而得出最终的缺陷检测结果。传统的YOLOv7模型在特征提取过程中常常存在特征冗余的问题,故而在原始模型基础上融合了卷积块注意力模块(Convolutional Block Attention Module,CBAM)[11],以此提高模型在空间维度和通道维度的感知力,对缺陷特征予以自适应细化,充实缺陷特征的细节信息。倘若将CBAM添加至骨干网络模块,会使得每次输入的特征产生差异,进而降低模型的检测性能。所以,本文将CBAM模块加入模型的颈部网络中,仅针对骨干网络所获得的3个有效特征层增加CBAM模块。图4展示了本文提出的CBAM-YOLOv7缺陷检测模型。鉴于孔洞缺陷尺寸较小,传统YOLOv7模型对小目标检测效率低,本文运用Mosaic数据增强方法,在扩充数据多样性、提升模型性能的同时,提高孔洞缺陷的检测能力。
图4 CBAM-YOLOv7缺陷检测模型

Fig.4 CBAM-YOLOv7 defect detection model

1.4 浑浊水体成像试验与网络参数设置

水体对光的吸收及散射特性与水体浑浊度密切相关。通常将浑浊度>50 NTU的水体视为高浑浊度水体。为获取不同浑浊度环境下的水下结构表观缺陷图像,本研究采用泥沙和牛奶模拟不同水体环境并开展偏振成像试验。在试验筹备阶段,于水箱内依次添加自来水与纯牛奶,随后借助TRI050S-QC彩色偏振相机捕捉水下目标。此次成像所选用的光源为自然非偏振光源。在本次试验中,利用泥沙模拟浑浊水体环境,所设定的低浑浊度水体的浑浊度为20 NTU,高浑浊度水体的浑浊度为 50 NTU,选取带有表观缺陷的混凝土试块作为成像目标。为精准调控水体浑浊度,采用逐步添加不同体积纯牛奶的方式,牛奶体积从0 mL起始,按照0.5 mL的公差递增,直至3 mL。试验发现,随着牛奶浓度逐步升高,图像中的缺陷信息呈现出逐渐模糊乃至丢失的特点。相较于牛奶这种相对均匀的介质,粒径差异较大的泥沙颗粒更能还原真实的水下场景。总计采集80张源于泥沙水体环境的缺陷图像,以及290张源于牛奶水体环境的缺陷图像,两类图像共计370张,图像分辨率均为1 224×1 024。牛奶水体环境中缺陷特征能够被辨识的图像有125张,而缺陷特征难以辨识的图像数量达到165张。为契合后续模型训练的需求,将所有图像分割成640×640像素大小,由此共获取1 480张原始水下偏振图像。
本次网络试验搭建于Windows10操作系统之上,所采用的编程环境为Python3.8版本,深度学习框架选用Pytorch2.1.0,代码编辑工具为Pychram2021.2版本,同时搭配CUDA12.1.1以及CUDNN8.9.1,以此保障试验的高效运行。试验所用电脑的CPU型号为i5-10600,GPU则配备了RTX4070。在SRGAN相关模型的训练参数设置方面,初始学习率设定为0.000 2,学习率下降策略采用余弦退火方式,最小学习率为初始学习率的1%。优化器选用ADAM,整个模型的训练总轮次设定为200代。针对YOLOv7相关模型,初始学习率设为0.01,同样采用余弦退火方式来调整学习率,所选用的优化器为SGD。在训练流程上,模型前50代采用冻结训练策略,每次训练的批量大小设置为4;解冻阶段从第51代开始,持续至250代,该阶段批量大小调整为2,模型总计训练300代。

2 成像试验与检测效果分析

2.1 水下结构缺陷偏振复原效果

为验证本文偏振复原方法的有效性,将本文方法与CLAHE[12]、MMLE[13]和Schechner偏振复原方法进行对比。图5为不同浑浊度泥沙水体及不同体积牛奶水体环境下混凝土试块缺陷图像复原效果对比。从图5(a)可以看出,本文方法不仅能够恢复低浑浊度图像中位于远处的裂缝缺陷,还能恢复高浑浊度图像中近处的微小孔洞缺陷。尤为关键的是,该方法可削弱强光所引发的强散射效应,而强散射效应恰是浑浊水体成像领域亟待解决的问题。由图5(b)可知,随着水体中牛奶体积逐步增加,图像内的裂缝信息随之逐渐减少。当牛奶体积达到1.5 mL时,CLAHE法、Schechner法、MMLE法以及本研究的方法均能够恢复裂缝特征,不过对比之下,本方法呈现出最为清晰的复原效果。当牛奶体积升至2.5 mL时,仅有本方法能够恢复裂缝特征,CLAHE、Schechner与MMLE这几种方法均失效。
图5 泥沙水体及牛奶水体中混凝土试块缺陷图像复原效果

Fig.5 Restoration results of defect images of concrete specimens in sediment-water and milk-water environments

在实际水下缺陷检测场景中,获取清水环境下的水下缺陷图像颇具难度。鉴于此,选用4种无参考水下图像质量评价指标,针对图5中的图像展开质量评价。这4个评价指标分别为平均梯度(Average Gradient,AG)、熵增强度量(Entropy Measure of Enhancement,EME)[14]、水下彩色图像质量评价(Underwater Color Image Quality Evaluation,UCIQE) [15] 和水下图像质量指标(Underwater Image Quality Evaluation,UIQM) [16],指标数值越高,意味着图像质量越佳。表1—表3分别为低浑浊度泥沙环境下、高浑浊度泥沙环境、不同牛奶体积水体环境下混凝土试块图像质量评价指标数值的平均值。从表1可以看出,在低浑浊度泥沙水体环境中,基于偏振信息的Schechner和本文方法在各项量化评价指标上,表现不及非偏振复原方法。本文方法在UIQM指标取得最优数值,在UCIQE指标取得次优数值。分析表2可知,在高浑浊度泥沙水体环境中,基于偏振信息的Schechner方法和本文方法,相较于非偏振复原方法,在量化评价指标方面优势显著。本文方法取得了最佳效果,在AG和EME指标中取得最优数值,于UCIQE和UIQM指标中取得次优数值。相较于原始图像,本文方法在AG、EME、UCIQE和UIQM这4个指标上提升幅度分别为252%、561%、241%和93%。从表3可以看出,在不同体积牛奶组成的水体环境中,本文方法取得了最佳结果,在AG、EME和UIQM这3个指标中取得了最优数值,在UCIQE指标中取得了次优数值。
表1 低浑浊度泥沙环境混凝土试块图像质量

Table 1 Image quality of concrete specimens in low-turbidity sediment environment

方法 AG EME UCIQE UIQM
原图 1.6 0.57 0.47 0.26
CLAHE 4.73(196%)** 2.25(295%)** 0.78(66%)* 0.73(182%)*
Schechner 2.51(57%) 1.29(126%) 0.73(54%) 0.4(57%)
MMLE 5.35(234%)* 2.62(360%)* 0.68(43%) 0.6(131%)
本文方法 3.89(143%) 2.18(282%) 0.77(64%)** 0.83(224%)*

注:*表示最优数值;**表示为次优数值;百分数代表与原图相比的提升幅度。下同。

表2 高浑浊度泥沙环境混凝土试块图像质量

Table 2 Image quality of concrete specimens in highly turbid sediment environment

方法 AG EME UCIQE UIQM
S0RAW 0.93 0.28 0.26 0.2
CLAHE 2.95(217%) 1.09(289%)** 0.81(210%) 0.36(86%)
Schechner 2.22(139%) 1.09(289%)** 1.09(289%)* 0.63(140%)*
MMLE 3.23(247%)** 1.06(279%) 0.89(241%)** 0.33(68%)
本文方法 3.27(252%)* 1.85(561%)* 0.89(241%)** 0.38(93%)**
表3 牛奶水体环境混凝土试块图像质量

Table 3 Image quality of concrete specimens in milk-water environment

方法 AG EME UCIQE UIQM
S0RAW 0.27 0.18 0.38 0.13
CLAHE 0.76(177%) 0.48(167%) 0.42(10%) 0.33(146%)
Schechner 0.75(174%) 0.44(146%) 0.83(118%)* 0.35(163%)**
MMLE 0.98(259%)** 0.66(269%)** 0.73(91%) 0.44(234%)
本文方法 1.6(487%)* 0.96(440%)* 0.74(93%)** 0.69(419%)*
本文模型通过引入混凝土结构和浑浊水体偏振信息作为先验知识对图像进行复原,极大保留混凝土试块的信息光,提高浑浊水体中缺陷图像质量,为水下结构缺陷检测提供高质量图像。得益于水下偏振复原模型的增强处理,在试验所收集的图像样本里,缺陷特征可辨识的图像数量出现显著增长,由原本的125张增加至190张;与此同时,缺陷特征不可辨识的图像数量大幅减少,从165张降低至100张。综合上述复原结果可知,偏振复原模型具备提升高浑浊度水下结构缺陷图像质量的能力,能够很好地适配浑浊水体水下缺陷检测领域。

2.2 水下结构缺陷偏振图像超分辨率重建效果

在本次研究中,利用本文所提出的CAA-SRGAN与SRGAN算法,针对水下结构缺陷偏振图像数据集中展开测试。具体而言,选取不同水体环境的500张水下结构缺陷偏振图像作为模型训练集,另外选取90张作为测试集。为精准验证本文2种改进方法的实际效能,采用了消融试验方案,进而就缺陷偏振图像的重建效果展开详细对比。表4为改进前后算法所取得590张图像的平均峰值信噪比(Peak Signal-to-Noise Ratio,PSNR)、平均结构相似性(Structural Similarity Index,SSIM)、平均信息保真度准则(Information Fidelity Criterion,IFC)和平均互信息(Mutual Information,MI)的均值数据。从表4结果得出,融入CA使得PSNR指标提高了0.5 dB,SSIM指标提升了0.009,IFC指标提高0.002;更换ACON自适应激活函数使得PSNR指标提高1.1 dB,MI指标增加了0.08。浑浊水体中散射粒子影响使得SRGAN+CA和SRGAN+ACON模型的超分辨率图像的整体PSNR提升幅度较小。将2种改进方法融合后PSNR指标数值提升5.5 dB,提升幅度为13.9%;SSIM指标数值提升0.019;IFC指标数值提升0.053,提升幅度为5.6%;MI指标数值提升0.38,提升幅度为25.3%。尤为值得一提的是,改进后的算法并未过度损耗计算效率,网络整体的参数量仅增长了0.4%,在测试集上平均重建时间为0.037 s。该模型能在短时间内获得高质量超分辨率的水下缺陷图像,契合工程对缺陷图像的超分辨率重建速度要求。
表4 CAA-SRGAN模型改进性能评估

Table 4 Performance evaluation of improvements to CAA-SRGAN model

算法 PSNR/dB SSIM IFC MI 参数量
SRGAN 39.7 0.955 0.935 1.50 1 550 000
SRGAN+CA 40.2 0.964 0.937 1.48 1 571 000
SRGAN+ACON 40.8 0.965 0.967 1.58 1 540 000*
本文方法 45.2* 0.974* 0.988* 1.88* 1 557 000
图6直观展示了水下结构缺陷图像的超分辨率重建效果对比状况。在浑浊水体环境下,存在着肉眼清晰可见的不可溶解粒子,原始算法在执行图像重建任务时,误把这些不可溶解粒子当作图像中的有效信息来处理,进而致使原算法在部分特定区域出现超分辨率重构失败的状况。
图6 不同网络模型超分辨率重建视觉效果

Fig.6 Visual comparison of super-resolution reconstruction results by different network models

引入CA和ACON对SRGAN模型的超分辨率重建效果均产生了一定的优化作用,但改进程度较为有限。相比之下,本文所提出CAA-SRGAN的模型显著改善了存在失真问题区域的图像质量,有效削减了因散射粒子引发的超分辨率失真现象,尤其是在缺陷边缘部位,优化效果格外显著。这表明本文算法能够精准提升水下缺陷图像的重建质量,为后续水下缺陷识别任务提供数据支撑。

2.3 水下结构缺陷目标检测效果

选用均值平均精度(mAP)对模型准确性予以评估,mAP本质上是裂缝、孔洞以及剥落缺陷各自平均精度的算术平均值,而平均精度则定义为在不同阈值设定下,精确率与召回率所构成曲线下方的面积。其中,精确率反映的是在所有预测结果里,正确识别预测的占比情况;召回率体现的是在所有真实存在的目标中,能够被正确检测出来的比例。本文具体采用mAP0.5、mAP0.75、mAP0.5~0.95这3个评价指标。mAP0.5和mAP0.75分别表示将IoU的阈值设为0.5和0.75时,裂缝、孔洞和剥落缺陷的mAP。mAP0.5~0.95表示当IoU的值为0.5~0.95、步长0.05时裂缝、孔洞和剥落缺陷的mAP。Small、Medium和Large对应的数值分别代表小面积目标(孔洞)、中面积目标(部分裂缝和剥落)、大面积目标(部分裂缝和剥落)在mAP0.5~0.95评价指标的取值。
表5清晰呈现了所提方法对YOLOv7模型的改进效果。从表5可知,YOLOv7在加入CBAM模块后(CBv7),模型的3个mAP指标均有所提高,mAP0.75提升最为明显,提升数值为0.11,提升百分比为29.7%。Small、Medium和Large数值的增加表明模型对裂缝、孔洞和剥落缺陷识别和检测精度提高。进一步来看,在YOLOv7引入偏振复原模型形成CPv7后,融合了偏振复原模型与注意力模块的检测模型,相较于单纯引入注意力机制模块,在3个mAP指标上的提升幅度更为可观。这得益于偏振复原模型有效削减了浑浊水体中散射粒子给缺陷信息带来的干扰,使得模型更易于捕捉并学习缺陷特征信息。
表5 YOLOv7模型检测效果对比

Table 5 Improvements of the proposed PCC-YOLOv7 model to existing YOLOv7 models

模型 mAP0.5 mAP0.75 mAP0.5~0.95 Small Medium Large
v7 0.77 0.37 0.39 0.06 0.35 0.49
CBv7 0.78 0.48 0.46 0.09 0.45 0.60
CPv7 0.85 0.54 0.51 0.10 0.51 0.66
PCCv7 0.87* 0.57* 0.52* 0.16* 0.52* 0.67*
最终构建的PCC-YOLOv7模型(PCCv7)整合了偏振复原模型、CAA-SRGAN超分辨率重建模型和CBAM-YOLOv7缺陷检测模型,在3个mAP指标上均取得了最大值。具体而言,mAP0.5提升幅度为13.0%,mAP0.75的提升幅度为54.1%,mAP0.5~0.95提升幅度为33.3%,三项指标的平均提升幅度为33.5%。偏振复原模型的引入,能够削弱浑浊水体中后向散射光对目标信息光的不良影响,从而增加了光学成像方法在浑浊水下环境的成像距离,提升成像质量;CAA-SRGAN模块的加入,不仅提高了图像的超分辨率重建精度,还加快了重建速度,为后续缺陷检测研究提供了高分辨率的水下缺陷图像;CBAM-YOLOv7模块的嵌入,进一步提高了模型对孔洞这类小面积目标的检测精度。值得一提的是,本文模型针对分辨率为640×640的图像,识别帧数可达62,契合实时水下缺陷检测的要求。
从测试集中选取3张水下结构缺陷图像,采取消融试验将本文改进算法与原始YOLOv7算法的缺陷检测效果进行对比,对比结果如图7所示。图7(a)呈现的是处于水下低光照环境的裂缝偏振图像,在此种复杂条件下,仅本文方法识别出上半区域裂缝目标,其他方法均未能达成这一检测效果。图7(b)展示的是浑浊水体环境下的裂缝偏振图像,CBAM-YOLOv7模型在检测过程中,出现了对侧边裂缝特征漏检的状况,只有本文方法能够同时识别侧边区域以及中部区域的细小裂缝。图7(c)为涵盖多种缺陷的水下偏振图像,在这幅图像的检测任务里,仅仅本文方法成功将远处的孔洞目标、近处的裂缝以及剥落目标全部正确识别出来,其余方法均出现了不同程度的漏检与误检问题,进一步证明了本文方法在水下结构缺陷检测方面的性能。
图7 不同检测模型缺陷检测效果对比

Fig.7 Comparison of defect detection performance among different detection models

3 结论

本文提出了一种基于偏振成像和深度学习的轻量级三阶段水下缺陷检测(PCC-YOLOv7)模型。偏振复原模型提高了水下缺陷在浑浊水体中的可见距离和能见度,复原后的图像在AG、EME、UCIQE和UIQM指标方面均有显著提升。CAA-SRGAN超分辨率重建模型提高了图像的PSNR、SSIM、MI和IFC指标,PSNR指标提升幅度13.9%,MI指标提升幅度为25.3%。PCC-YOLOv7模型对浑浊水体环境中水下结构表观裂缝、孔洞和剥落缺陷的检测能力得到了增强,具体体现在模型mAP0.5指标的提升幅度为13.0%,mAP0.75指标的提升幅度为54.1%,mAP0.5~0.95指标提升幅度为33.3%,三项指标的平均提升幅度为33.5%。本文方法能够有效抑制水体后向散射光,显著提升图像的对比度与清晰度,在浑浊水体环境下大幅提高水下缺陷的检测率与检测速度。这一成果为桥梁、大坝、闸门这类处于浑浊水体环境中的基础设施维修及检测工作提供了切实可行的技术手段。
本文围绕偏振成像方法于浑浊水体中的应用展开了初步探究。偏振成像方法在一定程度上能够克服水体散射的影响,但随着水深的增加,光线的衰减与偏振态变化更为剧烈,水下偏振成像有效性受到限制。偏振成像效果易受水体温度、浑浊度等物理化学参数变化的影响。当水体参数发生较大波动时,会导致成像质量不稳定,出现图像失真或无法正常成像的情况。后续将继续开展水深、水温和浑浊度等参数对水下成像质量的影响,提高混浊水体环境中水下结构缺陷的成像效果和检测精度。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
钮新强, 谭界雄, 田金章. 混凝土面板堆石坝病害特点及其除险加固[J]. 人民长江, 2016, 47(13):1-5.

(NIU Xin-qiang, TAN Jie-xiong, TIAN Jin-zhang. Analysis on CFRD Defect’s Characteristics and Its Reinforcement[J]. Yangtze River, 2016, 47(13):1-5. (in Chinese))

[2]
盛金保, 厉丹丹, 蔡荨, 等. 大坝风险评估与管理关键技术研究进展[J]. 中国科学:技术科学, 2018, 48(10):1057-1067.

(SHENG Jin-bao, LI Dan-dan, CAI Qian, et al. Research Progress and Its Practice of Key Techniques for Dam Risk Assessment and Management[J]. Scientia Sinica (Technologica), 2018, 48(10): 1057-1067. (in Chinese))

[3]
陈永灿, 陈嘉杰, 王皓冉, 等. 大直径长引水隧洞水下检测机器人系统关键技术[J]. 清华大学学报(自然科学版), 2023, 63(7): 1015-1031.

(CHEN Yong-can, CHEN Jia-jie, WANG Hao-ran, et al. Key Technology of Underwater Inspection Robot System for Large Diameter and Long Headrace Tunnel[J]. Journal of Tsinghua University (Science and Technology), 2023, 63(7): 1015-1031. (in Chinese))

[4]
陶显, 侯伟, 徐德. 基于深度学习的表面缺陷检测方法综述[J]. 自动化学报, 2021, 47(5):1017-1034.

(TAO Xian, HOU Wei, XU De. A Survey of Surface Defect Detection Methods Based on Deep Learning[J]. Acta Automatica Sinica, 2021, 47(5):1017-1034. (in Chinese))

[5]
MCGLAMERY B L. A Computer Modelfor Underwater Camera Systems[C]// Proceedings of the SPIE, Volume 208. Doi: 10.1117/12.958279.

[6]
SCHECHNER Y Y, KARPEL N. Recovery of Underwater Visibility and Structure by Polarization Analysis[J]. IEEE Journal of Oceanic Engineering, 2006, 30(3): 570-587.

[7]
LEDIG C, THEIS L, HUSZÁR F, et al. Photo-realistic Single Image Super-resolution Using a Generative Adversarial Network[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 105-114.

[8]
LIM B, SON S, KIM H, et al. Enhanced Deep Residual Networks for Single Image Super-resolution[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). July 21-26, 2017, Honolulu, HI, USA. New York: IEEE Press, 2017: 1132-1140.

[9]
HOU Q, ZHOU D, FENG J. Coordinate Attention for Efficient Mobile Network Design[C]// 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). June 20-25, 2021. Nashville, TN, USA. IEEE, 2021: 13708-13717.

[10]
李培育, 张雅丽. 基于改进SRGAN模型的人脸图像超分辨率重建[J]. 计算机工程, 2023, 49(4):199-205.

DOI

(LI Pei-yu, ZHANG Ya-li. Face Image Super-resolution Reconstruction Based on Improved SRGAN Model[J]. Computer Engineering, 2023, 49(4):199-205. (in Chinese))

DOI

[11]
WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional Block Attention Module[C]// Proceedings of the 15th European Conference on Computer Vision-ECCV 2018. Cham: Springer International Publishing. Munich, Germany, September 8-14, 2018: 3-19.

[12]
ZUIDERVELD K. Contrast Limited Adaptive Histogram Equalization[M]//HECKBERT P S. Graphics Gems IV. Amsterdam, The Netherlands: Elsevier, 1994: 474-485.

[13]
ZHANG W, ZHUANG P, SUN H H, et al. Underwater Image Enhancement via Minimal Color Loss and Locally Adaptive Contrast Enhancement[J]. IEEE Transactions on Image Processing, 2022, 31: 3997-4010.

[14]
AGAIAN S S, PANETTA K, GRIGORYAN A M. Transform-based Image Enhancement Algorithms with Performance Measure[J]. IEEE Transactions on Image Processing, 2001, 10(3): 367-382.

DOI PMID

[15]
YANG M, SOWMYA A. An Underwater Color Image Quality Evaluation Metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.

DOI PMID

[16]
PANETTA K, GAO C, AGAIAN S. Human-visual-system-inspired Underwater Image Quality Measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551.

Options
Outlines

/

〈 〉

Copyright © Journal of Changjiang River Scientific Research Institute, All Rights Reserved.
Powered by Beijing Magtech Co. Ltd.