Underwater Image Enhancement Using Adaptive Retinal Mechanisms

摘要

我们提出了一种水下图像增强模型，该模型受到硬骨鱼视网膜的形态和功能的启发。我们旨在解决由于模糊和不均匀的色彩偏移而引起的水下图像退化的问题。特别地，从颜色敏感的水平单元到视锥细胞的反馈和红色通道补偿用于校正非均匀颜色偏差。双极细胞的中心-周围对手机制以及无长突细胞到丛状细胞然后到水平细胞的反馈有助于增强输出图像的边缘和对比度。具有颜色对抗机制的神经节细胞用于颜色增强和颜色校正。最后，我们采用基于亮度的融合策略，从鱼视网膜的ON和OFF路径的输出中重建增强的图像。我们的模型利用全局统计信息(即图像对比度)自动引导每个低级滤波器的设计，从而实现主要参数的自适应。在各种水下场景上进行的广泛的定性和定量评估验证了我们技术的竞争力。我们的模型还使用水下图像显着提高了透射图估计和局部特征点匹配的准确性。我们的方法是单图像方法，不需要专门的水下条件或场景结构先验。

关键词：水下图像处理，具有生物启发性的视觉，色彩校正。

引言

水下图像通常会受到噪声，颜色失真和低对比度的影响，因为光在水中传播时会被衰减。这些问题增加了诸如自动鱼类和浮游生物的检测和识别等各种任务的难度。因此，已经提出了许多方法来恢复或增强退化的水下图像。

水下图像的降噪方法大致可分为基于小波的和基于滤波器的。一些算法考虑了前向和后向散射分量，以消除噪声并改善整体对比度。颜色校正操作旨在减少水下图像中通常存在的强烈色偏。许多策略旨在获得视觉上令人愉悦的结果，但是却无法实现稳健的基于色彩视觉的应用所需的色彩恒定性。

近年来，许多CC方法的建立都是为了检索场景的真实色彩，并且可以定量评估CC后的水下图像结果。然而，由于水下图像的红色分量通常比其蓝色和绿色分量弱得多，因此将专门为陆地环境设计的常规CC方法应用于水下图像会导致不希望的伪像。因此，已经修改了许多CC方法以适应水下环境。

Henke等假设在相同的衰减水平下平均反射率是消色差的。Ancuti等开发了shadesofgrey的补偿版本以对水下图像进行白平衡。他们进一步利用了可选的通道补偿机制来抑制由传统的基于灰度世界的方法引起的可能的红色伪影。所有这些方法均基于统一的色偏假设。实际上，色偏取决于场景的水类型和3D结构，从而使水下图像的统一CC无效。最近，Berman等人利用不同水体的光谱轮廓的先验来获得非均匀CC，并在一个新的水下数据集上定量评估了他们的方法，该数据集具有在不同位置拍摄的不同色偏。而且，最近开发了几种利用图像样式转换机制的基于深度学习的方法来生成增强的水下图像。

许多用于水下图像的增强算法都建立在基于暗通道先验(DCP)的除雾机制上：

公式1： $I_{\lambda}(x, y)=J_{\lambda}(x, y) t(x, y)+A_{\lambda}(1-t(x, y))$

其中 $I_{\lambda}(x, y)$ 表示捕获的水下图像， $J_{\lambda}(x，y)$ 表示没有退化的真实图像， $t(x，y)$ 是透射率， $A$ 是均匀的背景光。除雾的目的是在不知道 $A_{\lambda}$ 和 $t(x，y)$ 的值的情况下从 $I_{\lambda}(x，y)$ 中检索 $J_{\lambda}(x，y)$ 。早期的水下成像技术采用专门的硬件和在不同角度极化的多个图像。最近，受户外除雾[26]的启发，已经引入了几种基于DCP的水下图像解决方案。例如，Chiang和Chen 根据DCP 得出的深度估计来分割场景的前景。 Galdran等引入红色通道传输来恢复与水下短波长相关的颜色。这些方法依赖于t(x，y)和A的估计，这需要专门的先验。我们提出的模型基本上不依赖基于DCP的除雾机制，这是有优势的，因为DCP可能并不总是正确。此外，不使用DCP，Ancuti等人提出融合色彩平衡和增强的优点。我们遵循这种精神，使用自适应视网膜机制设计水下图像增强模型。

具体来说，我们提出了一种以硬骨鱼视网膜为灵感的图像增强模型，以解决水下图像的模糊和不均匀的色彩偏向问题。主要贡献如下。

我们模仿从色彩敏感的水平细胞到视锥细胞的视网膜反馈机制，以引入非均匀CC处理，与以前的最新技术(SOTA)相比，该处理可以很好地处理水下图像中的非均匀色彩偏差。通常基于统一的颜色偏差假设(例如，灰度世界假设)。实验表明，基于DCP的传输估计的准确性显着受益于我们提出的非均匀CC方法。
提出了一种新的锐化操作，用于模拟视网膜神经节细胞的颜色对立机制，以进行颜色增强和颜色校正，这对于调整水下图像的颜色外观非常灵活。
双极细胞的中心环绕对手机制用于灵活滤除水下图像的低通和带通频率，从而可以有效地将边缘和对比度信息传输到输出。
每个低级滤波器的主要模型参数都根据输入图像的整体对比度进行调整，从而模仿了周围区域对神经元感受野(RF)中心部分的动态调制。

我们工作的主要假设是海洋生物的视觉系统已经演化为适应水生场景的自然统计。因此，对海洋生物的感知和成像机制(其物理光学，感光体和神经生理机制)进行建模，无疑将为我们对水下图像的信息处理提供新的见解。

在第二部分中，我们简要介绍了硬骨鱼的相关视网膜结构和功能及其与水下图像退化的内在联系。提议的模型将在第三节中介绍。我们在第四节中对在各种水下环境下捕获的数据集上的模型进行了定性和定量评估，并在第五节中做出了结论。

鱼类(TELEOST FISH)视网膜介绍

在海洋中，由于海水的吸收和散射特性，要获得远距离物体的良好可见性是非常困难的。水越深，水生场景所包含的色度和对比度变化就越小。先前的研究表明，许多深海物种，尤其是甲壳类动物，头足类动物和鱼类，已经进化为拥有高度适应性的深海视觉系统，并具有空间分辨率，对比度敏感度和颜色识别的特定机制。

硬骨鱼类的视网膜结构主要由感光细胞，水平细胞，双极细胞和神经节细胞组成。鱼的行为和生活环境的多样性导致各种视网膜的结构和功能。感光细胞包括杆状细胞和视锥细胞。生活在深海中的鱼只具有杆状细胞，以适应光照较弱的环境。相反，生活在宽光谱环境中的鱼具有色觉，因为它们的视锥细胞可以区分不同波长的光谱。具有双锥体结构的锥体细胞通常对较长的波长敏感，而具有单锥体结构的锥体细胞对较短的波长具有最大的敏感性。在塞浦路斯鱼类中，具有双锥体结构的视锥细胞占视锥细胞的近50％，这可能是适应蓝光环境的结果。

在鱼的视网膜中，有三种类型的圆锥形连接的水平细胞和一种类型的杆形连接的细胞。水平细胞在视网膜中具有最大的RF，主要接收来自感光器的输入，然后产生反馈信号到感光器。反馈信号被认为对于消除广泛存在的不均匀颜色偏差很重要，因此鱼的视觉系统可以适应水下环境的颜色变化(例如，实现颜色恒定性)。双极细胞的RF呈现出典型的中心环绕对手结构。基于对刺激的响应模式，双极型细胞可以进一步分为基于ON中心和OFF中心的类型。处于中心的双极电池在RF中心被光刺激激发，但在RF周围被抑制。偏心的双极电池表现出相反的特性。在某些鱼类的视网膜中，双极细胞也具有对色性。具有色彩对手机制的空间中心环绕射频在增强水下图像的高通和带通频率的内容方面发挥了作用，从而促进了边缘和颜色对比度向输出图像的转移。

作为视网膜的最后一层，神经节细胞直接接收来自双极细胞的输入，因此具有中心周围和与颜色相对的RF结构。大量研究表明，在对视觉信号进行编码时，ON中心型和OFF中心型神经节细胞在功能上是不对称的。例如，位于中心的神经节细胞可以对具有相对较高亮度的信息进行编码，而位于中心的神经节细胞对具有相对较低的亮度的信息更敏感。视网膜因此选择性地融合了开和关的视觉通路，以进一步增强视觉信息的明暗部分的细节，这使得鱼的视觉系统对亮度和颜色定义的边界高度敏感。此外，神经元的RF特性在很大程度上取决于动态环境中视觉刺激的对比度。

鱼类视网膜启发模型

如Fig. 1所示，我们的模型遵循硬骨鱼视网膜中的基本视觉信号处理机制。

_{Fig. 1拟议模型的流程图受鱼视网膜机制的启发.HR，HG，HB分别表示红色®，绿色(G)和蓝色(B)敏感水平单元.HL表示杆连接的水平单元.输入彩色图像的R，G，B分量和亮度被发送到相应的感光器中。感光器的输出通过水平单元的反馈进行调制，然后传输到双极单元的RF中心，而S型调制后的水平单元的输出则传输到双极单元的RF周围。锥状通路中双极细胞的RF中心在通过无长突细胞进行伽马调制之后，还从杆状通路中的双极细胞接收输入。双极细胞的输出被传输到颜色相反的神经节细胞中进行进一步处理。通过对ON和OFF神经节细胞的输出进行积分(带有一种基于小波的融合)来获得最终输出。}

感光体

作为视网膜的第一层，可以将感光器分为棒型和圆锥型，用于将接收到的光信号传输到神经反应中。根据对光谱波长的敏感性，视锥细胞可以进一步分为长®，中(G)和短(B)类型。我们将水下图像 $f(x，y)$ 分为R，G和B通道，并将它们视为锥细胞的输入。我们只需将杆状细胞接收到的亮度信号定义为:

公式2： $L(x, y)=\left(f_{R}(x, y)+f_{G}(x, y)+f_{B}(x, y)\right) / 3$

水平细胞

水平细胞(HC)在视网膜中具有最大的RF尺寸，这使得可以在相对较大的区域上整合来自感光器的信号。从HC到感光体的反馈是视网膜中的第一条反馈路径(例如，图1中所示的感光体和HC之间的双向箭头)，这对于实现CC至关重要。在受视网膜机制启发的现有CC模型中，每个R，G，B通道的整体平均值被用作HC对每种锥体类型的反馈，这显然忽略了水下环境的不均匀颜色变化。此外，网状细胞对水平细胞也具有抑制作用，这在大多数基于视网膜的模型中并未考虑。在我们的模型中，我们使用局部均值滤波器来模拟HC的RF，该滤波器首先根据输入估计局部光源的颜色，然后返回估计的局部信号作为反馈，以校正视锥细胞编码的信号。基于鱼眼对更长波长的光更敏感的事实，并且水下图像的红色部分通常比其蓝色和绿色部分弱得多，例如HC 使用场景的明亮部分全局计算红色通道中的反馈，以避免在CC处理后出现红色伪像。三个通道中的HC反馈计算为：

公式3：

$\begin{array}{l} H C F_{R}(x, y)=\operatorname{mean}_{f_{R}>\theta}\left\{\left\{f_{R}(x, y)\right\} \operatorname{mean}_{N \times N}\right\} \\ H C F_{G}(x, y)=\left\{f_{G}(x, y)\right\} \operatorname{mean}_{N \times N} \\ H C F_{B}(x, y)=\left\{f_{B}(x, y)\right\} \operatorname{mean}_{N \times N} \end{array}$

其中的参数 $\theta$ 控制着红色通道中明亮部分的选择。在以(x，y)为中心的局部窗口 $\{f_R\}_{ N×N}$ 当没有像素值高于 $\theta$ 时，我们设置 $HCF_R(x，y)= max(\{f_R\}_{N×N})$ 来控制选择。 Fig. 2显示了由HC反馈(即 $\left.H C F_{\lambda}(x, y), \lambda \in\{R, G, B\}\right)$ )返回的估计光源颜色图与通常用于水下图像CC处理的两种方法之间的显着差异。请注意，我们提出的HC反馈估计了空间变化的光源颜色图，这对于非均匀CC非常有用，因为水下图像中的颜色衰减通常在光谱上不均匀。相反，常规方法总是返回均匀的光源颜色图。

通过HC反馈，锥信号变为：

公式4： $C S_{\lambda}(x, y)=\frac{f_{\lambda}(x, y)}{H C F_{\lambda}(x, y)}, \quad \lambda \in\{R, G, B\}$

然后，中间层细胞释放多巴胺以抑制黑暗环境中水平细胞的活性，从而以中等亮度提高图像成分的对比度。因此，我们进一步使用S形函数来抑制锥体信号在经过HC反馈调制后的暗淡部分，最终锥体信号为:

公式5： $C O_{\lambda}(x, y)=\frac{1}{1+e^{-10\left(C S_{\lambda}(x, y)-0.5\right)}}, \quad \lambda \in\{R, G, B\}$

我们可以通过公式3，公式5轻松获得带有输入 $L(x，y)$ 的杆状细胞 $CO_{rod}(x，y)$ 的输出，除了杆的路径只有一个通道(即 $\lambda \in L$ )。最后，将调制后的信号(即 $CO_{\lambda}(x，y)$ 和 $CO_{rod}(x，y)$ )发送到具有空间中心环绕RF的双极单元层，以局部增强对比度和边缘。

双极细胞

视网膜中的视觉信号处理分为双极细胞层的ON和OFF路径。此外，杆状途径上的双极细胞可以通过无长突细胞刺激或抑制锥体途径上的双极细胞。因此，锥体路径上双极细胞的RF中心也接收来自无长突细胞的输入(如Fig. 1中从无长突细胞到双极细胞的黑色和灰色箭头所示)。

我们将二维高斯函数定义为：

公式6： $g_{\sigma}(x, y)=\frac{1}{2 \pi \sigma^{2}} \exp \left(-\left(x^{2}+y^{2}\right) /\left(2 \sigma^{2}\right)\right)$

双极细胞的响应可以通过将视锥信号与高斯差(DOG)函数进行卷积来计算:

公式7：

$\begin{aligned} B p(x, y)=\max \left[0,\left(f_{b c} \otimes g_{\sigma_{c}}\right)(x, y)-k *\left(f_{b s} \otimes g_{\sigma_{s}}\right)(x, y)\right] \\ B p^{\prime}(x, y)=\max \left[0,\left(f_{b c}^{\prime} \otimes g_{\sigma_{c}}\right)(x, y)\right. \left.-k \mid *\left(f_{b s}^{\prime} \otimes g_{\sigma_{s}}\right)(x, y)\right] \end{aligned}$

其中 $Bp$ 和 $Bp^{\prime}$ 分别表示ON和OFF双极单元的输出， $\otimes$ 表示卷积运算。 $f_{bc}$ 和 $f_{bs}$ 表示ON双极电池的中心RF和环绕RF的输入。 $f^{\prime}_{bc}$ 和 $f_{bs}^{\prime}$ 是OFF双极型单元的中央和周围RF的输入(有关计算，请参见公式10~12)。对于双极细胞的杆状通路， $f_{bcL}$ 和 $f_{bsL}$ 分别是杆状细胞的信号和杆状水平细胞调制后的杆状细胞的信号：

公式8：

$\begin{array}{l} f_{b c L}=C O_{\text {rod}}(x, y) \\ f_{b s L}=\left\{C O_{\text {rod}}(x, y)\right\} \operatorname{mean}_{N \times N} \end{array}$

同样，我们可以将棒状双极细胞的输出计算为：

公式9：

$B p_{\text {rod}}=\max \left[0,\left(f_{b c L} \otimes g_{\sigma_{c}}\right)(x, y)-k *\left(f_{b s L} \otimes g_{\sigma_{s}}\right)(x, y)\right]$

对于双极细胞的锥体途径，有两种类型的输入。一个输入直接来自视锥细胞，另一个输入来自杆状双极细胞，经无长突细胞调节后。我们使用伽马校正来模拟无长突细胞的非线性调制，因此，锥双极细胞 $f_{bc}$ 的射频中心的输入由下式给出：

公式10： $f_{b c}(x, y)=C O_{\lambda}(x, y) * B p_{r o d}^{\gamma}$

在这项工作中，我们通过实验将 $\gamma$ 值设置为0.5。 $f_{bs}$ 是由水平单元本地处理的视锥信号，被视为视锥双极单元RF环绕的输入。

公式11： $f_{b s}(x, y)=\left\{C O_{\lambda}(x, y)\right\} \operatorname{mean}_{N \times N}$

最后，沿着OFF路径 $f^{\prime}_{bc}$ 和 $f^{\prime}_{ bs}$ 的信号可以简单地通过下式计算：

公式12：

$\begin{array}{l} f_{b c}^{\prime}=1-f_{b c} \\ f_{b s}^{\prime}=1-f_{b s} \end{array}$

在公式7和9中，需要确定参数 $\sigma_{c}$ ， $\sigma_{s}$ 和k。 $\sigma_{c}$ 和 $\sigma_{s}$ 分别是DOG的中心和周围比例，这有助于减少图像模糊。根据生理发现，通常将 $\sigma_{s}$ 限制为 $\sigma_{c}$ 的三倍。通过广泛的实验，我们发现对于大多数水下图像，当 $\sigma_{c}$ 设置在0.2到0.5之间时，通过DOG处理的图像清晰且对该参数不敏感，因此在此工作中我们始终将 $\sigma_{c}$ 设置为0.3。 k是控制RF周围对RF中心的抑制的权重。

神经节细胞

在鱼的视觉系统中，用于处理红色和绿色成分的神经节细胞的数量和类型远远超过用于蓝色成分的神经节细胞。在神经节水平上对红色和绿色成分的精细处理可能是对蓝蓝的水下环境的适应。为了使最终的增强图像更适合于人类视觉系统，我们选择了具有红色，绿色和蓝黄色颜色对手机制的单个对手单元，以提高图像的色彩对比度。 ON和OFF神经节细胞的RF中心和周围区域接收来自双极细胞的信号(即 $Bp$ 和 $Bp^{\prime}$ )，该信号构成神经节细胞的RF，其中红色中心/绿色周围，绿色中心/红色周围，蓝色中心 /黄色环绕和黄色中间/蓝色环绕(Fig. 1)。黄色通道的信号等于来自双极电池的红色和绿色通道的信号平均值，其计算公式为：

公式13：

$\begin{array}{l} B p_{Y}=\left(B p_{R}+B p_{B}\right) / 2 \\ B p_{Y}^{\prime}=\left(B p_{R}^{\prime}+B p_{B}^{\prime}\right) / 2 \end{array}$

最后，神经节细胞的反应是通过使用具有颜色对应性(DOGCO)的新DOG操作来计算的，写为:

公式14：

$\begin{aligned} G g(x, y)=& \max \left[0,\left(f_{g c} \otimes g_{\sigma_{c}}+m *\left(f_{g c} \otimes g_{\sigma_{c}}-f_{g s} \otimes g_{\sigma_{s}}\right)\right)(x, y)\right] \\ G g^{\prime}(x, y)=& \max \left[0,\left(f_{g c}^{\prime} \otimes g_{\sigma_{c}}+m *\left(f_{g c}^{\prime} \otimes g_{\sigma_{c}}-f_{g s}^{\prime} \otimes g_{\sigma_{s}}\right)\right)(x, y)\right] \end{aligned}$

其中 $Gg$ 和 $Gg^{\prime}$ 分别表示ON和OFF神经节细胞的输出， $f_{gc}$ ， $f_{gs}$ ， $f^{\prime}_{gc}$ 和 $f^{\prime}_{gs}$ 代表来自双极细胞的信号(即 $Bp$ 和 $Bp^{\prime}$ )。以带有红色中心/绿色周围的ON型神经节细胞为例(Fig. 1)，其中央RF将Bp的红色分量作为输入 $f_{gc}$ ，而其周围RF将Bp的绿色分量作为输入 $f_{gs}$ 。类似地，对于具有红色中心/绿色环绕机制的OFF型神经节细胞，其中央RF将 $Bp^{\prime}$ 的红色分量作为输入 $f^{\prime}_{gc}$ ，而其周围RF将 $Bp^{\prime}$ 的绿色分量作为输入 $f^{\prime}_{gs}$ 。在公式14中， $\sigma_c$ 和 $\sigma_s$ 是神经节细胞中心和周围RF的标度，我们将它们设置为与双极细胞相同的值。类似地，m表示控制周围射频对中央射频的影响的权重。

DOGCO操作似乎类似于[9]中使用的非锐化屏蔽。但是，存在三个明显的差异。

DOGCO运算是在色彩对手空间中计算的，而[9]中的模糊锐化则是在亮度空间中计算的。
DOGCO操作中的参数m是根据图像的整体对比度自动确定的，但是[9]中的操作使用直方图拉伸技术来避免参数设置。
DOGCO操作的目的是进行色彩校正和色彩增强，但是[9]的目的是使图像锐化，这与我们算法中的DOG处理步骤非常相似。 DOGCO操作中使用的颜色对手机制为在增强过程中调整水下图像的颜色外观提供了一种自适应方法。

根据自适应神经机制自动设置参数k和m

在公式7和公式14中，双极细胞和神经节细胞的射频中心与周围环境之间的相互作用通过DOG函数进行建模。但是，DOG在转移边缘和颜色对比度方面的效率取决于RF环绕的适当权重(即k和m)，这些权重很难自动调整。幸运的是，已经在哺乳动物视觉系统中找到了一种解决方案，其形式为动态的，基于对比度的，中心-周围皮质交互作用，但尚未在受HVS启发的配方中出现。例如，周围的射频对中央射频的影响通常根据中心和周围的局部对比度而变化，对更高的对比度刺激具有更大的抑制作用。尽管这些非线性相互作用的最终目的尚不完全清楚，但我们推测它们可能在颜色和对比度增强中发挥作用，因此，我们提出了一种自适应模型，该模型克服了临时或依赖于数据集的参数的需求( 从这个意义上讲，它是全自动的)。

具体而言，当水下图像的模糊度相对较高时，这对应于低对比度刺激，较大的k会调用周围RF的更多信号以改善局部对比度。我们已经发现参数k与水下图像中的雾度正相关。由于雾度的密度可以作为编码水下图像对比度的指标(例如，较高的雾度对应于较低的图像对比度)，我们直接使用DCP估算图像中的雾度。用作自动设置参数k的度量。

k的值大致与平均雾度成正比。基于DCP模型，等式中的 $t(x，y)$ 。 公式1可以写成：

公式15： $t(x, y)=1-\min _{x, y \in \Omega}\left(\min _{\lambda} \frac{I_{\lambda}(x, y)}{A_{\lambda} \mathrm{i}^{1 / 4}(x, y)}\right), \quad \lambda \in\{R, G, B\}$

其中是一个以(x，y)为中心的正方形补丁。我们将背景光 $A_{\lambda}(x，y)$ 估计为估计的不均匀光源颜色图：

公式16： $A_{\lambda}(x, y)=H C F_{\lambda}(x, y), \quad \lambda \in\{R, G, B\}$

注意，与公式1相比，背景光 $A_\lambda(x，y)$ 是异质的。因此，与基于DCP的除雾中的一般假设相反，估计的透射率t(x，y)在空间上取决于颜色。由于正确的深度估计需要背景光和水下图像的传输都需要正确估计，因此我们将定量显示我们提出的非均匀光源颜色图将比均匀背景光有更好的深度估计( 参见Fig. 13)。

最后，可以使用估计的图像雾度简单地计算k的值，如下所示：

公式17： $k=\operatorname{mean}\left(\min _{x, y \in \Omega}\left(\min _{\lambda} \frac{I_{\lambda}(x, y)}{A_{\lambda}(x, y)}\right)\right)$

我们使用类似的自适应机制来控制参数m的设置。我们发现m的值与双极单元输出图像的饱和度大致负相关。请注意，可以将图像的饱和度视为图像色彩对比度的简单度量.图像的饱和度可以计算为:

公式18： $S(x, y)=1-\frac{3 \min \left(B p_{R}, B p_{G}, B p_{B}\right)}{B p_{R}+B p_{G}+B p_{B}}$

我们取公式18中第二项的平均值,在整个图像上作为m的值：

公式19： $m=\operatorname{mean}\left(\frac{3 \min \left(B p_{R}, B p_{G}, B p_{B}\right)}{B p_{R}+B p_{G}+B p_{B}}\right)$

m的值与双极单元输出的饱和度成反比。较低的饱和度直观地表示m的值越高，因此周围的RF对中央RF的贡献越大，这可以帮助增强水下图像的颜色对比度。

ON和OFF通道的融合

我们仅使用加权小波方法融合来自ON型和OFF型神经节细胞的信号。目的是结合两个渠道的优势。此外，在小波融合期间，可以将由于每个通道的过饱和区域而导致的潜在伪像最小化。

公式20：

$\begin{aligned} \text {Output}(x, y)=\text {wavelet}\left\{w_{O N}(x, y) * G g(x, y)+w_{O F F}(x, y) * G g^{\prime}(x, y)\right\}_{2} \end{aligned}$

其中 $w_{ON}$ 和 $w_{OFF}$ 是权重，分别控制来自OFF和ON通道的信号的贡献。为了强调图像亮部分的权重并减弱图像暗部分的权重，引入了Sigmoid函数:

公式21： $F(G g(x, y))=\frac{1}{1+e^{-10(G g(x, y)-0.5)}}$

ON路径的归一化权重为:

公式22： $w_{O N}(x, y)=\frac{F(G g(x, y))}{G g(x, y)+F(G g(x, y))}$

OFF路径的权重为

公式23： $w _{O F F}(x, y)=1-w_{ON}(x, y)$

请注意，我们使用公式20对由ON和OFF路径处理的亮度信息进行融合与其他基于融合的方法不同，后者使用各种权重来突出显示特定区域(例如，拉普拉斯对比度权重，显着性权重，饱和度权重)。

实验与比较

本节将首先详细介绍每一层的功能，参数设置对性能的影响，以及对第三节中介绍的我们提出的非均匀CC的全面验证。然后，我们将基于对各种数据集的定性和定量评估，将我们的方法与现有的水下图像恢复/增强技术进行比较。

各层功能

水平细胞和不均匀的色彩校正：

涉及公式3和4的操作的水平单元的处理充当非均匀CC方法，但是对红色通道具有依赖于参数 $\theta$ 的全局补偿。我们首先使用估计的不均匀光源颜色的平均统计量确定合适的 $\theta$ 值。我们选择ImageNet的水下子集(n09376526)作为包含1069张彩色图像的验证数据集。该子集中的图像是在不同深度的各种水下场景中捕获的，基本可以满足非均匀色偏下场景多样性的要求。

我们首先将公式3 $\theta$ 设置为0.0和Fig. 3中的蓝点在R对G和R对B的图中显示了水下子集中每个图像的估计不均匀光源颜色的平均值。这些蓝色点的中心由红色点表示。我们可以观察到，红点的位置远离R与G和R与B的空间中心(即R = G = 1/3或R = B = 1/3的点，如Fig. 3a Fig. 3b中的黑点)。这意味着对于大多数水下图像，红色通道总体上比绿色通道和蓝色通道弱。因此，我们需要调整 $\theta$ 的值以补偿红色通道，以使图像的平均反射率是消色差的(即红点应与黑点重合)。我们对此步骤的假设是，通过移动色度的分布对颜色分布进行归一化，将使它们的平均值大致收敛于消色差假设，并且对图像的颜色分布不敏感，因为该子集已经包含了许多彩色各种相机设置捕获的场景。

通过以0.01的步长进行穷举搜索，我们发现 $\theta=0.29$ 时，估计的不均匀光源颜色(如Fig. 3中的绿点所示)的平均值的中心最接近黑点。因此，对于以下实验，我们始终将其设置为 $\theta=0.29$ 。为了直观地显示对色彩校正的影响，Fig. 4给出了两个水下图像的结果，分别为 $\theta=0.15 , 0.3和0.45$ 。我们观察到两个图像在 $\theta=0.3$ 时都能获得更好的色彩恢复(例如，Fig. 4c)。相反，在 $\theta＝ 0.15$ 的情况下，校正后的图像呈现出微红的外观(Fig. 4b)，而在 $\theta＝ 0.45$ 的情况下，图像呈现出微蓝的外观(Fig. 4d)。Fig. 4e显示了在Fig. 4c中通过应用公式5改善了全局对比度之后的结果。

从颜色敏感的水平像元到视锥细胞的反馈的另一个优点是引入了非均匀的CC处理。Fig. 5示出了通过各种方法对具有不均匀颜色偏差的不同图像的CC和相应的估计光源颜色的比较。基于均匀色偏假设的方法总是返回估计的单一光源色，这不能有效地消除不均匀色偏。例如，Ancuti等人给出的图像中的色彩偏差仍然存在。但是，我们提出的非均匀CC方法返回了估计的多种光源颜色，可以很好地处理水下图像中的非均匀颜色偏差。第四部分将通过定量测量为具有不均匀色彩偏差的水下图像提供更多的CC结果。

双极细胞和神经节细胞：

通过自适应DOG处理，双极型细胞可进一步改善图像的局部对比度，从而帮助消除雾度。 Fig. 6示出了通过双极细胞和神经节细胞的ON和OFF途径分别增强的水下图像，其中不均匀雾度被显着地消除。我们发现ON和OFF通道在增强图像的局部对比度方面起补充作用。例如，具有ON通道的DOG处理通常会导致高饱和度的区域具有较亮的高光和较暗的阴影(例如，Fig. 6中的ROIs)。但是，具有OFF通道的DOG处理可以很好地保留亮区和暗区的细节，因此有助于在融合后通过ON通道平衡过度增强的结果(例如，Fig. 7)。因此，最终输出在质量和数量上都优于融合之前的输出(即，UCIQE = 0.6103与UCIQE = 0.6059或0.5736)。尽管通过双极电池进行的处理似乎会降低颜色对比度，但是随后通过神经节细胞进行的颜色对手处理可以改善颜色对比度。

在第III E节中，我们采用图像的全局统计信息(例如，雾度和色彩饱和度)来自动控制参数k和m的设置，以指导色彩增强和除雾。为了说明参数如何影响结果，我们以ON路径为例。我们在公式7和14中测试了k和m的各种值，结果列于Fig. 8，其中双极层的结果显示在顶部，神经节层的结果显示在底部。我们可以看到，随着参数k的增加，图像中的雾度逐渐降低，直到图像暗部的一些细节也被抑制为止(注意，与OFF通路融合可以平衡这个问题，如Fig. 6. 和 Fig. 7)。对于底部行显示的神经节细胞，颜色增强的结果也适用类似的趋势。随着参数m的增加，图像的色彩饱和度变高，从而有助于增强图像的色彩对比度。在这种情况下，我们的模型使用全局统计信息来自动计算值k为0.66和m为0.71，这提供的性能与Fig. 8第四栏中的图像非常接近。

水下除雾和色彩校正评估

我们采用了五个指标来定量评估所提出的方法。前两个是最近开发的水下彩色图像质量评估指标：UCIQE 和U IQM 。第三个指标是再现角度误差(RAE)，用于评估色彩恢复的性能。第四个度量是皮尔逊相关系数( $\rho$ )，用于测量估计的透射图的真实深度和负对数之间的相关性。其值介于-1和+1之间，其中+1是完美的相关性，表示传输估计不错，而较低的值表示未正确估计场景的3D结构。负值表示对背景光的估计错误，或者所使用的先验对那个场景无效。我们最终应用了间接评估，以证明我们的方法在协助解决局部特征点匹配的艰巨任务中的有用性。

我们首先在一个新的水下数据集上评估了我们提出的方法，该数据集包含颜色图表和场景的3D结构，并以立体成像为基础. 我们将结果显示在RAWimage上以进行公平比较，并采用Berman等人推荐的标准相机管线。将RAWdata转换为我们的方法可以处理的格式。我们使用[15]作者提供的代码来计算RAE和 $\rho$ 。Berman等人也引用了该数据集上其他方法的结果。从Fig. 10中可以看出，由于基本假设是均匀的颜色偏差，的水下图像处理方法无法一致地校正图像中的颜色，并且在视觉上，甚至会增加色彩偏见。相反，水下处理方法利用图像的局部颜色属性(例如，在[9]中对高度衰减的局部区域进行红色通道补偿的GW假设，在[15]中使用不同水类型的多个光谱轮廓，并进行估计. 我们的方法提出的非均匀光源颜色图)可以获得更一致的颜色外观，因此在保持不同水下场景的颜色一致性时具有很高的鲁棒性。我们的方法在恢复不同距离的颜色方面非常有效，如Fig. 10第四行的颜色图表所示。Table II显示了Berman等人的RAE的中值和平均值。每种方法的数据集。通过比较输入图像和全局对比度拉伸的结果(即Orig.与Cont.)，我们看到全局操作无法补偿与距离相关的颜色退化。尽管对比度拉伸的RAE通常低于最接近的图表的原始输入(#1)，但对于较远的图表，此差异通常会减小，这表明需要进行非均匀的颜色校正。我们提出的方法显示出最低的RAE，因此比以前的算法[获得了明显更好的CC性能。与最近的SOTA相比，我们提出的方法还具有更好的性能(例如，我们的方法为 $5.44^{\circ}$ ，而[75]为 $5.76^{\circ}$ ，[15]为 $7.03^{\circ}$ )。 Fig. 12通过穷举搜索Berman等人的两个示例，给出了在参数k和m各种设置下我们方法的结果。如果我们微调每个参数，我们的方法甚至可以进一步获得更好的CC性能。但是，根据自适应神经机制自动设置k和m已允许通过穷举搜索获得与采用最佳参数的结果相近的可比结果(例如红星)，这进一步证明了我们的可推广性。实际应用中的自动方法。

Fig. 11进一步显示了通过几种最近的水下除雾方法在七个水下图像上获得的结果。Table I和Table III使用UIQE 和UCIQE 的度量标准提供了相应的定量评估，这些度量标准专门用于评估水下图像增强方法的性能。可以看出，He等人的户外除雾方法在色彩校正和对比度增强方面，水下场景表现不佳。 Galdran等人最近的水下除雾方法在恢复所考虑场景的可见性方面，比室外方法显示出更高的鲁棒性。然而，通过这些方法处理的图像仍然遭受明显的色彩偏差(例如，Fig. 11中的Diver 1和Coral Reef 3的图片)。
我们的方法在色彩校正方面胜过它们，并且在UIQM，CM，SM，ConM和UCIQE指标上具有相似或更高的值。与[9]中提出的最新的多尺度方法和使用先验水类型的方法[10]相比，我们提出的方法产生的图像具有更高的清晰度和更好的色彩校正性能。我们的方法定量获得了最高的彩色度(CM)和清晰度度(SM)，因此在所有方法中，就UIQM而言都实现了最佳性能。同样，我们提出的方法通过获得最高的UCIQE评分，平均而言也明显优于其他方法。

我们进一步处理了一组水下图像，其中包含由七个不同的专业相机拍摄的标准Macbeth色彩检查器。 Fig. 14显示了我们的方法对不同相机拍摄的水下图像的结果。显然，我们的方法有效地消除了主要由更换相机引起的相同场景中的颜色差异，从而获得了相当一致的色彩外观，这进一步证明了我们的方法对于不同相机设置的鲁棒性。

Fig. 15给出了Li等人提出的最新水下图像数据集的更多结果。该数据集当前包括从Internet收集的890个现实世界的水下图像，这些图像具有各种颜色偏差和对比度下降。与包括两个基于深度学习的方法的五个SOTA相比，我们提出的方法可以有效地消除这些场景中的各种颜色偏差，从而保持相当一致的颜色外观，如Fig. 9. 11. 10. 14所示。这进一步证明了我们提出的方法在处理具有各种颜色和对比度下降问题的水下图像时的鲁棒性。 Fig. 9进一步考虑了在人工照明条件不均匀的混浊海水中观察到的极端情况，其中由于蓝色通道的强烈衰减，图像出现了相当低的对比度，并且不均匀地泛黄。在对比度改善和色彩校正方面，我们提出的方法比以前的方法表现更好。

应用领域

Table IV显示，基于众所周知的DCP ，我们的非均匀光源映射策略在估计透射率方面产生了显着改善。从Fig. 13中可以看出，使用均匀光源假设估算透射图的方法的估算效果很差。相比之下，就传输精度而言，采用图像的空间相关颜色属性的水下处理方法[15]优于其他算法。我们使用非均匀颜色特性的方法的性能仅在Berman等人提出的方法之前。但是，他们的方法依赖于水类型的特定先验。

最后，我们使用SIFT [86]运算符提取关键点，并比较了原始图像和除雾后的图像的关键点计算和匹配过程。在两种情况下，我们使用完全相同的方式应用SIFT的原始实现。Fig. 16中有希望的改进表明，通过增强水下图像的整体对比度和局部特征，可以大大增加匹配的关键点对的数量。

关于鲁棒性

我们都知道，水下图像增强方法的鲁棒性很重要，因为水下图像具有各种质量下降问题，而鲁棒性似乎是当前方法中最严重的问题。但是，引入的机制和策略使我们的方法对参数设置大致不敏感。例如，为了自动设置双极细胞和神经节细胞的DOG模型中涉及的参数k和m，我们提出了一种自适应方法，该方法模仿基于对比度的中心-周围皮层相互作用机制克服了临时或依赖于数据集的参数的需求。具体地，参数k和m与图像的对比度成反比，如Fig. 8. 10. 11. 12. 14. 15所示，其可以自适应地增强具有低对比度或低色彩饱和度的水下图像的颜色对比度。通过自动设置k和m，我们可以观察到我们提出的该方法可以有效消除这些场景中包含的各种色彩偏差，从而保持相当一致的色彩外观。另外，我们的方法对于由不同相机设置(即，Fig. 14)拍摄的图像也表现出相当强的鲁棒性。

结论

在这项工作中，我们通过仔细考虑水下环境的特征和硬骨鱼视网膜的适应机制，提出了一种新的水下图像增强模型。在不同水下数据集上进行的大量实验表明，我们的方法可以同时消除雾度和不均匀的颜色偏差。与SOTA相比，我们的技术在定性和定量评估方面都产生了非常有竞争力的表现。此外，我们首次展示了对具有挑战性的水下图像处理任务建模水下生物视觉机制的价值。

我们将这项工作的有希望的结果归因于这项工作与其他现有水下图像处理方法之间的以下差异。