A Biological Vision Inspired Framework for Image Enhancement in Poor Visibility Conditions

摘要

对于许多计算机视觉应用而言，图像增强是重要的预处理步骤，尤其是在可见性条件不佳的情况下。 在这项工作中，我们开发了受生物视觉尤其是早期视觉机制启发的统一的两种途径模型，该模型有助于图像增强任务，包括低动态范围(LDR)图像增强和高动态范围(HDR)图像色调映射。 首先，将输入图像分离并发送到两个视觉路径：结构路径和细节路径，分别对应于早期视觉系统中的M和P路径，分别编码低频和高频视觉信息。在结构路径中，使用扩展的生物归一化模型来集成全局和局部亮度适应，该适应性可以处理具有变化照明的视觉场景。 另一方面，基于局部能量加权，在细节路径中实现了细节增强和局部噪声抑制。 最后，将结构和细节路径的输出进行集成以实现低光图像增强。 此外，所提出的模型还可以通过一些微调步骤用于HDR图像的色调映射。在三个数据集(两个LDR图像数据集和一个HDR场景数据集)上的大量实验表明，所提出的模型可以有效地处理上述视觉增强任务，并且胜过相关的最新技术。

关键词：夜间图像，弱光图像，HDR图像，视觉适应，降噪。

引言

图像增强是许多计算机视觉应用程序中重要的预处理步骤。 特别地，在弱光或夜间条件下捕获的图像通常遭受较差的可见度和较弱的对比度。 一个有趣的问题是人类视觉系统(HVS)如何能够有效抵抗复杂视觉场景中的各种视觉干扰并保持高度鲁棒的视觉处理。 在视觉神经科学领域，视觉适应机制在早期视觉处理阶段起着举足轻重的作用，这一点已被广泛接受。 此外，从工程学的角度来看，受益于机器学习技术(例如深度学习)的飞速发展，研究人员在计算机视觉领域的许多应用中都取得了长足的进步。 但是，由于存在各种干扰(例如噪声)，因此这些训练有素的模型在处理低光照或夜间场景时通常效率低下。高效的图像增强是重要的预处理步骤，可确保面对低光照或夜间场景时场景分析方法具有很高的鲁棒性。

大多数经典的图像增强方法都集中在调整输入图像的直方图以体现更多的视觉细节。 例如，直方图均衡(HE)及其变化(例如，自适应直方图均衡(AHE)，双直方图均衡(BHE)，对比度受限的自适应直方图均(CLAHE))旨在调整 通过施加不同的正则化项来分布直方图。另外，上下文和变化对比度增强方法使用上下文信息来执行非线性数据映射以增强视觉效果。 有学者还提出了一种基于二维(2D)直方图的分层差异表示的对比度增强方法。

另一方面，受早期视觉系统所涉及的生物学机制的启发，著名的Retinex理论假设视觉图像可以分解为两个部分，即反射率和照明度。 乔布森等，Wang等基于Retinex理论开发了多种版本的图像增强功能，例如单尺度Retinex(SSR)，多尺度Retinex(MSR)等。 提出了一种通过用双对数变换映射照明以在细节和自然度之间取得平衡的方法来保持不均匀照明图像的自然度的方法。最近，同时反射率和照度估计的加权变分模型(SRIE)可以保留更多细节，同时在一定程度上抑制噪声。 Park等 ， Li等人提出了一种基于变分优化的Retinex模型的弱光图像增强方法。 通过另外考虑噪声图，提出了具有鲁棒Retinex模型的弱光图像增强方法。 沿着这条线，郭等人提出的方法。 构造良好的照明图可以在微光图像增强上实现高性能和高效率。

与通常适用于低(或标准)动态范围(LDR)图像的上述方法不同，色调映射方法设计用于高动态范围(HDR)场景的动态范围压缩。 但是，这些任务的共同目标是保留甚至增强细节并提高场景的可见性。因此，基于Retinex的方法也已广泛用于色调映射任务。 例如，一些基于Retinex的改进方法在HDR图像渲染中显示出高效率。 此外，还有许多专门为HDR色调映射任务和视频压缩设计的算法。 提出了一些基于多重曝光融合的方法，这些方法对于HDR色调映射和弱光图像增强都表现良好。 最近，已经开发了许多基于深度学习的方法用于HDR色调映射和弱光增强。 这些方法可以充分利用从训练数据中提取的视觉特征，并为动态范围压缩和视觉增强提供良好的性能。

从生物视觉系统的角度来看，为了实现信息处理的高效率，生物视觉系统已经发展成为一种提高输入视觉信息质量的有效系统。 除其他外，许多研究表明，除法归一化作为一种规范的神经计算，在视觉适应中起着举足轻重的作用。 另外，视网膜被认为是生物视觉系统中视觉信息处理的第一步，视网膜的基本功能是预处理视觉输入。 已经考虑了几种重要的生物学机制来改善视觉信息的可视性。

1. 视觉适应与分裂归一化。 视网膜具有将视觉场景强度水平的高范围与可用的神经机器的操作范围相匹配的能力，这取决于局部适应机制。 此外，自然场景的前两个统计时刻(平均强度和对比度)被认为是视网膜快速适应的重要术语。 近年来，越来越多的证据表明，除法归一化可以是一种规范的神经计算，并且可以用于包括视觉光适应在内的不同任务。 许多工作还显示了分割归一化模型在图像增强任务中的作用。
2. 早期视觉系统中的两个视觉通路。 视网膜中的并行信息处理通道在进一步的视觉处理中起着重要的作用。 基本上，输入的视觉信号是用两种类型的细胞在视网膜中处理的，即Midget细胞和Parasol细胞。 尤其是，小型单元具有较小的接收场(RF)，用于编码高频信息，包括视觉场景中的细节和噪声。 另一方面，Parasol单元具有较大的RF，并且擅长编码低频信息(即图像的整体结构)。巨细胞通路(M-通路)和小细胞通路(P-通路)是早期视觉系统中的两个主要神经元流。

双向路径策略和视觉适应的贡献已在许多神经科学和计算建模领域得到证明。 例如，在计算建模领域，Meylan等人通过直接应用传感器捕获的马赛克图像，我们提出了视网膜局部适应模型用于色调映射。 最近，已经开发了视觉适应模型用于LDR图像增强和/或HDR色调映射。 另一方面，图像分解策略已广泛用于图像处理，例如图像去噪和JPEG伪影抑制。

在本文中，我们专注于两种类型的图像增强任务：

1. LDR图像增强

2. HDR色调映射

这两个任务的共同目标是增强细节并提高场景的可见性。 对于LDR图像增强，输入图像的动态范围较低，例如小于256：1。 相反，对于HDR色调映射任务，输入图像通常具有较高的动态范围(例如，大于1000：1)。 这意味着HDR色调映射包括动态范围压缩操作，以匹配显示设备的有限动态范围。 Fig. 1显示了上述增强任务的三个示例以及本文提出的方法的结果。

在这项工作中，我们尝试建立一种生物学启发的方法，而不是基于生物学的方法，并且所提出的方法仅受部分可视信息处理机制的启发，用于考虑的图像处理任务。 除了生物学特性激发图像在空间尺度上分解为低频和高频通道外，我们还采用了其他生物学特性进行进一步处理。 例如，引入了扩展的归一化模型以整合低频通道中的全局和局部亮度适应。

总之，本文有以下贡献：

1. 我们建立了一个统一的框架来处理多种图像增强任务，包括LDR图像增强和HDR色调映射。 平行路径的策略是受早期视觉路径机制的启发，可以使用一般的结构-纹理分解方法轻松实现。
2. 受最近生理学发现的启发，我们提出了一个Naka-Rushton方程的扩展，以整合局部和全局适应项，从而在视觉局部适应方面表现出更高的灵活性和更好的性能。
3. 提出了一种新的全局到局部噪声估计策略。 我们采用两步估计(全局到局部)方法来估计噪声级别，从而在抑制噪声和保留细节方面取得了良好的性能。

图像增强框架

受早期视觉系统中并行路径的启发，我们在这项工作中提出了基于两个视觉流(即结构路径和细节路径)的图像增强框架。Fig. 2总结了所提出模型的草图。首先，将输入的视觉图像分离并发送到这两个并行路径中。 具体而言，结构路径传递并处理低频信息(例如，亮度)，并通过视觉适应机制将图像亮度调节至合理水平。 同时，噪声被抑制并且结构细节被保留在传递高频信息(例如，细节和噪声)的细节路径中。 最后，将结构路径和细节路径的输出进行组合，以实现亮度调节，噪声抑制和细节增强。

全局噪声估计的路径分离

弱光图像，尤其是夜间图像，通常会受到严重的干扰。 为了改善这种图像的视觉质量，必须在图像增强处理期间抑制或消除噪声。 通常，直接改善场景的光线也会放大噪声，这会增加抑制或消除噪声的难度。通过分离的视觉路径，可以在结构路径中调整(增强)亮度，并在细节路径中实现噪声抑制。 Li和He 从生物学上发现，与紧凑分布的点相比，猫中的某些LGN细胞对分散分布的点的刺激响应非常弱(例如，分散分布的点被压缩成一条线)。 这一生理发现表明，某些LGN单元(通常用于高频信息处理)可用于保留细节的噪声抑制。 从工程学的观点来看，基于图像分解方法可以实现去噪。 例如，Rudin等人提出的噪声去除算法。 基于TV模型，该模型通过使用基于TV的图像分解去除噪声层来实现降噪。 在这项工作中，我们不直接删除基于TV的分解所分解的细节层，而是在细节层中实现噪声抑制和细节保留。

为了将输入图像分为两个路径，我们采用基于总变差(TV)能量的图像分解方法。 首先，可以将输入图像$I ^c(x，y)$视为两层的叠加：基础层$I^c_{base}(x，y)$和细节层$I^c_{ detail}(x，y)$，即

公式1：$I^{c}(x, y)=I_{b a s e}^{c}(x, y)+I_{d e t a i l}^{c}(x, y)$

然后，基于[49]中提出的TV正则化，通过最小化以下目标函数获得基本层:

公式2：$\min _{I_{\text {base}}^{c}} \sum_{(x, y)}\left(I_{\text {base}}^{c}(x, y)-I^{c}(x, y)\right)^{2}+\lambda^{c}\left|\nabla I_{\text {base}}^{c}(x, y)\right|$

该目标函数包括两个术语：第一个是适应纹理分量的差项，用于保留有意义的结构； 第二个是基于总变化量的正则化项，它将限制图像细节。 算子∇表示梯度算子，并且$λ^c$被设置为全局噪声估计($ε^c$)的2倍，即，$λ^c＝2ε^c$，c∈{r，g，b}。 设置$λ^c=2ε^c$的主要目的是确保将噪声和部分高频细节(例如细边)划分为细节层。 因此，可以在细节路径中实现噪声抑制和细节增强，而不会受到低频信息的干扰。

全局噪声估计($ε^c$)可通过[52]计算:

公式3：$\varepsilon^{c}=\sqrt{\frac{\pi}{2}} \frac{1}{6(W-2)(H-2)} \sum_{(x, y)}\left|\left(I^{c} * N_{s}\right)(x, y)\right|$

公式4：$N_{s}=\left[\begin{array}{ccc} 1 & -2 & 1 \\ -2 & 4 & -2 \\ 1 & -2 & 1 \end{array}\right]$

其中，∗ 表示卷积算符，c∈{r，g，b}。W和H分别是图像($I^c$)的宽度和高度(以像素为单位)。 通过公式4，我们可以粗略估计高频分量的大小，该高频分量用于确定公式2中的正则化参数。 因此，所提出的方法可以自适应地确定将被发送到细节路径中的高频分量。

通过求解公式2，我们将获得包含场景主要结构的基础层。 那么细节层可以简单地获得为：

公式5：$I_{\text {detail}}^{c}(x, y)=I^{c}(x, y)-I_{\text {base}}^{c}(x, y)$

Fig. 3示出了具有全局噪声估计的图像分解的几个示例。 从Fig. 3可以清楚地看到，亮度信息主要被分为基础层，而细微的细节和噪声则出现在细节层中。 因此，基础层的信息将在构造路径中传递，因此，调整构造路径中的亮度不会放大细节路径中存在的噪声。 另一方面，如下所述，与亮度分离的细节层将有助于抑制细节路径中的噪声。

注意，从图像处理的角度来看，即使在图像增强领域中，将图像分解为各种比例也是一种通用技术。 例如，结构纹理分解已广泛用于图像处理。 然而，在这项工作中，我们从生物视觉系统的角度重新审视了结构-纹理分解。 另外，我们将全局噪声估计用于参数设置，这有助于在不同噪声水平下实现场景的自适应分解。

结构路径中的亮度适应

在我们的模型中，在结构路径中实现了视觉适应和亮度调节。 为了获得亮度信息，我们将给定图像的基础层从RGB空间转换为HSV颜色空间，然后提取V通道作为亮度信息。 在这项工作中，我们使用[54]中提出的算法(Hexcone模型)将输入图像从RGB转换为HSV，该算法通过MATLAB中的图像工具箱实现。 此方法获得的等效H，S和V分别在[0,1]范围内。这种颜色转换已广泛用于图像增强任务，并显示出可接受的结果，几乎没有质量损失。

为了将给定图像的亮度调整到合理的范围，根据众所周知的Naka-Rushton(NR)方程，提出了一些视觉感光器响应模型，该模型被设计为适合杆和杆的响应曲线。 生物视觉系统中的视锥细胞。经典的Naka-Rushton方程描述了S形响应曲线，其定义为:

公式6：$R(x, y)=\frac{L(x, y)^{n}}{L(x, y)^{n}+\sigma^{n}}$

其中$L(x，y)$是视觉输入的强度。 σ是一个全局适应因子(表示输入光水平的常数)，它控制对数输入亮度轴上S形曲线的平均值(Fig. 4.(left))。 n控制S形曲线的斜率，这会影响整体对比度的缩放比例(Fig. 4.(right))。 因此，视觉适应处理可以被认为是根据输入的视觉场景或场景的局部区域对σ和n的调整。

公式6中的经典NR方程为视觉适应提供了一种简单而有效的策略。 但是，此NR公式通常无法适应本地视觉输入。 特别是对于夜间场景，全局适应水平(σ)不能很好地捕捉不同图像区域中变化很大的灯光的局部特征。 最近，一个带有附加局部项的新方程被用来更准确地描述果蝇嗅觉系统中的神经元反应。 应该注意的是，人和苍蝇之间的视觉差异很大。但是，一些研究表明，在多种物种的如此多样的视觉系统中，规范化可能是一种规范的神经计算。 这激励我们修改经典的NR方程，以加权加权的方式自适应地融合局部和全局视觉适应性。在计算上，由于经典的Naka-Rushton是一个整体方程，我们通过将空间依赖性包括在发光调节中来修改了NR方程。

公式7：$L_{o u t}(x, y)=\frac{L_{\text {in }}(x, y)^{n}}{L_{i n}(x, y)^{n}+\omega_{l}(x, y) \cdot \sigma_{l}(x, y)^{n}+\omega_{g}(x, y) \cdot \sigma_{g}^{n}}$

在公式7中，$L_{in}(x，y)$是给定图像的基础层的亮度通道。 视觉适应水平由两个因素决定：$σ_l(x，y)$是随图像局部区域变化的局部适应水平，而$σ_g$是根据整个图像估算的全局适应水平。 因此，对于输入图像，我们的方法首先估计全局和局部适应项。 $ω_g(x，y)$和$ω_l(x，y)$是用于根据场景的局部亮度来平衡全局和局部适应因子的贡献的权重。

为了获得调整后的亮度图($L_{out}(x，y)$)，全局和局部适应因子以及权重计算如下。 首先，让$M_σ$表示平均值，$S_σ$表示图像亮度通道中所有像素强度的标准偏差。 全局适应因子($σ_g$)计算为:

公式8：$\sigma_{g}=\frac{M_{g}}{1+w_{s} \cdot S_{g}}$

其中$ω_s$控制标准偏差贡献的参数。 为避免极亮或暗像素对均值和标准差估计产生不必要的影响，我们只对像素值超出0.5％到99.5％强度范围的范围进行了裁剪。

公式8中定义的全局适应因子($σ_g$取决于亮度图的全局平均值($M_g$)和标准偏差($S_g$)。 因此，较暗的场景会产生较小的$σ_g$，从而导致更强的亮度提高，反之亦然。 标准偏差项($S_g$)用于校正某些同时包含大暗区和亮区的场景的全局适应因子估计，即具有直方图双峰分布的图像。 包含更多明亮像素的图像会导致较大的全局平均值，因此，仅使用全局平均值时，会获得全局自适应因子的过高估计，这对于暗区而言效率不高。 但是，考虑到$S_g$通常远小于1.0，$S_g$对大多数场景的影响都很小。 此外，我们可以通过为特定场景设置$ω_s= 0$来简单地删除标准差($S_g$)项。

全局适应项可以调整图像的全局亮度，但不能增强某些低光局部区域，尤其是当在同一场景中存在暗区和亮区时。 因此，我们进一步定义了局部强度适应项来调整场景的局部亮度。 局部强度适应项是一个微调步骤，并受全局适应项的约束。 我们将局部适应项($σ_l(x，y)$)定义为:

公式9: $\sigma_{l}(x, y)=\sigma_{g} \cdot \frac{L_{i n}(x, y)}{1+w_{s} \cdot S_{l}(x, y)}$

其中，$S_l(x，y)$是通过计算结构路径$L_in$中的亮度通道的局部窗口(例如21×21)中的标准偏差而获得的。 与全局适应因子相似，局部适应因子$σ_l(x，y)$取决于局部光照水平和局部区域中的标准偏差，这可以有效地增亮黑暗区域并保留明亮区域。 请注意，考虑到$L_{in}(x，y)$来自代表图像结构的基本层，并且几乎没有亮度分布，我们直接采用亮度通道的强度($L_{in}(x，y)$)而不是估计局部噪音均值。

全局和局部适应项通过我们修订的NR方程公式7进行积分，其中全局和局部适应项的权重随局部亮度在空间上变化，其定义为：

公式10：$\omega_{g}(x, y)=L_{i n}(x, y)^{k}$

公式11：$\omega_{l}(x, y)=1-\omega_{g}(x, y)$

k是控制全局和局部适应项的相对贡献的参数。 实验部分将分析k对最终结果的影响。

在公式7中，n控制S形曲线的斜率并有助于增强对比度。 在这项工作中，我们将全局对比度增强因子计算为与全局适应项($σ_g$)相关的量度，写为 :

公式12：$n=\exp \left(\sigma_{g}\right)$

其中n将在[1，2.7]范围内，因为$σ_g$的范围在[0，1]中。 对于全局对比度缩放，这是一个合理的范围，如Fig. 4所示，其中n随曲线变化。 考虑到估计的全局适应性项($σ_g$)代表输入场景的光照水平，存在一个隐含的约束，即对于黑暗场景，应避免全局对比度的大比例缩放，因为这可能导致在黑暗中丢失细节 地区。

此外，动态范围调整可能会降低某些区域的局部对比度。 因此，我们使用高斯(DoG)滤镜的差异构建了一个附加的和可选的局部对比度增强算子，以锐化图像细节，其写为:

公式13：$L_{o u t}^{\prime}(x, y)=\left(1+\omega_{d o g}\right) \cdot L_{o u t}(x, y)-\omega_{d o g} \cdot\left(L_{o u t} * G\right)(x, y)$

公式14：$G(x, y)=\frac{1}{2 \pi \delta_{c}^{2}} \exp \left(-\frac{x^{2}+y^{2}}{2 \delta_{c}^{2}}\right)$

其中*表示卷积算符，G(x，y)是高斯滤波器。 在这项研究中，我们将夜间图像(约400×300像素)的标准偏差设置为$δ_c= 21$，而将HDR图像(约4000×2500像素)的标准偏差设置为$δ_c= 51$。另外，对于本文的所有实验，我们将$ω_{dog}= 0.5$固定。

最后，将像素剪裁到[0,1]以上然后进行归一化的常见后处理应用于增强后的亮度图。 可以通过使用增强的亮度图($L_{out}(x，y)$)将HSV转换为RGB颜色空间来获得最终结果。 但是，我们发现，直接获得从HSV转换的输出RGB图像(HSV→RGB)可能会导致某些光源非常明亮的图像出现过饱和的外观(请参见Fig. 13)。因此，我们提出了另一种有效的方法来减少将亮度值重新组合到彩色图像中时的色偏，该方法引入了指数s来控制颜色的饱和度[17]。 最终处理的彩色图像$O^c_{base}(x，y)$通过:

公式15：$O_{b a s e}^{c}(x, y)=L_{o u t}^{\prime}(x, y)\left(\frac{I_{b a s e}^{c}(x, y)}{L_{i n}(x, y)}\right)^{s}$

其中s是控制颜色偏移的参数，我们在此工作中令s = 0.6。 因此，我们获得了通过结构路径处理的增强基础层。Fig. 5示出了结构路径中的亮度调整结果的几个示例。

细节路径中保留细节的噪声抑制

弱光图像通常会受到严重的噪声干扰，这是不可避免的，尤其是在使用某些低质量相机时。 为了提高夜间场景的可见度，噪声抑制是必不可少的步骤。 实际上，已经提出了许多去噪方法(例如，非局部均值和BM3D )，并在应用于高分辨率日光图像时取得了良好的性能。 对于弱光图像，也有一些增强方法，采用特定的降噪运算符作为后处理以去除噪声。 但是，对于某些低分辨率图像，去噪操作可以消除噪声，但同时也会干扰细节(请参见Fig. 8)。

在这项研究中，我们应用噪声抑制而不是去除噪声的策略来抑制噪声并保留细节。 另外，我们在细节路径中实施了噪声抑制，可以在一定程度上避免低频信息的干扰。 通过公式1-公式4中的结构纹理分解，高频细节和噪声被分离到细节路径中。 因此，为了估计局部噪声，我们假设噪声水平在整个场景中是恒定的。 然后，可以将细节层的局部能量视为局部噪声水平的合理估计。 我们假定具有最低局部能量的区域代表图像的噪声水平，因为具有最低能量的区域通常是主要包含噪声的平滑区域(例如，天空)。相反，其他具有较高能量的区域应该是局部细节和噪声的组合。

因此，我们用细节层的局部能量作为参数来评估细节保留的权重($μ^c(x，y)$)。

公式16：$\mu^{c}(x, y)=\left(\left|I_{\text {detail}}^{c}\right| * G\right)(x, y)$

其中G(x，y)表示在公式14中定义的高斯滤波器，而∗表示卷积算子。

如公式16中所定义，细节保留权重低($μ^c(x，y)$)表示点(x，y)将位于不包含细节的平滑区域中，应予以抑制。相反，非常高的$μ^c(x，y)$表示点(x，y)可能位于包含细节的区域中，应该保留。 因此，我们可以在细节路径中通过以下方式实现我们保留细节的噪声抑制：

公式17：$O_{\text {detail}}^{c}(x, y)=I_{\text {detail}}^{c}(x, y) \cdot \mu^{c}(x, y)$

Fig. 6示出了细节路径中的细节保留噪声抑制的示例。 我们可以清楚地看到，从夜间图像分解的细节层通常包含强烈的噪音，尤其是在光滑的区域，例如天空(Fig. 6b)。 如Fig. 6c所示，可以使用公式16中描述的局部能量很好地估计细节保存的权重。 在Fig. 6d中示出了具有细节保留噪声抑制的处理后的细节图，其中平滑区域中的噪声被有效抑制，而结构细节(例如建筑物)被很好地保留。

最终图像的重建

通过结构路径和细节路径对输入图像进行处理后，我们将从结构路径获得亮度增强图，并在细节路径中获得带有噪声抑制的细节图。 最后，我们可以通过以下方式获得经过处理的基础层和明细层的最终结果：

公式18：$O^{c}(x, y)=O_{b a s e}^{c}(x, y)+w_{d} \cdot O_{d e t a i l}^{c}(x, y)$

$w_d$用于平衡细节增强和噪声抑制。 然后，通过像素裁剪和归一化的后期处理，我们将获得弱光或夜间图像的最终增强结果图。

通过微调扩展音调映射

对于HDR场景，动态范围可能非常大。 当将上述方法应用于HDR场景时，我们在上述方法中增加了一些微调步骤：

1. 对数归一化的预处理
2. 取消细节路径中的处理
3. 具有自适应伽玛校正的后处理

首先，我们通过将输入图像转换为HSV颜色空间来直接获得输入图像的亮度通道($L_{in}(x，y)$)。 为了避免输入图像的动态范围不一致，我们执行对数重新缩放作为预处理步骤，以将高动态范围归一化为[0，1]，然后将对数归一化的图像发送到建议的框架 进一步增强。

公式19：$L_{\log }(x, y)=\log _{a}\left(L_{i n}(x, y)+1\right)$

其中$α= max(L_{in}(x，y))+1$用于适应输入场景的各种动态范围，因此$L_{log}$的亮度范围被非线性压缩为0〜1.0。

请注意，我们删除了用于HDR压缩的图像分解步骤和细节路径处理(用于噪声抑制)。 这是因为HDR场景通常具有高分辨率并且包含较少的噪声。 因此，用公式7-公式14处理对数归一化亮度通道($L_{log}$)，以获得压缩亮度图(由$L_{o u t}^{\prime}$表示)。

最后，为了进一步校正压缩亮度图的局部动态范围，将额外的自适应伽马校正用于压缩亮度通道，以进一步改善HDR压缩。 我们估计不同场景的自适应伽玛值:

公式20：$\gamma=\frac{\operatorname{median}\left(L_{\text {out}}^{\prime}\right)}{\operatorname{mean}\left(L_{\text {out}}^{\prime}\right)}$

公式21：$L_{o u t}^{*}(x, y)=L_{o u t}^{\prime}(x, y)^{\gamma}$

最终的色调映射结果可以通过用公式15将$L_{o u t}^{*}(x, y)$重构为RGB颜色空间来获得。

实验内容

在本节中，我们将演示所提出的方法在与视觉增强相关的两个任务上的性能：

1. LDR图像增强
2. HDR场景色调映射

参数设定

为了评估所提出方法的性能，我们根据经验设置了模型中涉及的自由参数：在公式8，公式9中$w_s = 5.0$ ，公式10中k = 0.2 ，公式18中$w_d = 5.0$ 。 首先，考虑到$S_σ$通常远小于1.0，$w_s$对大多数场景的影响都很弱。 特别地，当面对具有不同亮度分布的场景时，公式8，公式9中的自适应因子的对比度感知估计提高了鲁棒性。 但是，对于某些具有较大$S_σ$的场景，增加$w_s$会减小全局项的值，从而提高输出场景的亮度。Fig. 7(第一行)显示了具有对比度感知估计的增强图像($w_s$= 5.0或10)的适应因子要比没有对比感知估计的适应因子(即$w_s$= 0)要亮。在本研究中，我们在以下实验中将$w_s = 5.0$设置为实验值。

另外，公式10中的参数k控制动态范围压缩的程度，并且较大的k导致更强的压缩。 k对最终结果的影响如Fig. 7所示(第二行)。 在以下所有实验中，我们将k = 0.2，以避免过度压缩动态范围。特别是，当k = 0(因此，$ω_g= 1.0$和$ω_l= 0$)时，修订后的NR公式7将退化为经典NR公式6。 因此，从Fig. 7(第二行)中，我们还可以找到我们修改后的NR公式的优点，从而进一步使暗区变亮。

最后，参数$w_d$参与LDR图像增强任务，该任务控制细节增强的程度。 在以下实验中，我们将$w_d = 5.0$设置为避免过度增强(参见Fig. 7，最后一行)。

LDR图像增强

在本文中，我们在两个数据集(由PKUnight和LDRpoor表示)上评估了LDR图像增强任务的方法。 “ PKUnight”表示包含100个夜间图像的PKU-EAQA数据集的子集，其中大多数图像的大小为400×300像素。 可以从https://www.pkuml.org/resources/pku-eaqa.html下载此数据集。此外，“ LDRpoor”表示其他LDR图像，其中包含由我们收集的在可见度不佳的情况下的73张图像。 这些图像被用来评估一些最近的论文中提出的图像增强方法，包括LIME ，LDR 和Division Channel 。 所有图像都是从作者的网站下载的。

1. https://sites.google.com/view/xjguo/lime
2. http://mcl.korea.ac.kr/cwlee_tip2013/
3. http://vision.khu.ac.kr/?page_id=551

如前所述，与之前在图像增强后添加额外的降噪运算符的方法(例如LIME )相反，我们在这项工作的细节路径的计算流程中用噪声抑制代替了噪声去除。 Fig. 8显示了本文中的噪声抑制示例。 从Fig. 8中我们可以看到，直接改善夜间场景的光线也会放大噪声(Fig. 8b)，而附加的降噪运算符(BM3D )可以消除噪声，但也会引入其他噪声或噪声。 删除有意义的细节(Fig. 8c)。 相反，采用噪声抑制策略，该方法可以很好地平衡亮度改善，噪声抑制和细节保留(Fig. 8d)。 在中间行中放大的局部区域显示，附加的降噪运算符无法有效地去除通常出现在低分辨率夜间场景的黑暗区域中的某些块噪声。 另一方面，底行中的局部放大区域表明，降噪运算符会使结构细节(例如天空中的云)变得过于平滑。 相比之下，所提出的方法不仅可以抑制暗区中的块噪声，而且可以保留甚至增强有意义的结构细节。

Fig. 9和Fig. 10列出了所提方法与其他最新方法的更多比较。 对于黑暗的场景，所提出的方法通过良好的噪声抑制将亮度和对比度调整到合理的水平(Fig. 9(最上一行))，而LDR方法的结果具有严重的色彩退色，而RobustRetinex方法的结果则很严重。 [15]显示出较低的整体对比度。 对于具有单调细节的场景(Fig. 9(中间行))，NPE ，LIME + BM3D 和RobustRetinex方法过度压缩了对比度，而所提出的方法仍然可以获得清晰的结果。

从Fig. 10中我们可以看到，与SRIE ，NPE ，基于变分优化的Retinex [VOR] 的方法相比，所提出的方法所增强的图像显示出更加合理的亮度分布和更高的局部对比度。 和固有图像分解(IID)。第一和第二行表明所提出的方法提供了更好的细节增强，而第三和最后一行表明我们的方法具有一定的色彩校正能力。 相反，LIME + BM3D的结果显示出更好的全局对比度，但是缺少一些局部纹理细节。

我们使用ILNIQE和TMQI的定量指标进一步评估了性能。 ILNIQE是一种功能丰富且完全盲目的图像质量评估器，而TMQI也可用于评估LDR增强方法，尽管它是为评估色调映射方法而设计的。Fig.11显示了LDR图像上指标ILNIQE和TMQI的定量比较。 请注意，ILNIQE得分较低的值和/或TMQI得分较高的值表示更好的图像质量。 我们可以看到，在具有ILNIQE的PKUnight数据集上，所提出的方法几乎胜过了所有考虑的方法，除了LDR方法。 然而，LDR方法的结果通常显示严重的色彩衰退(Fig. 9)，而ILNIQE得分对此不敏感。 在TMQI方面，所提出的方法也获得了可接受的性能。 特别是，我们的方法在PKUnight数据集上获得了具有最高值的最佳TMQI。

HDR色调映射

最后，我们针对色调映射的特定任务评估了所提出方法的微调版本。 HDR图像的亮度动态范围非常大，通常会导致为LDR图像设计的图像增强方法效率低下。 通过第II-E节中描述的简单微调策略，我们的方法可以很好地处理HDR场景的色调映射。

Fig. 12将我们模型的结果与Meylan的自适应Retinex进行了比较，后者是一种典型的基于Retinex的方法，受到生物视觉系统的启发。我们可以看到Meylan的方法可以有效地压缩动态范围并很好地保留图像对比度。 但是，Meylan的方法通常会导致明显的色偏。 相反，我们的方法可以很好地平衡动态范围压缩，对比度变换和色彩偏移校正。

此外，我们比较了不同色彩空间和后处理(有或没有色彩偏移校正)的影响，如Fig. 13所示。我们发现，使用CIELAB色彩空间，我们可以获得可接受的结果(Fig. 13b)，但比使用HSV色彩空间的效果更差(Fig. 13d)。在CIELAB颜色空间的计算步骤中，获得亮度信息取决于分段函数。 这可能会导致亮光和极暗区域的亮度不平衡，这通常会在本作品中使用的图像中出现。 我们还测试了其他一些生物学上可行的色彩空间(例如McLeod-Bointion 和DKL色彩空间)，但我们没有获得可接受的结果。在McLeod-Bointion或DKL色彩空间中，亮度提取在很大程度上取决于L和M信号(与RGB图像的R和G通道有关)。 当场景包含蓝色区域时，这可能会低估B通道的贡献并导致较大的偏差。 同时，当我们使用压缩的亮度图将结果直接从HSV转换为RGB颜色空间时，一些具有强光源的图像通常会显得过饱和(Fig. 13c)。相反，用公式15描述的简单的色偏校正，结果显示出更好的自然度(Fig. 13d)。 因此，考虑到它易于理解和计算，我们将HSV颜色空间用于亮度提取以获得更好的性能。

我们还评估了名为HDR摄影调查(HDRPS)的大型HDR场景数据集上色调映射的性能，该数据集包含105张HDR图像，可以从http://rit-mcsl.org/fairchild/HDR.html下载。 Fig. 14列出了与其他代表性HDR色调映射方法的更多比较。 我们可以看到，与其他方法相比，该方法可以在细节增强和自然保存之间达到良好的平衡。

除了主观评估，我们还采用了广泛使用的客观指标(即，色调映射图像质量指数，TMQI )来定量评估色调映射的性能。 TMQI结合了结构保真度(Fidelity)和自然度测量(NSS)，并显示出与主观排名得分的良好相关性。Table I列出了HDRPS数据集中所有105张HDR图像的平均TMQI，保真度和NSS评估得分。我们可以看到，就TMQI而言，我们的方法获得了与Durand和Dorsey和Liang等人的方法相似的性能。但比Shibata等人的方法稍差。 但是，从Fig. 14所示的结果图中，我们可以发现Durand和Dorsey 方法的结果通常表现为过饱和，从而降低了图像的自然性。 另一方面，Shibata等人的方法。 获得了较高的TMQI，保真度和NSS分数，但结果(Fig. 14)在局部边缘显得过分增强，并显示出严重的光晕伪影。 因此，与主观评估和客观指标一起，所提出的方法与最近的最新方法(例如Liang等)获得了可比的性能。

我们在Table II中比较了所考虑方法的计算时间。 考虑到HDR图像通常具有较大的图像尺寸(例如4200×2800像素)，计算效率对于高质量HDR场景色调映射的任务很重要。 从表II中我们可以看到，该方法具有很高的计算效率，比Shan等人的最新技术要快得多。Oskarsson，Shibata等ADRA和Liang。 另外，我们的方法所需的计算时间与Durand和Dorsey方法所需的计算时间相当。 请注意，Durand和Dorsey方法的快速计算主要受益于双边过滤的深度优化代码。

为了进一步分析所考虑方法的时间复杂性，我们首先将图像的空间域表示为N，将强度级别表示为K。Durand和Dorsey 和Kuang等人的方法。 文献[23]基于快速双边滤波，可以在$O(KNlog(KN))$中完成。 请注意，Durand和Dorsey通过对图像进行二次采样进一步加快了双边滤波的速度。 Oskarsson 提出的方法对图像运行$O(K^2_1 K_2)$，其中$K_1$是输入亮度级别，$K_2$表示输出级别。 但是，由于$K_1$和$K_2$远小于图像像素N的数量，因此Oskarsson的方法通常会花费较少的计算时间。 具有中等的计算复杂度，其中最复杂的部分成本为$O(Nlog(N))$，Shan等人的方法。 由于求解较大的线性系统，因此需要花费更多的计算时间。 最后，提出的方法也花费了$O(Nlog(N))$来进行基于电视的图像分解，但是在算法的其他部分花费的时间少于Liang等人。

结论与讨论

在本文中，我们提出了一种生物视觉机制启发的图像增强框架。 特别是，双向处理可以有效地将低质量图像的包装问题分解为多个特定任务，包括亮度增亮，细节增强，噪声抑制等。此外，我们系统地采用了全局到局部策略来处理 亮度适应，对比度增强和噪声估计。 在不同数据集上进行的大量实验表明，该方法可直接用于夜间和弱光图像增强，并可以简单地扩展为HDR图像色调映射，并且与最近的最新方法相比具有相当的性能， 但以一种更快的方式。

注意，作为可见性差的图像增强方法，提出的方法着重于提高细节的可见性，尤其是在暗或弱光区域。使暗区变亮可能会牺牲整个场景的动态范围，因此会导致处理后图像的视觉自然度损失很小。 因此，作为我们未来的工作之一，期望引入一些更灵活的视觉适应机制，以进一步提高细节的可见性和增强图像的视觉自然性。