通过红外图像加权函数估计进行图像增强

摘要

这项工作提出了可见范围(VR)和红外范围(IR)图像的有效图像融合，以增强数码相机的图像质量。 通过估计包含红外图像属性的加权参数并使用该参数组合VR和红外图像来实现融合。 具体地，通过加权的低通滤波器(WLPF)从估计的照明和细节分量计算加权参数。 另外，根据用户的喜好，我们使用retinex技术压缩融合图像的动态范围，并根据全局颜色分布调整对比度/颜色。 实验结果表明，该方案在视觉观察和数值评分方面均取得了良好的效果。

关键字：图像融合，红外图像和细节增强

引言

红外图像具有很多有用的信息，能够增强可见光范围(VR)图像，例如波长特性。 近来，为了提高数字照相机的图像质量，已经尝试了许多方法来使用这些信息。 基于图像融合的增强主要分为两种类型：空间增强型和图像增强型。 和频域处理。 空间域处理中的代表性方法是使用平均值，例如Brovey方法，主成分分析(PCA)和强度-色相饱和度(IHS)分布。 此外，基于高通滤波的方法也属于此类。 IHS方法通过基于高分辨率图像控制输入图像的强度来生成高光谱图像。 该技术在保留地形和纹理方面取得了良好的效果[1、2]。另一种有效的融合方法基于PCA [3]。

频域中代表性的融合方法是基于小波变换[4-7]。 它采用金字塔结构分解和重建给定图像，并且在保留原始有用信息方面比基于IHS和PCA的方法产生更好的结果。 但是，它具有复杂度高和处理时间长的缺点，并且对套准的准确性非常敏感。除了小波变换，还有拉普拉斯金字塔和基于Curvelet变换的算法。

在本文中，我们提出了一种使用WLPF和紧凑型数码相机的红外范围(IR)图像的属性在空间域中有效的融合方法。

PROPOSED ALGORITHM

VR和IR图像融合

通过适当地混合每个图像的照明和细节分量来生成VR和IR图像的融合。为此，我们首先使用加权低通滤波器(WLPF)[10]将图像分解为照明和细节分量，如图1所示。WLPF具有保留大边缘的特性，因此可以最大程度地减少大边缘周围的光晕伪像。 并模糊了小细节。 滤波后的图像$\tilde{I}_{V R}(i)$和$\tilde{I}_{I R}(i)$用于估计加权函数$W [·]$，并且加权函数在增强照明和细节方面起着主要作用。 特别是，它用于在最后一步中融合照明和细节组件。 用于照明的加权函数$W_{ill} [·]$由下式计算：

公式1：

$W_{i l l}(i)=\left\{\begin{array}{ll} W_{i l l}^{1}(i), & \text { if } \tilde{I}_{V R}(i)<\widetilde{I}_{I R}(i) \\ W_{i l l}^{2}(i), & \text { else if } V_{V R}(i) / V_{I R}(i)<\tau_{h} \\ 0, & \text { otherwise } \end{array}\right.$

其中，$W_{x}(i)=I_{x}(i)-\widetilde{I}_{x}(i)$和$\tau_{h}$分别表示图像x的细节分量和阈值。 当像素满足条件$\tilde{I}_{V R}(i)<\widetilde{I}_{I R}(i)$时，加权函数$W_{ill}^1(i)$将修改给定像素值。 它可以恢复消失的信息并无缝增强暗区。 类似地，另一个加权函数$W^2_{ill}(i)$被用于改善VR图像中的像素值比IR图像中的像素值明亮得多的像素。 通过此操作，即使雾度和水区域太弱而无法在VR图像中看到，这些区域在IR图像中也能在视觉上很好地区分并得到相应的增强。 即，这影响在VR图像中很少改变的像素，例如雾度区域(请参见图5以获取详细信息)。 上面两个用于照明增强的函数是通过:

公式2：

$W_{i l l}^{1}(i)=\gamma_{0} \times\left[\left(\tilde{I}_{V R}(i) / \operatorname{Max}_{1}\right)+\left(\frac{1}{\gamma_{0}}-1\right)\right]$

公式3：

$W_{i l l}^{2}(i)=\gamma_{0} \times\left[\left(\tilde{I}_{V R}(i) \times\left(1-\gamma_{h}\right) / \operatorname{Max}_{2}\right)+\gamma_{h}\left(\frac{1}{\gamma_{0}}-1\right)\right]$

在这里，$\gamma_0$和$\gamma_h$是每个区域的融合率，$Max_1$和$Max_2$是$\tilde{I}_{V R}(i)<\widetilde{I}_{I R}(i)$中$\tilde{I}_{V R}(i)$ , 和$\tilde{I}_{I R}(i)<\widetilde{I}_{V R}(i)$中$I_{V R}(i)$的最大值，并且$V_{V R}(i) / V_{I R}(i)<\tau_{h}$。 相反，VR图像中的细节由以下加权函数$W_{var} [·]$修改为:

公式4：

$W_{\text {var }}(i)=\frac{1}{\gamma_{\text {var }}} \times\left(\left(V_{V R}(i) / \max \left(V_{I R}(i)\right)+\left(\gamma_{\text {var }}-1\right)\right)\right.$

$\gamma_{\text {var }}=\left(T-\tau_{\text {var }}\right) \times \frac{\max \left(V_{I R}(i)\right)}{\max \left(V_{V R}(i)\right)}$

其中，$\gamma_{var}$表示具有最大放大率T和值$\tau_{\mathrm{var}}$的细节成分的融合率。 在加权函数估计之后，通过将照度($m_f$)和细节($v_f$)分量组合为：

公式5：

$I_{f}(i)=m_{f}(i)+v_{f}(i)$

$\left\{\begin{array}{l} m_{f}(i)=W_{i l l}(i) \cdot \widetilde{I}_{V R}(i)+\left(1-W_{i l l}(i)\right) \cdot \widetilde{I}_{I R}(i) \\ v_{f}(i)=W_{\mathrm{var}}(i) \cdot V_{V R}(i)+\left(1-W_{\mathrm{var}}(i)\right) \cdot V_{I R}(i) \end{array}\right.$

注意，细节分量仅在$V_{VR}(i)<V_{IR}(i)$的区域中融合。 换句话说，根据IR图像中的细节，增强了VR图像中的小细节。

但是，可以通过改善暗区的亮度和增强局部细节来降低融合图像的对比度。 因此，我们仅采用简单的对比度校正[11]来增强图像对比度。

实验结果

为了评估所提出方案的性能，从同一台摄像机获得的VR和IR图像的各种测试集用于实验，如图2所示。图3-5显示了该算法的比较结果。

在图3中，将所提算法的结果与动态范围压缩的结果进行了比较。 不难看出，建议的输出(左数第三位)可以恢复消失的信息并显着增强细节。 另外，图4和图5示出了另一张测试图像的局部放大图像。 同样，我们可以看到，所提出的方案可以显着增强暗区和雾区的细节。

在本文中，为了对性能进行数值评估，我们使用[12]针对几种相机型号进行了用户偏好的主题测试，表I显示了其结果。 该测试是在一项调查中进行的，共有73名申请者参加，男性与女性的比例为0.46。 偏好指数是通过对测试图像的结果进行平均计算得出的，我们的方法在主观图像评估中排名第二。

结论

我们提出了一种可以有效融合VR和IR图像以进行图像增强的方案。 在本文中，为了系统地组合它们，我们使用WLPF计算照明和细节分量，并估计混合这些分量的加权函数。 此外，我们还针对数码相机的用户喜好简单地采用了对比度/色彩校正算法。 实验和主观测试表明，所提出的方法在视觉上提供了良好的效果，并且在数字上具有较高的用户偏好。 因此，我们相信所提出的算法可以用作数码相机相关领域中图像增强的有用工具。