X-Ray Enhancement Based on Component Attenuation, Contrast Adjustment, and Image Fusion

摘要

检查X射线图像是医学诊断的重要方面。但是，由于X射线的对比度低且动态范围低，因此器官，骨骼和结节等重要方面变得难以识别。因此，对比度调整至关重要，特别是因为它具有增强亮区和暗区细节的能力。因此，对于X射线图像增强，我们提出了一种基于分量衰减的新概念。值得注意的是，我们假设X射线图像可以分解为组织成分和重要细节。由于组织可能不是X射线的主要焦点，因此我们建议通过自适应组织衰减和动态范围拉伸来增强视觉对比度。通过分量分解和组织衰减，推导了参数调整模型以一次生成许多增强的图像。最后，提出了一个集成框架，用于融合这些增强的图像并在明亮和黑暗区域中产生高对比度输出。我们已经使用测量指标来评估我们的系统，并且在每个指标中都取得了可喜的成绩。还建立了一个在线测试系统以进行主观评估。此外，我们将系统应用于日本放射技术学会提供的X射线数据集，以帮助进行结节检测。实验结果证明了我们方法的有效性。

关键词：X射线图像增强，组件衰减，集成框架，参数对比度调整模型。

引言

检查X射线图像是医学诊断的重要步骤。但是，X射线图像的低对比度和低动态范围使嵌入亮区或暗区的这些身体部位难以识别。由于许多重要的器官和骨骼都位于此处，因此X射线图像的明亮区域受到关注。相反，微小但重要的细节(例如结节)通常出现在黑暗区域。为了同时识别器官和结节，需要更高的动态范围以清楚地表征亮区和暗区。如果不进行增强，则很难在标准的低动态范围(LDR)X射线图像中显示细节。

Fig. 1显示了当地医院提供的X射线图像的示例。这些图像的低对比度和低动态范围使其难以看清细节并难以做出正确的诊断。为了解决这个问题，我们提出了一个整体框架，该框架由组织衰减，对比度调整和图像融合组成，用于X射线图像增强。通过增加明亮区域和黑暗区域的对比度，我们的系统旨在清晰地呈现LDR X射线图像中的细节。

正如我们将在第二部分中讨论的那样，已经提出了许多先前的方法来增强图像的对比度，例如全局色调映射[1]，局部自适应色调映射[2] – [4]，基于Retinex的方法[5] – [ 8]和基于变换的方法[10]。这些工作与色调映射紧密相关，色调映射会减小HDR图像的动态范围并生成对比度增强的LDR图像。同样，我们提出的方法还依赖于色调映射的概念来增加局部对比度。但是，与以前的作品相比，设计方法存在一些差异。下面，我们总结了我们方法的区别和贡献。

本文提出了另一种增强X射线图像的方法。我们预计，不仅可以应用色调映射，还可以为X射线图像增强设计更多的属性。首先，在我们的图像对比度增强模型中提出了分量衰减。我们知道，人体由不同区域中不同数量的不同组织组成。因此，我们可以假设所获取图像的强度基于组织组成和其他重要细节。但是，太多的组织可能会使获取的图像变得过亮或模糊。由于组织可能不是X射线图像的主要焦点，因此可以通过组织衰减和动态范围拉伸来大大增强图像细节的视觉对比度。因此，我们建议设计一种图像处理方法，以通过减少图像中的一些组织成分来增强图像。

在我们的方法中，提取最大可移动组织成分以增强效果被制定为对比度最大化问题。后来，我们的系统通过调整组织衰减的水平并拉伸对比度，生成了一些具有不同可视化程度的增强图像。具体来说，为了生成这些增强的图像，我们基于分量衰减的概念制定了参数对比度调整模型。通过将选定的衰减因子输入到参数调整模型中，提出的系统可以有效地生成增强的图像。最后，我们采用了集成策略来集成许多增强的图像。通过确定适合图像融合的权重，我们的整体框架能够产生具有高对比度的最终结果。

据我们所知，很少有作品将分量衰减应用于X射线图像增强。从某种意义上讲，我们可以将建议的工作与“去雾”算法相关联[9]。如果将可移动组件视为降低X射线图像对比度的“雾度”，则可以期望在衰减组件后具有更好的可视化效果。即使这样，我们方法的设计也与除雾方法完全不同。例如，我们的增强模型不是去除所有的雾度，而是着重于部分去除组织成分。实际上，分量衰减的概念最初是由Huang等人提出的。 [10]，这是当前工作的早期版本。即使实验结果证明了方法[10]的有效性，也可以降低输出图像的亮度。对于X射线图像的明亮区域，副作用可以忽略不计。但是，这种现象会使暗区变暗，并降低了X射线检查的可分辨性。为了解决该问题，在这项工作中，我们提出了一个更通用的增强模型。该模型旨在能够在明亮和黑暗区域中扩展对比度。在设计调整模型时，我们引入了亮度一致性约束，以保留原始X射线图像的局部亮度。此外，在第三节中，我们将证明[10]中使用的模型是我们新模型的特例。

本文的其余部分安排如下。第二节介绍了调查和有关工作的摘要。在第三部分中，我们基于分量衰减导出了新的图像对比度增强模型，并分析了其与增强X射线图像有关的功能。在第四节中，我们然后对增强模型进行参数设置并解释每个模型参数的功能。接下来，通过参数增强模型，在第五部分中，我们将说明为X射线增强提出的集成框架。在本节的最后，我们还将在算法1中总结系统的实现步骤，以提供清晰的系统概述。第六节给出了讨论和实验结果。在第七节中，我们总结了本文。作为补充，我们还总结了附录A中论文中使用的数学符号。附录B和附录C包含了该方法的一些推论细节。

图像对比度增强模型

通过分量衰减提出了图像对比度增强模型。我们假设X射线图像可以由可移动和详细组件组成。在此，可移除组件是指一定数量的身体组织。相反，细节部分由感兴趣的部分(如骨骼和器官)组成。为了增强X射线图像，我们衰减了可移动组件，以便我们可以扩展动态范围以表示细节组件。为了实现这一概念，我们的图像模型定义为：

公式1： $I_{n}(x)=I(x) / I_{\max }=D(x)+R(x)$

其中 $I_n(x)$ 是归一化图像， $I(x)$ 是输入的X射线图像， $I_{max}$ 是整个图像的最大值， $D(x)$ 是细节分量， $R(x)$ 是可移动部分。此外，x是空间索引， $I_n(x)$ ， $D(x)$ 和 $R(x)$ 都在0和1之间。要获得最终的增强X射线图像 $E(x)$ ，请使用对比度增强功能 $Ce( ·)$ 应用于细节分量 $D(x)$ 。那是：

公式2： $E(x)=C e(D(x))=\operatorname{Ce}\left(I_{n}(x)-R(x)\right)$

如Fig. 2所示，从 $In(x)$ 中删除 $R(x)$ 后，可以预期，我们有自由空间通过扩大 $D(x)$ 的动态范围来增强它。如果我们可以设计增强函数 $Ce(·)$ 来利用自由动态范围，则图像增强成为可能。

在我们的系统中，设计的增强函数 $Ce(·)$ 为

公式3： $E(x)=\operatorname{Ce}(D(x))=\frac{I_{n}(x)-R(x)}{I_{n}^{\max }(x)^{\lambda(x)}-R(x)}$

在此， $I_{n}^{\max }(x)=\max _{y \in L_{x}} I(y)$ 是图像像素x周围局部区域 $L_x$ 的局部最大值，而 $λ(x)$ 是可控制的参数。第四部分解释了 $λ(x)$ 的推导。理想情况下， $λ(x)$ 有助于灵活调整我们增强模型中的参考水平。为了约束 $λ(x)$ 的范围，我们决定在指数项中引入 $λ(x)$ 。如Fig. 2a所示，当我们设置 $λ(x)= 0$ 时，我们的模型退化为[10]中提出的早期方法。如果 $λ(x)= 1$ ，则模型 $E(x)$ 降级以引用局部最大值 $I^{max}_ n(x)$ 。
如Fig. 2b所示，与Fig. 2a的动态范围相比，这种情况下的 $E(x)$ 的动态范围明显扩大。

所提出的模型不仅使增强的图像更加鲜艳，而且使对比度更强。如Fig. 2b所示，对于位置x，我们增强结果 $E(x)$ 的强度值可以大于 $I_n(x)$ ；因此，增强的图像可以更加鲜明。此外，由于 $E(x)$ 的最大值不受 $I_n(x)$ 的限制，所以可以扩大增强图像的动态范围。另外，通过参考局部最大值 $I^{max}_ n(x)$ ，所提出的方法可以增强在黑暗和明亮区域中的对比度。该性质可以通过理解公式3来进一步解释。特别地，对比度拉伸由 $1 /\left(I_{n}^{\max }(x)^{\lambda(x)}-R(x)\right)$ 控制。对于暗区域，分母 $I^{max}_ n(x)^{λ(x)}-R(x)$ 也很小。因此，可以扩展对比度。对于亮区， $I^{max}_ n(x)≈1$ ，因此 $E(x)$ 的增强与[10]产生的结果相似，这表明它具有很好地增强亮区的能力。

到目前为止，我们已经解释了使用分量衰减进行对比度增强的关键思想。在下一部分中，我们将介绍增强的完整公式，在其中我们系统地参数化建议的对比度调整模型，推导衰减分量 $R(x)$ 并确定项 $λ(x)$ 。

参数对比度调整

公式1中的衰减分量 $R(x)$ 在我们的对比度增强模型中起关键作用。假设可以确定用于图像对比度增强的最大可移动组织成分图并将其表示为 $T(x)$ 。我们可以设置 $R(x)= T(x)$ 来去除尽可能多的组织，并极大地拉伸图像对比度，以获得高度增强的结果。但是，组织可能是肌肉或脂肪。器官也是由人体组织制成的。如果为了进行对比拉伸而去除了太多的组织，我们也可能会丢失有用的内容物。因此，在我们的系统中，我们仅衰减部分分量。

在我们的方法中，为了确定衰减分量 $R(x)$ ，我们引入了一个衰减因子 $α$ ，并定义了 $R(x)≡α·T(x)$ 来控制去除分量的比率。通过估计最大可移动组织成分图 $T(x)$ 并控制 $α$ ，我们可以确定 $R(x)$ 以便适当增强X射线图像。由于对比度增强水平与去除的组织数量高度相关，因此 $α$ 成为我们参数化对比度调整模型的主要参数。由于 $α$ 的设置对于像素位置不变，因此在参数模型中我们也将 $α$ 视为全局参数。为了清楚起见，在第VI.A节中，我们将讨论衰减因子的选择。此外，我们在附录B中分析了分量衰减的更多见解，以进行对比度调整。

我们模型中的第二个可控项是 $λ(x)$ ，它由公式3定义。通过引入 $λ(x)$ ，我们的模型可以进行调整以满足首选的图像约束。与 $α$ 不同， $λ(x)$ 局部变化。在我们的系统中，我们在不同位置局部调整 $λ(x)$ 的值，以保持亮度一致。下面，我们说明 $T(x)$ 的确定和项 $λ(x)$ 的计算。

最大可移动组织成分图 , T(x)

没有额外的信息，从X射线图像分解 $T(x)$ 是一个很难解决的问题。为了估计 $T(x)$ ，我们引入了一个约束，称为“局部对比度最大化”。如果我们设置 $R(x)= T(x)$ ，即 $α= 1$ ，以拉伸局部对比度，则会产生极高的对比度结果。为了解释这一思想，分别在Fig. 3a 3b中给出了 $R(x)= T(x)$ 和 $R(x)=α·T(x)$ 下的拉伸结果。当 $R(x)= T(x)$ 时，动态范围明显最大化。为了进一步验证该假设，Fig. 5中提供了一些针对不同 $α$ 值的增强图像。当 $α= 1$ 时，如果与其他增强结果相比，图像显然被过度增强。

基于“局部对比度最大化”约束，可以通过找到最佳可移动成分图来确定贴图 $T(x)$ ，该图将最终对比图像E上的局部对比度总和最大化。因此，确定 $T(x)$ ，我们定义并解决了相应的优化问题。导出细节在附录C中进行了说明，附录C显示可以通过公式4很好地近似图T。

公式4： $T(x) \cong \min _{y \in L_{x}} I_{n}(y) \triangleq I_{n}^{\min }(x)$

在公式4中， $L_x$ 表示像素x周围的局部区域，并且y是 $L_x$ 内部的像素。因此，可以通过在x附近的局部区域内找到局部最小值来估计像素x处的分量图 $T(x)$ 。在我们的实现中，考虑到系统效率，我们使用了7×7的窗口来近似本地图像区域。

对比度增强与亮度一致性

可以看出，衰减因子 $α$ 允许我们全局控制归一化图像 $I_n(x)$ 及其增强结果 $E(x)$ 之间的对比度增强比。即 $\frac{L C R(E(x))}{L C R\left(I_{n}(x)\right)}=\frac{1}{1-\alpha}$ ，其派生细节可在附录B中找到。该等式告诉我们，对比度增强比固定为 $\frac{1}{1-\alpha}$ 所有图像像素。因此，在我们的方法中， $α$ 值被视为全局参数。在等式中， $LCR(·)$ 函数计算局部斑块对比度(LCR)，也称为韦伯局部对比度[31]。

但是，对比度增强率不是影响图像增强的唯一因素。Fig. 4示出了一个例子。Fig. 4a示出了原始图像。Fig. 4b 4c是基于所提出的增强模型的结果。用于Fig. 4b 4c的 $α$ 值相等，但是 $λ(x)$ 的设置不同。在ig. 4b中， $λ(x)$ 为0，而对于Fig. 4c， $λ(x)$ 为0.7。由于具有相同的 $α$ 值，因此两个增强图像的增强比应相等。然而，Fig. 4b 4c显示出明显的亮度差异。从公式3，我们看到差异来自比例项 $I^{max}_ n(x)^{λ(x)}-R(x)$ 。因此，通过更改缩放比例项，我们可以调整图像的局部属性，并保持增强比不变。具体来说，参数 $λ(x)$ 为我们的模型提供了控制局部图像亮度的灵活性。

但是，如果没有正确设置 $λ(x)$ ，结果可能会不好。示例可在Fig . 4中找到。对于 $λ(x)= 0$ ，增强的图像变暗，如Fig. 4b所示，而对于 $λ(x)=0.7$ ，增强的图像趋于局部过亮。如Fig. 4c所示。因此，我们仍然需要找到合适的 $λ(x)$ 设置以保持图像局部亮度的一致性。然后在我们的系统中，我们要求在图像增强后将局部区域Lx中的最大图像值保持在同一水平。因此，可以局部保持亮度特性。这导致我们的亮度一致性约束定义如下

公式5： $E_{n}^{\max }(x) \triangleq \max _{y \in L_{x}} E(y)=I_{n}^{\max }(x) \triangleq \max _{y \in L_{x}} I_{n}(y)$

现在，给定全局衰减比 $α$ 和公式5中描述的亮度约束，可以通过公式6确定像素x处的选定参数 $λ^∗(x)$ ：

公式6： $\lambda^{*}(x)=\log \left[1-\alpha I_{n}^{\min }(x)\left(\frac{1}{I_{n}^{\max }(x)}-1\right)\right] / \log \left(I_{n}^{\max }(x)\right)$

为了导出公式6，我们用附录B中的等式(A.3)替换了公式5中的 $E^{max}_ n(x)$ 。由于α的间隔为[0,1]，因此可以用等式证明 公式6 $λ^∗$ 的间隔也是 $[0,1]$ 。在某些情况下，原始X射线图像的亮度被全局压缩，因此亮度一致性变得不切实际。为了解决该问题，在应用所提出的主要方法之前，将基于直方图均衡化的预处理步骤引入到我们的处理阶段，以全局拉伸图像直方图。

增强图像的框架

到目前为止，给定衰减比 $α$ ，我们能够通过公式3生成增强图像。注意，参数 $λ(x)$ 可以使用公式6计算，并且衰减分量图 $R(x)$ 由 $R(x)≡α·T(x)$ 确定。作为参考，Fig. 5中提供了一些在不同α设置下的增强图像。如Fig. 5所示，当我们将 $α$ 从0调整为1时，增强级别会增加。这也与附录B中的结论一致，即 $α$ 允许我们控制增强比例。

另外，应该进一步讨论衰减比的选择。当我们衰减组织成分时，如Fig. 5所示，图像细节的动态对比度被拉伸了。但是，与此同时，缺少增强图像中的某些信息，尤其是低频分量。因此，通过选择最佳衰减率以产生最终结果来产生令人满意的增强效果将是具有挑战性的。相反，我们提出了一个图像集成框架，该框架不仅提供了一种解决方案，可以通过集成许多增强的图像来产生令人愉悦的结果，还可以保持我们的系统高效。

所提出的集成框架如Fig. 6所示。对于输入的归一化图像 $I_n(x)$ ，我们使用公式4估计组织成分，在间隔[0,1]中选择K衰减比 $\{α_i\}_{ i = 1 K}$ ，并生成K增强图像 ${E_i(x) } _{i = 1 K}$ 。为了获得最终的输出图像，我们根据本地图像质量组合了K个增强图像。为了提高效率，我们从Exposure Fusion(EF)[32]中借鉴了这一想法。也就是说，给定K个增强图像 ${E_i(x) } _{i = 1 K}$ ，我们的系统通过

公式7： $F(x)=E F\left(\left\{E_{i}(x), W_{i}(x)\right\}_{i=1 K}\right)$

在公式7中， $EF(.)$ 表示曝光融合算法。 $W_i(x)$ 是第 i 个增强图像的权重图。 x代表像素的位置。另外，要求K个图像上一个像素的权重之和等于1。为了确定权重图 ${W_i(x) } _{i = 1 K}$ ，我们评估了每个单独图像中每个像素周围的图像质量。评估基于两个质量指标：(a)对比水平； (b)保持亮度。第 i 个增强图像Ei在像素x处的对比度水平 $C_i(x)$ 通过以下方式测量：

公式8：

$C_{i}(x)=\frac{\left|\Delta E_{i}(x)\right|}{E_{i}(x)+\varepsilon}=\frac{\left|E_{i}(x) * G_{L}\right|}{E_{i}(x) * G_{A}+\varepsilon}$

其中运算符“ * ”表示图像卷积。 $G_L$ 是标准的5×5拉普拉斯滤波器，可帮助计算像素与其相邻像素之间的二阶差； $G_A$ 是5×5高斯滤波器，有助于计算像素x周围的加权平均强度。 $\Delta E_{i}(x) \text { and } \overline{E_{i}(x)}$ 分别是 $G_L$ 和 $G_A$ 的卷积图像。在公式8中添加一个绝对运算符，以确保 $C_i(x)$ 为正。我们还要在分母中添加一个小的 $ε$ 值，以避免在卷积图像 $E_i(x)* G_A$ 的像素接近0时被零除的问题。通常，我们会为高对比度像素分配较高的权重。

另外，我们希望融合结果 $F(x)$ 保留局部最大亮度，就像我们在公式5中使用的亮度一致性约束一样。因此，我们引入了公式9中定义的亮度保持量度 $BP_i(x)$ ，以控制第i个增强图像中像素x处的融合权重。

公式9：

$B P_{i}(x)=\exp \left(-\left(\frac{D_{i}(x)}{\sigma}\right)^{2}\right)$

这里， $D_{i}(x)=\max _{y \in L_{x}} E_{i}(y)-\max _{y \in L_{x}} I_{n}(y)$ 表示第 i 个增强图像 $E_i(x)$ 和原始图像 $I_n(x)$ 之间的局部最大差。 $σ$ 是局部最大差异的标准偏差。在公式9中，小的 $D_i(x)$ 意味着可以保留局部最大亮度，因此相应的 $BP_i(x)$ 值较高。否则， $BP_i(x)$ 值将很低。

最后，通过组合 $C_i(x)$ 和 $BP_i(x)$ ，我们将第i个增强图像中像素x的融合权重 $W_i(x)$ 确定为：

公式10： $W_{i}(x)=C_{i}(x) \times B P_{i}(x)$

稍后，我们将 $E_i(x)$ 和 $W_i(x)$ 输入到Exposure Fusion算法[32]中，以产生最终的融合结果。在此，EF算法能够通过金字塔分解根据加权图像 ${W_i(x)}$ 无缝融合许多增强图像 ${E^M_i(x)}$ 。总而言之，我们在算法1中阐明了用于X射线增强的整体框架的实现步骤。Fig. 7中给出了一些融合结果。在整体框架的基础上，局部图像对比度很好，图像细节也很好保留。

实验结果与讨论

为了主观评估所提议的系统，我们构建了一个在线测试系统[33]，并邀请了一些放射科医生和医生来测试我们的系统。用户反馈可以在[34]中找到。此外，我们创建了一个google调查表[35]来主观评估所提出方法的增强结果是否优于其他方法。从这些主题调查中，我们可以发现所提出的方法获得了最积极的反馈。

另一方面，为了进行客观评估，我们使用了离散熵(DE)[36]，绝对平均亮度误差(AMBE)[2]，增强测量(EME)[37]和Tenengrad准则(TEN)[38]。用于图像质量测量。这四个指标根据不同的属性来测量图像质量。 DE用于测量图像的信息级别。 DE分数越大，意味着可以保留更多的图像信息。为了测量保留图像亮度的能力，我们使用了AMBE指标。较小的AMBE表示该方法比具有较高值的方法保留的亮度更好。另外，EME测量增强图像的增强级别。较高的EME意味着更好的增强。为了测量清晰度，我们使用了TEN。该标准基于梯度幅度来评估图像质量。 TEN值越高，表示图像越清晰。

利用两个不同的数据集进行系统分析，测试和比较。第一个数据集由当地医院提供。该数据集中有70张X射线图像[33]。另一个数据集是日本放射技术学会(JSRT)数据集[39]，其中包括许多胸部X射线图像，在肺区域周围有微小结节。我们将在第VI.A节中分析该方法的实验结果。比较在第VI.B节中介绍。除了图像增强之外，我们还希望通过使用JSRT数据集来展示我们的系统帮助医生进行结节检查。VI.C.节中的结果表明，我们的系统可以在低对比度区域识别结节。

关于提出系统的讨论

为了评估所提出方法的有效性和鲁棒性，我们使用了许多医用X射线图像对我们的系统进行了测试。 Fig. 7显示了一些测试图像和增强的结果。如Fig. 7所示，原始图像过亮，对比度低，因此很难看到细节。即便如此，通过衰减组织成分并应用集成算法，我们仍然能够增强图像对比度并揭示细节。而且，提出的增强模型仅涉及逐像素计算。因此，可以有效地实施我们的系统。目前，我们的算法是在具有Intel Core i5 3.0 GHz CPU和4GB内存的PC上实现的。处理分辨率为640×520的标准X射线图像大约需要0.2秒。

在我们的系统中，应设置一些参数。根据我们的分析，我们最终选择了以下设置作为大多数实验的默认设置，并产生可接受的结果。

衰减比设定为{0.5、0.6、0.7、0.8、0.9、1.0}。
窗口大小为7×7。
使用6张增强图像进行融合。

但是，要深入了解所建议的系统，有必要从三个方面了解参数设置的影响：

衰减比的影响
邻域大小的影响
用于结果融合的增强图像的数量

下面，我们讨论细节。

衰减比的影响：用于融合的衰减比的选择是一个关键问题，需要进一步讨论。在实验中，为了了解增强图像的不同组合的影响，测试了如Fig. 8所示的三个衰减率集。每个比率集都有6个元素，这意味着有6个用于融合的增强图像。这些比率组以统一方式或指数方式选择。在这些比率集下的一个测试示例如Fig. 8所示。此外，我们通过检查DE，AMBE，EME和TEN比较了在三个比率集下的融合结果。 Table I和Fig. 8均显示融合结果对比率集不敏感。可能是因为建议的集成框架能够自动平衡许多增强图像之间的优势和劣势。

我们还尝试自动确定最佳比率集。在本实验中，我们应用了粒子群优化(PSO)框架[40]来找到最佳比率集。目标函数是最大化DE值，EME值，TEN值和AMBE负值的总和。请注意，这些指标具有不同的强度范围，应在评估前进行标准化。对于图8中的测试样品，使用了1000个粒子，发现的最佳比率集为{0.69，0.79，0.89，0.92，0.95，0.98}。表I中也列出了相应的度量标准值以进行比较。尽管结果可能会有所改善，但优化过程的成本很高。实际上，我们可以直接使用默认比率集来生成可接受的结果，而无需进行优化。
邻域大小的影响：我们系统中使用的窗口大小是我们需要分析的另一个因素。为了理解细节，进行了实验以增强不同窗口尺寸下的图像。相应的最终结果如Fig. 9所示。随着斑块尺寸的增加，我们发现清晰度逐渐降低。即使这样，通过使用较大的尺寸也可以更好地保留图像亮度。为了进行定量分析，我们还计算了不同窗口大小下的四个指标DE，AMBE，EME和TEN。它们的值列于Table II。在此，不同大小下的DE值大致相同。这意味着在保持图像信息水平方面，所提出的方法对窗口大小不太敏感。此外，AMBE指标显示较大尺寸可以很好地保留图像亮度。但是，该表还显示较大的窗口尺寸会导致较低的增强水平(EME)和图像清晰度(TEN)。为了找到亮度和清晰度之间的折衷，我们最终选择7×7作为默认窗口大小。
用于融合的增强图像的数量：此外，应分析用于融合的增强图像的数量。在我们的实验中，我们比较了基于4、6、8、10和12个增强图像的融合结果。 TEN和DE在不同数量的图像上的分布如Fig. 10所示。DE分布显示，当使用6张或更多图像时，最终结果的信息水平趋于饱和。另一方面，TEN分布表示随着图像数量的增加，融合图像的清晰度逐渐降低。为了妥协和高效，我们选择6张图像作为权衡设置来实施我们的系统。

对比增强

与我们先前的工作进行比较：我们将所提出的方法与我们先前的工作进行比较[10]，以显示改进之处。两种模型都使用分量衰减的概念来增强图像。但是，基于先前的工作[10]进行增强，最终结果的亮度会降低。相反，新提出的模型可以使增强的细节更加鲜艳，对比度也更强。我们可以检查Fig. 11并比较两个模型之间的差异。总体而言，两个模型都可以为X射线检查提供更好的可视化效果。但是，我们新型号的图像亮度更高。此外，所提出的具有新参数模型的集成框架可提供更清晰的图像细节和更均匀的对比度增强。

顺便说一句，我们在[10]中的先前模型是专门为明亮区域设计的，但是黑暗区域的增强较少。不出所料，Fig. 11b中暗区的细节与Fig. 11c中的细节并不一样。相反，由于新模型引用图像区域的局部最大值来调整对比度，因此结果具有更好的增强效果。像Fig. 11c一样，暗区和亮区都显示得很好。如果我们定量评估这两个模型，则在我们的第一个数据集中，新提出的方法的平均ME值和TEN平均值分别为20.5和0.59。相反，由[10]产生的平均ME和TEN分别为11.06和0.18。
与其他相对作品的比较：将两种全局对比度调整方法，即伽马校正(GC)和直方图均衡(HE)与我们的方法进行了比较。同时，还使用了八种最先进的增强方法进行质量比较。它们是：基于空间熵的全局和局部对比度增强(SEGL)[17]，2D直方图均衡化(2D_hist)[16]，基于直方图的局部性保存(HBLP)[2]，自适应伽马校正(AGC)[4]，双边滤波器(BF)[20]，基于局部和基于SURE的边缘保留(LL-SURE)方法[25]，亮度和对比度掩盖(LCM)[24]和组织衰减(TA)[10] 考虑使用10种算法进行性能比较。

我们将11种算法应用于当地医院数据集中提供的70张图像[33]，并生成了增强的X射线图像。针对每个增强图像计算上述4个性能指标。接下来，比较了70张图像上指标的平均值(请参见Table III)。根据表III中的结果，提出的方法比大多数其他方法获得更好的结果。

为了分析这些方法的性能，我们将讨论三个方面：增强质量，信息级别和亮度保持。为了评估增强的质量，使用了EME和TEN。如表III所示，我们方法的EME和TEN值分别为20.55和0.59。它们也是所有方法中的最高值。另外，在Fig. 12中，我们显示了由BF [20]，LLSURE [25]，TA [10]和提出的方法产生的70张增强图像上的EME值分布。分布表明，我们的系统可以比其他三种方法更好地增强图像。

直方图熵是通常用于衡量增强图像信息水平的常用指标。为了了解增强图像的信息级别，我们采用了DE度量。在Table III中，由11种方法产生的DE值都很高。这意味着这些方法都可以很好地利用图像动态范围。这也意味着图像强度分布广泛。请注意，所提出方法的DE值为7.63，这是11种方法中的最高值。

最终指标是AMBE。这可以衡量系统保持亮度的能力。应该注意的是，在对比度增强和亮度保持之间总是存在一个折衷。为了保持亮度，一个简单的解决方案是保留原始图像而不进行修改。显然，这违反了图像增强的基本目标。因此，我们的系统将亮度保持作为软约束而不是主要目标。在表III中，BF [20]，LLSURE [25]和LCM [24]这三种方法的AMBE值很小。我们可以预期这三种方法将比其他方法更好地保留亮度。因此，如Fig. 13h至Fig. 13j所示，这三种方法的增强结果具有类似于原始图像的亮度。但是，这些增强结果的细节对于X射线检查(尤其是在明亮区域中)并不明显。相反，我们的方法以0.186的合理AMBE值增强了明暗区域。

除了定量评估外，我们还提供了11种方法(Fig. 13中)输出的增强图像以进行视觉比较。首先，我们比较了全局调整方法和局部调整方法之间的差异。在不考虑局部特性的情况下，通过全局方法生成的一些局部细节的可视化效果如Fig. 13b，Fig. 13c和Fig.13d并没有得到很大改善。尽管全局对比度得到了增强，但黑暗区域仍缺乏对比度，并且细节难以辨认。在此示例中，原始的胸部X射线图像过亮。为了扩展动态范围，全局方法倾向于将亮像素映射到暗像素。作为回报，通过牺牲黑暗区域，可以识别明亮区域的细节。因此，通过使用全局调整方法来在明亮和黑暗区域中保留细节都是具有挑战性的。

然后，我们比较了另外3种方法：HBLP [2]，2D_Hist [16]和AGC [4]。他们声称可以增强图像的整体对比度并保留局部属性。 HBLP [1]和2D_Hist [16]是直方图均衡[1]的扩展； AGC [4]是伽马校正的局部自适应版本。尽管这些方法考虑了局部特性，但结果的质量对于检查而言并不令人满意。通过评估Fig. 13e至Fig. 13g，我们无法轻易看到过暗和过亮区域的细节。这可能是因为这些方法旨在保持全局的物理对比度顺序。换句话说，在图像增强之后，暗区域中的亮度应该仍然小于亮区域。该假设对于看起来自然的增强可能是必需的。但是，对于X射线检查，细节的清晰度比视觉愉悦性更重要。要查看图像细节，可以选择局部调整图像的方法。 TA方法和我们提出的系统就是两个这样的例子。正如我们在Fig. 13k和Fig. 13l中看到的那样，它们能够显示细节。

还比较了BF [20]，LLSURE [25]和LCM [24]的基于变换的方法产生的一些增强结果。这些方法试图强调高频分量以揭示图像细节。同时，它们保留了低频分量，从而保留了图像亮度。这些方法的相应结果示于Fig. 12h至Fig. 12j。总体而言，这些方法可增加黑暗区域的可见性。但是，明亮区域中嵌入的细节仍然模糊不清。与这些方法不同，我们的方法是专门为X射线检查设计的。如何很好地呈现细节是我们的首要目标。根据Fig. 7，Fig. 11c和Fig. 13l的结果，我们证明了我们的系统可以揭示X射线图像的细节，不仅在暗区域，而且在亮区域。

疾病检查方向的应用

此外，我们希望证明我们的系统能够帮助医生进行疾病检查。因此，我们应用了所提出的方法来增强JSRT数据集中的X射线图像。在数据集中，一些X射线图像的胸部区域嵌有微小结节。与其他X射线数据集相比，JSRT X射线图像具有较低的分辨率和较低的对比度。另外，由于图像质量较低，如果不进行图像增强，则难以识别结节的位置。

Fig. 14显示了一些带有和不带有增强效果的JSRT X射线图像。已知的结节位置由箭头指示。在该示例中，我们无法轻松地从原始X射线图像中识别结节。应用所提出的方法调整图像对比度后，Fig. 14b显示结节区域变得更清晰。甚至，结节和骨骼结构都得到了很好的增强。此外，JSRT X射线图像过亮。 Fig. 14a显示我们无法清楚地看到明亮和黑暗区域中的图像内容。应用提出的方法后，我们的系统通过衰减组织成分来增加图像细节。集成框架还使我们的图像增强功能可以局部适应不同的图像区域。因此，我们在Fig. 14b中的结果表明，我们可以发现许多小的但重要的细节。

此外，为了进行比较，我们还包括了Fig. 14中其他6种方法所产生的结果。与Fig. 13中的讨论类似，如果与Fig. 13中的讨论相比，所提出的方法可以揭示更多的暗区和亮区结构细节。其他方法。此外，为了从X射线图像中手动检查结节，简化的原理是在胸部区域找到圆形的斑点。由于提出的方法能够局部和自适应地增强对象的边界，因此结节边界在我们的增强结果中也变得更加清晰。在使用建议的方法帮助进行X射线检查时，放射科医生可以同时检查原始X射线图像和增强后的结果。一方面，如果放射科医生在原始图像中识别出可能的结节，则我们的增强图像可以帮助验证假设，并可以为结节大小的测量提供更清晰的视图。另一方面，增强图像能够显示原始图像中不清楚的细节。这有助于减少丢失检测的次数。因此，所提出的方法在结节检测方面具有两个优点。首先，我们的方法可以揭示更多图像细节并减少漏检。其次，更清晰的物体边界有助于定位结节并使结节尺寸的测量更容易。

另外，为了客观地比较有和没有提出的增强方法的结核检测，我们实现了结核检测算法[41]。选择该方法是因为它还将JSRT数据集用于实验。该方法包括三个步骤。首先，该方法基于滤波器组提取逐像素特征。其次，将提取的特征输入到训练有素的逐像素分类器中，以生成结核样图。最后，给定相似度图，使用多尺度斑点检测算法来识别图像中的结节。在Fig. 15中，我们显示了从原始X射线图像和增强图像生成的结节状图，以进行比较。此外，我们通过使用自由响应接收器工作特性(FROC)[42]曲线比较了有无图像增强时的结节检测性能。 140张JSRT X射线图像均用于评估。如Fig. 16所示，当使用提出的方法时，我们实现了更高的灵敏度和更低的误报率。这些实验和比较表明，我们增强的图像可用于疾病诊断。

结论

X射线图像中记录的能量能够揭示人体的内部状况。因此，X射线成像已经成为健康检查的标准工具。然而，X射线图像的低对比度特性使得难以识别微小且异常的细节。本文提出了一种新的基于分量衰减，对比度调整和图像融合的增强系统。通过衰减图像上的组织，我们可以自适应地增强亮区和暗区的基本细节。在这一概念的基础上，制定了一个新颖的参数调整模型。该模型使用户可以通过调整衰减比例轻松增强图像对比度。为了局部增强对比度，还提出了一种集成策略来融合许多增强的图像，并通过最大化视觉对比度来生成最终输出。我们使用了四个测量指标和两个数据集来评估我们的系统。结果表明，我们的方法可有效增强器官，骨骼结构以及一些细微但重要的细节，例如低对比度X射线图像中的微小结节。此外，还建立了在线测试系统以进行主观评估。它表明我们的系统可以帮助医生进行疾病检查。

附录A

附录B 洞察组织衰减

值得讨论的是衰减因子 $α$ 的作用及其对增强结果 $E(x)$ 的影响。为了进行分析，我们引入了局部斑块对比度(LCR)的概念，也称为Weber局部对比度[31]。对于像素x周围的归一化图像 $I_n(x)$ 的局部补丁，LCR在公式A1中定义。

公式A1：

$L C R\left(I_{n}(x)\right) \triangleq \frac{I_{n}^{\max }(x)-I_{n}^{\min }(x)}{I_{n}^{\min }(x)}$

注意 $I_{n}^{\max }(x) \triangleq \max _{y \in L_{x}} I_{n}(y) \text { and } I_{n}^{\min }(x) \triangleq \min _{y \in L_{x}} I_{n}(y)$ ; $L_x$ 是像素x周围的局部区域。按照相同的定义，我们可以通过以下方式计算增强图像 $E(x)$ 的LCR：

公式A2：

$L C R(E(x))=\frac{E_{n}^{\max }(x)-E_{n}^{\min }(x)}{E_{n}^{\min }(x)}$

其中 $E^{max}_ n(x)$ 和 $E^{min}_ n(x)$ 是像素x周围局部区域的局部最大值和最小值。通过参考公式3和公式4，我们可以得出 $E^{max}_ n(x)$ 为：

公式A3：

$\begin{aligned} E_{n}^{\max }(x) & \triangleq \max _{y \in L_{x}} E(y)=\max _{y \in L_{x}} \frac{I_{n}(y)-\alpha \cdot I_{n}^{\min }(y)}{\operatorname{Imax}(y)^{\lambda(y)}-\alpha \cdot I_{n}^{\min }(y)} \\ & \approx \frac{\left[\max _{y \in L_{x}} I_{n}(y)\right]-\alpha \cdot I_{n}^{\min }(x)}{I_{n}^{\max }(x)^{\lambda(x)}-\alpha \cdot I_{n}^{\min }(x)} \\ &=\frac{I_{n}^{\max }(x)-\alpha \cdot I_{n}^{\min }(x)}{I_{n}^{\max }(x)^{\lambda(x)}-\alpha \cdot I_{n}^{\min }(x)} \end{aligned}$

在上面的推导中，我们假设在小的局部区域 $L_x$ 中不同像素的局部最大值和最小值是大致固定的。也就是说，如果 $y∈L_x$ ，我们假设 $I_{n}^{\min }(y) \approx I_{n}^{\min }(x) \text { and } I_{n}^{\max }(y) \approx I_{n}^{\max }(x)$ 。此外，如公式6所示， $λ^*(x)$ 的设置仅取决于 $I ^{min}_n(x)$ 和 $I^{max}_ n(x)$ 。因此，对于任何像素 $y∈L_x$ ，我们都有 $λ(y)≈λ(x)$ 。同样，基于这些假设， $E^min_ n(x)$ 的估算公式为：

公式A4：

$E_{n}^{\min }(x) \triangleq \min _{y \in L_{x}} E(y) \approx \frac{I_{n}^{\min }(x)-\alpha \cdot I_{n}^{\min }(x)}{I_{n}^{\max }(x)^{\lambda(x)}-\alpha \cdot I_{n}^{\min }(x)}$

使用新推导的 $E^{max}_ n(x)$ 和 $E^{min}_ n(x)$ ，可以将公式A2中定义的增强图像 $E(x)$ 的LCR重写为：

公式A5：

$\begin{aligned} L C R(E(x)) & \approx \frac{I_{n}^{\max }(x)-I_{n}^{\min }(x)}{I_{n}^{\min }(x)-\alpha \cdot I_{n}^{\min }(x)} \\ &=\frac{1}{1-\alpha}\left(\frac{I_{n}^{\max }(x)-I_{n}^{\min }(x)}{I_{n}^{\min }(x)}\right) \end{aligned}$

现在，根据公式A1和A5，我们将增强比定义为：

公式A6：

$\text { EnhancementRatio }(\alpha) \triangleq \frac{L C R(E(x))}{L C R\left(I_{n}(x)\right)}=\frac{1}{1-\alpha}$

我们发现衰减因子α可以看作是控制LCR的 $E(x)$ 和 $I_n(x)$ 之间增强比的全局参数。在所有图像像素上，一旦选择了 $α$ 值，该比率就固定为 $1/(1-α)$ 。当α从0增加到1时，比率相应地增加。

附录C 组织估计的推导

在本附录中，我们讨论如何估计最大可移动组织成分图 $T(x)$ 。我们假设可以通过找到最佳可移动组件图来确定 $T(x)$ ，该图可在最终增强图像 $E(x)$ 上最大化局部对比度的总和。为了定义优化问题，我们在像素x处引入了 $E(x)$ 的基于像素的对比度范围(PCR)，如下所示：

公式A7：

$P C R_{x} \triangleq E(x)-\min _{y \in L_{x}} E(y)$

其中 $L_x$ 代表像素x周围的局部区域，y是 $L_x$ 内的像素。另外，引入一些约束以便找到映射 $T(x)$ 的可行估计。它们包括：

范围约束： $I_n(x)≥R(x)≥0$ ，并且 $R(x)∈N$ 是一个非负整数，指示像素x处的可移动强度。
平滑邻域约束： $\Sigma_{y∈L_x}(R(x)-R(y))^2$ 应该小；
正则化约束：我们更喜欢 $R(x)^2$ 。请注意，我们拥有的可移除组件越大，我们可以实现的对比度越高。

接下来，使用公式3，然后通过找到受三个约束约束的可移动分量图 $R(x)$ 来估算图 $T(x)$ ，并在所有位置上最大化增强图像 $E(x)$ 的PCR求和图像像素。那是

公式A8：

$T(x) \triangleq \operatorname{argmax}_{R} \sum_{x}\left\{\begin{array}{l} {\begin{array}{l} \left.[E(x)-\min _{y \in L_{x}} E(y)\right]^{2}+\gamma_{1}\left[R(x)^{2}\right] \\ -\gamma_{2}\left[\sum_{y \in L_{x}}(R(x)-R(y))^{2}\right] \end{array}} \end{array}\right\}$

$\text { subject to } I_{n}(x) \geq R(x) \geq 0 \text { and } R(x) \in N$

在公式A8中， $E(x)$ 是 $R(x)$ 的函数； $γ_1$ 和 $γ_2$ 是两个可调权重，用于控制约束的重要性。由于最优 $R(x)$ 与它的邻居 ${R(y)}_{y∈L_x}$ 高度相关，因此优化问题的解决方案是不平凡的。为了解决这个问题，我们应用了Graph Cut算法。一维测试信号及其优化结果如Fig. 17所示。我们可能会发现最佳解接近于局部最小值的分布。通过简单地找到x周围局部区域内的局部最小值，这使我们有一种直觉来近似地图 $T(x)$ 。即 $T(x) \cong \min _{y \in L_{x}} I_{n}(y)$ 。