低频重分布与边缘增强的红外图像增强算法

邓春华,周 勇

(1.江西应用科技学院软件与区块链学院,江西 南昌 330100；
2.江西师范大学计算机信息工程学院,江西 南昌 330027)

红外成像具有隐蔽性好和抗干扰性能强等优点,广泛应用于军事、民用和医疗等领域[1],但是由于平面探测器灵敏度不高、镜头光圈数和镜头景深不够以及物体的温度分布影响,红外成像的清晰度和对比度往往较低,画面较模糊[2]。因此,红外图像增强对红外图像的分析和应用非常重要。直方图均衡化[3]用变换函数增大图像灰度级的动态范围,以提升图像的对比度,但是会压缩微小细节的灰度级范围,过增强图像的部分背景。双直方图均衡化[4]根据图像的亮度中值对图像直方图进行划分,再分别进行均衡化处理,以提升图像的信息熵和平均亮度。为了减少微小细节的欠增强和背景的过增强,平台直方图均衡[5]通过设置阈值,以保护这部分图像信息。但是阈值的设置缺乏鲁棒性,对部分图像未必有效。自适应直方图均衡[6]对图像的局部直方图进行自适应的均衡化,具有一定的鲁棒性,但是会带来噪声。于是,限制对比度的自适应直方图均衡方法[7]在均衡化的过程中结合对比度限制,以抑制噪声的放大。文献[8]对红外图像进行自适应的直方图均衡化后,再次用拉普拉斯变换进行细节锐化。

基于直方图的红外图像增强方法通过灰度级的重分布来改善图像的质量,但是忽略了图像在空间分布上的几何特征。为了有效地保持和增强红外图像的几何特征,基于Retinex的图像增强方法将红外图像分解为基础层和细节层,然后分别进行增强处理[9-10]。文献[11]对基础图像进行自适应拉伸,而对细节图像进行非线性曲线校正,以提升红外图像的对比度。文献[12]用主特征提取法获得红外图像的基础层和细节层,分别增强它们的对比度。但是对基础层的对比度增强处理会破坏图像的亮度分布,使得增强图像出现伪影。为了消除因图像增强而产生的光晕和伪影,Umoh等人[13]提出一种基于邻域小波阈值系数的红外图像增强技术,通过小波阈值滤波和多尺度小波重构实现红外图像的细节增强。文献[14]提出多尺度卷积和自适应双区间的直方图均衡化,对红外图像的细节和对比度进行拉伸,并使用均方差和平均灰度均衡以提高图像的亮度。

为了克服现有红外图像增强方法存在的欠增强、过增强以及光晕和伪影等缺陷,提出了低频重分布与边缘增强的红外图像增强算法。用改进的引导滤波提取红外图像低频和高频部分,对低频图像的像素进行均匀重分布,而用提出的方向梯度算子对高频图像进行边缘增强,实验证明了本文方法的增强效果优于部分最新提出的增强方法。

Retinex理论认为,当光照条件产生变化时,人眼视觉对物体颜色的感知保持不变,即颜色恒常性,另外,人眼视觉感知的图像,是由外界的光照分量和物体本身的反射分量的乘积组成,即:

I=L×R

(1)

其中,I为图像；
L为光照分量；
R为反射分量。光照分量L的强度变化缓慢,为图像的低频成分,而反射分量R决定于成像物体表面固有的特性,表现为图像的高频成分。为了计算和处理上的方便,将式(1)转换到对数域,得:

lnI=lnL+lnR

(2)

将式(2)进一步等价变换,可得反射分量R的表达式:

R=exp(lnI-lnL)

(3)

因此,只要得到图像的光照分量L,就可以由式(3)得到图像的反射分量。由于高斯滤波具有良好的低通滤波能力,一般选取高斯滤波器对图像I进行滤波获得图像的光照部分,也即低频成分:

L=G*I

(4)

其中,*为卷积运算;G为高斯滤波核:

(5)

其中,σ为空间标准差。

对L和R分别进行增强处理后,根据式(2)作变换,得到增强的红外图像:

I=exp(lnL+ lnR)

(6)

根据高斯滤波核的定义式(5),明显可以看出,高斯滤波核是基于空间距离的高斯分布,且具有各向同性,忽略了像素域的边缘纹理,边缘保持能力较差。相对地,引导滤波具有良好的边缘保持能力,因此本文提出改进的引导滤波以提取图像的低频成分。

引导滤波基于引导图像,将图像的每一像素与其邻域像素定义为线性关系而进行局部线性滤波,再将局部线性滤波结果累加得到滤波图像。引导滤波定义为[15]:

ri=akgi+bk,i∈Nk

(7)

其中,Nk为引导图像中以像素k为中心的邻域;ak和bk为Nk的线性系数。滤波图像r应尽可能保持图像的边缘和纹理,与输入的原图像I接近,用最小二乘法进行拟合,代价函数为:

(8)

其中,ε为正则化系数,ε越大,平滑效果越明显,ε越小,边缘保持越好。通过线性回归求解代价函数C,可得系数ak和bk分别为:

(9)

(10)

(11)

一般地,选取输入图像I作为引导图像g,于是根据式(9)和(10),ak和bk简化为:

(12)

bk=(1-ak)uk

(13)

虽然引导滤波具有良好的边缘保持能力,但是用统一的正则化系数ε处理所有的图像区域,滤波图像容易产生光晕现象。因为除了图像区域的方差外,正则化系数ε在较大程度上左右滤波处理的平滑和细节保持效果,而固定不变的正则化系数ε缺乏区域特性的敏感性,容易产生光晕现象。因此,本文对引导滤波进行改进,提出了基于自适应正则化系数的引导滤波,以更准确地提取红外图像的低频和高频部分。

根据邻域的信息熵区分当前邻域的平滑和细节的特性,自适应的自适应正则化系数为:

(14)

正则化系数ε自适应于当前邻域N的信息熵,而分子的原图像的信息熵Entropy(I)起到归一化的作用。当前邻域N处于细节区域时,N的信息熵较大,而ε的值偏小,进一步保持了图像的纹理细节；
而当前邻域N处于平滑区域时,N的信息熵较小,而ε的值偏大,进一步提升平滑的效果。

决定图像效果的因素为亮度和对比度,亮度过小或过大,以及像素分布不均都会影响图像效果。理想的图像效果为充分利用整个像素级空间和像素在整个像素级空间中相对均匀分布。一般地,图像效果可以通过图像的直方图予以体现,如图1所示。图1(a)的直方图分布过于集中且偏左,对应的图像较暗且对比度低；
图1(b)的直方图分布位置适宜但过于集中,对应的图像亮度适宜,但是对比度低；
图1(c)的直方图过于集中且偏右,对应的图像亮度过大,且对比度低；
图1(d)的直方图相对均匀地分布于整个像素级空间,且分布的主峰处于像素级范围的中间,对应的图像亮度较适宜,对比度较高。

图1 直方图的例析

红外图像的成像机理决定了红外图像总体亮度较暗,对比度较低。为了提升红外图像的亮度和清晰度,使得隐藏于暗区的图像细节正常显示,同时为了避免图像的过增强,基于以上分析,本文提出了一种低频图像的相对均匀重分布方法,用数学模型表示为:

Le=MaxIntensity*(L-min(L))/(max(L)-min(L))

(15)

其中,L和Le分别为归一化后的低频图像和像素相对均匀重分布后的低频图像,MaxIntensity为最大像素值,max和min分别为最大、最小函数。式(15)将低频图像的直方图分布,在整个像素级空间中按照像素值的大小顺序,相对均匀地重分布,实现了整个像素级空间的充分利用、直方图相对均匀分布以及直方图的主峰处于像素级空间的中间。因此,重分布提升了低频图像的亮度和清晰度。以下为像素相对均匀重分布的一个例析,如表1所示。

表1 像素相对均匀重分布例析

表1中对应于原图像和像素相对均匀重分布后的直方图如图2所示。很明显,相对于原图像的直方图,像素相对均匀重分布后的直方图,近似均匀地分布于整个像素级空间,主峰处于空间范围的中间。因此图像的亮度较适宜,对比度较高。

图2 直方图相对均匀重分布前后的对比

红外成像机理导致红外图像的对比度较低,对低频图像的直方图进行相对均匀重分布,是为了提升亮度以将隐藏于暗区的图像细节清晰显示,或者使得亮度较暗的图像细节更加清晰。为进一步提升红外图像的对比度,本文提出了基于方向梯度算子的高频图像边缘增强方法。

根据图像的边缘走向以及邻域像素基于空间距离的相关性,本文提出了一种方向梯度算子,如图3所示。方向梯度算子包括水平、垂直和正、反对角线四个方向的梯度,基本上能够获取图像的所有纹理方向。梯度算子用反比于空间距离的梯度系数体现邻域像素对中心像素的梯度相关性,能更准确地提取图像各方向的边缘信息。

图3 多向梯度算子

如果高频图像的对比度较高,用梯度算子对其进行卷积运算将会获得边缘较粗的边缘图像,但是为了避免过增强,对比度较高的图像只需较小程度的边缘增强。如果高频图像的对比度较低,用梯度算子对其进行卷积运算将会获得边缘较微弱的边缘图像,但是为了进一步提高图像的对比度,对比度较低的图像需要较大程度的边缘增强。根据以上分析和实验验证,本文对高频图像采用自适应于局部信息熵的非线性边缘增强:

Re(k)=R(k)+E(k)/Entropy(Nk)

(16)

其中,R(k)为高频图像R中像素k的像素值;E为用上述方向梯度算子提取的边缘图像;Nk为高频图像中以像素k为中心的邻域,Entropy为信息熵函数,图像邻域的信息越丰富,其信息熵越大。从增强的定义式(16)可以看出,对高频图像的像素k的增强自适应地反比于其邻域Nk的信息熵。如果像素k对应的邻域Nk较清晰,则其信息熵较大,对像素k进行较小程度的边缘增强；
如果像素k对应的邻域Nk较模糊,则其信息熵较小,对像素k进行较大程度的边缘增强。

在安装有Win11系统和Matlab 2021a软件、处理器为i7 CPU和内存为8 GB的计算机上部署实验。用三个场景红外图像,根据视觉效果和图像质量指标信息熵、Brenner梯度函数和无参考图像质量指标NIQE,将本文方法与部分最新提出的方法进行实验比较分析,这些方法分别为文献[7]、[8]、[13]和[14]提出的方法。信息熵H、Brenner梯度和NIQE定义为[16-18]

(17)

(18)

(19)

其中,H和W分别为图像的高和宽;v1、v2、∑1和∑2分别为自然图像和失真图像的多变量高斯模型的均值和方差矩阵。信息熵H值越大,表示图像信息越丰富；
Brenner值越大,图像越清晰；
NIQE值越小,图像质量越高。

各算法对场景一图像的增强效果如图4所示。各算法对图像的亮度和对比度均有不同程度的提升,但文献[7]和[8]在亮度上仍然偏暗,对比度的提升不明显；
文献[13]、[14]和本文方法的亮度较适宜,但文献[13]的图像效果稍显模糊,文献[14]的对比度较高,但是图像的边缘产生明显的光晕现象,而本文方法在保持图像自然效果的同时,较大地提升了图像的对比度。

图4 各算法对场景一的增强图像

图5显示了各算法对场景二的增强效果图像。原图像的细节丰富,但亮度较暗,对比度也较低。文献[7]显著提升了图像的对比度,但是同时存在背景的欠增强和前景目标的过增强,部分微小的图像细节未能正常显示,且整体图像偏暗,文献[8]适宜地提升了图像的亮度,但是对比度欠佳,类似地,文献[13]和[14]的图像效果整体泛白,对比度的提升并不显著。相对地,本文方法在适宜地提升图像整体亮度的同时,能够增强原本模糊的微小细节,使其得以清晰显示,图像的整体对比度较高。

图5 各算法对场景二的增强图像

各算法对场景三图像进行增强的效果如图6所示。原图像存在大量的亮区方格边缘,图像的整体亮度不足。文献[7]的图像亮度较暗,以致其对比度提升不明显,文献[13]和[14]存在明显的过增强,部分前景细节丢失,而文献[8]和本文均有效地提升了图像的亮度和对比度,且本文方法对方格边缘的增强尤为明显。

图6 各算法对场景三的增强图像

对增强图像的主观视觉感知难免有偏差,为了更准确地比较各算法的增强效果,将各算法对应于增强三个场景图像的信息熵、Brenner梯度以及NIQE指数值列于表2,信息熵和Brenner梯度值越大越好,而NIQE指数值越小越好。

表2 各算法对三个场景图像增强的质量指数值

对于场景一,文献[7]和[8]的信息熵和Brenner梯度值较小,NIQE指数较大,而文献[14]和本文方法的信息熵和Brenner梯度值较大,NIQE指数较小。其中,本文方法的三个指标值稍微优于文献[14]。

对于场景二,本文方法的信息熵略高于其他算法,而Brenner梯度明显高于其他算法,比指数值较高的文献[7]还高出50左右。对于NIQE指数值,本文方法明显比其他方法小,比指数值较低的文献[8]还小1.8左右。

对于场景三,相对地,本文方法和文献[8]的三个图像质量指标值较高,其中本文方法稍微优于文献[8],其信息熵和Brenner梯度值分别比文献[8]高出大约0.28和500,而NIQE指数值比文献[8]低约0.14。

为了在有效增强图像的亮度和对比度的同时,保持图像的自然效果,提出了低频重分布与边缘增强的红外图像增强算法。基于改进的引导滤波,对红外图像的低频部分进行相对均匀重分布,而对高频图像进行方向边缘增强,实验结果证明了本文方法的有效性,相对于部分现有的增强算法,本文方法具有优越的增强性能,其增强图像的亮度和对比度较高,同时具有更好的自然效果。