煤矿掘进工作面低照度视频增强技术研究

张旭辉，杨红强，白琳娜，石 硕，杜昱阳，张 超，万继成，杨文娟，毛清华，董 征

(1.西安科技大学 机械工程学院，陕西 西安 710054；
2.陕西省矿山机电装备智能监测重点实验室，陕西 西安 710054)

煤炭作为我国的主体能源，是保障国家经济发展的重要基础性能源[1]。煤矿智能化是煤炭工业高质量发展的核心技术支撑，是煤矿发展的必由之路，煤矿智能化进入加快发展阶段[2]。掘进工作面作为煤矿开采最前沿、劳动强度最大、危险程度最高的场所，其智能化建设是煤矿智能化的重要环节，是实现矿井智能化、少人化高效开采的关键。而视频技术的应用是煤矿安全高效生产、智能化建设的重要组成部分，其为掘进工作面的目标识别、目标监测、目标跟踪、图像分割等提供了重要的信息支撑。但是，掘进工作面粉尘浓度大、光照不足、杂光干扰等环境因素，直接导致视频图像存在亮度不均、细节纹理模糊不清、噪声较多等问题[3]，严重影响后续视频的分析与决策。因此，研究适合煤矿掘进工作面低照度视频增强算法具有十分重要的实际意义。

针对煤矿井下视频图像增强技术，许多学者开展了广泛而深入的研究与实践。袁明道等[4]采用限制对比度自适应直方图均化和同态滤波处理光照不均匀和对比度低的问题，并通过非线性映射函数对管道探测图像细节进行增强，但是对噪声的抑制效果不太明显。智宁等[5]提出通过调整图像的照度分量来实现图像的增强的思路，并针对照度不均匀的特性，提出一种新的 “S”形曲线函数并对其进行调整，但是没有消除粉尘对于图像的影响。Guo Xiaojie 等[6]提出了一种LIME(Local Interpretable Model-Agnostic Explanations,LIME)算法，通过对初始照度分量进行细化，得到更为平滑的照度估计，利用伽马变换将调整后的照度图与反射图相乘得到增强结果，该算法可以有效提升低照度视频图像的亮度，但在亮区容易过曝光。董静薇等[7]针对视频中的图像增强问题，从时频分析的角度出发，增强了图像的对比度，使图像更具有可视性，但是局部增强效果不明显。龚云等[8]针对煤矿井下图像灰度偏暗和对比度低的问题，提出一种在HSV 空间下结合加权分布自适应伽马校正的同态滤波方法，能够在增强图像的亮度和对比度的同时，还能保留图像的细节信息，但存在一定的颜色失真现象。LI Zhi 等[9]通过小波融合将2 个提升过10 倍的V 分量进行融合，可以很好地增强照度极低的视频图像，但对于每幅图像都提升10 倍显然不够合理。郭伶俐等[10]将视频分帧，对于每一帧图像提取V 分量，并根据低照度大气散射模型求解得到初步增强的V 分量，同时为了丰富图像细节，提出细节优化方法，得到增强图像，合成每一帧增强图像得到增强视频。蔡利梅等[11]提出了一种基于改进HSV (Hue,Saturation,Value)的空间颜色可恢复多尺度图像增强算法，其对背景噪声有效抑制，但增强后的图像层次不够清晰。He Kaiming 等[12]通过观察和统计大量测试图像估计出含雾图像的粗略透射率图与大气光亮度等，再利用软抠图技术对粗略透射率图进行进一步优化，最后利用大气散射模型复原得到无雾、清晰的图像，但是处理过程复杂度较高。蔡秀梅等[13]基于模糊逻辑与模糊集理论将同态滤波中的傅里叶变换与反变换改进为模糊与去模糊隶属度函数变换，然后在图像的HSV 空间中，仅在模糊特征平面上对亮度分量进行改进的同态滤波处理，在一定程度上增强了图片的对比度。程德强等[14]提出了一种基于引导滤波的单尺度Retinex 算法，该算法在对比度提升、细节增强和去噪方面有较好的效果，但无法同时满足图像的动态范围压缩和颜色高保真。

鉴此，笔者针对煤矿掘进工作面低照度视频提出一种基于可分离高斯滤波、完美反射法白平衡、混合亮度图像增强和改进暗通道的视频增强算法，以期快速、有效提升掘进工作面低照度视频图像对比度，抑制噪声、杂光干扰，使增强后的视频具有更加丰富的细节信息。

煤矿掘进工作面低照度视频增强技术总体方案如图1 所示。

图1 总体方案Fig.1 Overall scheme

首先对原始视频进行预处理操作，其主要步骤包括：使用可分离高斯滤波将视频图像进行水平卷积与垂直卷积消除噪声影响，基于完美反射法实现自动白平衡，解决颜色失真问题，再利用混合亮度增强方法提高图像细节信息。然后通过改进暗通道先验去雾算法与大气散射模型实现视频的快速去雾，其主要步骤包括：使用递归算法将视频区域分割为高光区、中间调、暗调区，再利用3 个分区通道像素最大值的均值进行大气光照估算，并引入调节因子对透射率的估算进行调整优化。最后，通过大气散射模型实现视频图像去雾，并对去雾后的图像进行空间锐化滤波，提高图像清晰度，实现掘进机工作面低照度视频增强、去雾。

煤矿井下掘进工作面受光照、粉尘、杂光等环境因素干扰，导致视频存在光照不均匀、细节模糊不清、噪声异常复杂等问题[3]。为了获取视频更多细节信息，消除光照因素对于视频质量的影响，首先对拍摄到的原始视频进行预处理操作。

2.1 可分离高斯滤波

图像滤波是数字图像处理和计算机视觉中广泛使用的基础图像处理方法，由于煤矿井下环境较为复杂，所以采集到的视频一般含有大量噪声，图像对比度不高，导致场景目标模糊。因此，为了准确识别图像中的细节，对图像进行高斯滤波处理。

高斯滤波属于线性平滑滤波范畴，适合消除图像中含有的高斯噪声，其被广泛应用于图像处理过程中的降噪环节，高斯滤波有2 种实现方式：离散化滑窗卷积和傅里叶变换[15]。其中离散化滑窗卷积目前最常见，而在高斯卷积应用中，可能会用到较大的卷积核，严重影响计算速度。

因此，为了降低卷积复杂度和计算量，利用卷积的可分离性实现可分离高斯滤波，即将图像先与一维水平卷积核相卷积，再与一维垂直方向的卷积核相卷积。对于原始视频图像f(x,y)，则可分离高斯滤波表示为：

原始视频图像f(x,y)使用可分离高斯滤波前后对比效果如图2 所示。

图2 可分离高斯滤波前后效果对比Fig.2 Effect comparison before and after separable Gaussian filtering

由图2 可知，由于低照度问题，无法对视频图像的滤波效果进行主观评价。因此，引入信噪比(Signal-to-Noise Ratio,SNR)作为图像滤波后衡量降噪程度的客观评价指标，其值越大，说明视频图像中包含的噪声越小，降噪效果越好；
反之，降噪效果越差。通过对图2中图像SNR 的计算，得到图2a 的SNR 为0.85，图2b的SNR 为1.107。因此，原始视频图像f(x,y)经可分离高斯滤波后噪声明显降低。

2.2 基于完美反射法的自动白平衡

人眼在观察物体的时候，可以根据不同光源的性质调整被观察到的物体颜色，而相机在不同色温光源下拍摄到的图像会产生偏色。为了解决这种颜色失真问题，通常使用白平衡技术使受环境光影响的图像和物体真实的颜色保持一致。

完美反射法作为自动白平衡技术中的重要方法，其以图像中最亮点作为白色点，并假设该点可以完美反射B、G、R三种颜色，并以此点为参考对图像进行自动白平衡[16]。其算法具体计算过程如下：

根据可分离高斯滤波图像f(x,y)的像素尺寸，取其10%比例计算白色参考点T的取值：

式中：T为白色参考点；
rows和cols分别为当前视频帧图像的行和列数量。

以图像左上角为起始点，右下角为终止点，按先行后列遍历求取每个像素B、G、R最大值之和：

式中：CBGR为存放每个像素B、G、R通道值和的容器；
PB(r,n)、PG(r,n)、PR(r,n)分 别为r行n列 像素B、G、R通道值。

遍历容器CBGR中每个大于T的值，并将其对应像素B、G、R的通道值累加求其平均值BAvg、GAvg、RAvg：

式中：m为CBGR中大于T的数量；
PB(i)、PG(i)、PR(i)为i点处通道值。

以B、G、R通道最大值Bmax、Gmax、Rmax除 以BAvg、GAvg、RAvg作为补偿系数Δb、Δg、Δr，具体表示为：

将每个像素B、G、R通道值量化到[0,255]，即某r行n列像素B、G、R乘以补偿系数 Δc，若其值大于255，则相应通道值为255，反之则为0，获得白平衡处理后图像g(x,y)，具体效果如图3 所示。

图3 自动白平衡前后效果对比Fig.3 Effect comparison before and after automatic white balance

由图3 可以看出，使用完美反射法实现自动白平衡后，图像细节信息更加清晰可观，物体颜色基本和实际保持一致，不存在颜色失真问题。

2.3 混合亮度增强

由于煤矿井下低光照的影响，所以直接导致采集到的视频中存在大量黑色区域，造成图像特征信息丢失。因此，通过图像混合的方法来增强视频亮度，将更多的图像细节信息显现。其具体过程如下。

构建一个与待处理图像g(x,y)尺寸大小一样的矩阵，并零填充为图像h(x,y)，则混合亮度增强图像k(x,y)生成过程可表示为：

式中：θ为权重系数，取值为0.9。

由图4 可以看出，自动白平衡图像经混合亮度增强后，图像整体亮度有所改善，其局部细节信息也更加凸显。

图4 混合增强前后效果对比Fig.4 Effect comparison before and after mixed enhancement

当煤矿掘进工作面，掘进装备作业或人员活动时，会产生各种岩矿飘散微粒。若其浓度越小，视频图像感兴趣区域的背景越清晰；
反之，视频图像感兴趣区域的背景越不清晰。因此，粉尘直接影响特征信息的提取与感兴趣区域的应用。

针对大气中细小颗粒物的散射作用，S.K.Nayar等[17]提出了著名的大气散射模型，该模型可以表示为：

式中：I(x)为 观测到的有雾图像；
t(x)为场景投射率；
A为全局大气光值；
J(x)为所求的无雾图像。

3.1 大气散射模型

3.2 暗通道模型

He Kaiming 等[12]通过观察大量室外无雾图像的暗通道，研究发现在大多数室外无雾图像的非天空区域内，至少一个颜色通道上的像素强度非常低，并且像素值接近于0 或者等于0。因此，提出了经典的暗通道先验方法，其具体过程表示为：

式中：Jd(x)为 无雾图像J(x) 的暗通道；
Jc(x)为无雾图像J(x)的 第c个颜色通道，并且c∈{B,G,R}；
Ω (y)为 以像素y为中心的窗口。由于无雾图像J(x)非天空区域的暗通道灰度强度较低，因此，Jd(x)→0。

对于低照度图像，Dong Xuan 等[18]研究发现，低照度图像经过求反操作后，与雾天图像很相似，并且，在求反后的图像中，背景区域的像素在B、G、R通道中的强度都很高，非背景区域的像素至少在1 个通道内强度很低。因此，可以说明暗通道先验理论同样适用于低照度图像的处理。

3.3 算法改进

针对煤矿掘进工作面复杂环境工况，基于上述大气散射模型与暗通道先验方法，通过算法的改进，实现煤矿掘进工作面低照度视频的快速去雾。

3.3.1 大气光值估计

煤矿掘进工作面通常因设备照明灯光、工人佩戴头灯直接导致视频图像光照分布不均匀且分布具有随机性。因此，煤矿井下视频图像都可以以CMYK 网点百分比为基准划分为3 个区域：高光区、中间调、暗调区。

其中，高光区指图像中最亮的部分，网点百分比为0%～25%；
中间调指图像中网点百分比在25%～75%区域；
暗调区指图像最暗或最黑部分，网点百分比为75%～100%。故图像k(x,y)可表示为：

式中：kH(x,y) 为图像高光区；
kM(x,y)为图像中间调；
kS(x,y)为图像暗调区。

虽然图像具有高光区、中间调、暗调区之分，但是每个区之间没有绝对的划分界限。因此，本文采用递归分割算法进行区域分割，得到高光区、中间调、暗调区。具体步骤如下。

以T1为 高光区区域下限，g为区域分割范围大小系数，将图像k(x,y)经 压缩后大于g的区域为高光区：

以T2为区域下限，将图像k(x,y)经 压缩后大于T2的区域为暗调区：

将图像k(x,y)压 缩后大于T2小于T1的区域为中间调：

对高光区、中间调、暗调区分别求取k通道像素最大值，并将其均值作为大气光值估计值，即：

3.3.2 透射率估计

根据已知A且 暗通道先验理论Jd(x)→0，由大气散射模型可求得透射率t(x,y)，即：

式中：Kc(x,y) 为图像K(x,y)的第c个颜色通道，c∈{R,G,B}。

为了使去雾图像更加自然，避免出现过度失真现象，引入参数 ϖ，ϖ取值0～1，对透射率进行调整控制，一般取其值为0.95，透射率初步估计为：

为了避免采用软抠图、引导滤波等计算复杂度高且计算实时性差的问题，引入δ调节因子，满足0 ≤δ≤1，得到透射率最终估计：

根据求得的A和t1(x,y)，通过大气散射模型可得去雾图像J(x,y)为：

基于上述改进算法，图像J(x,y)去雾前后对比效果如图5 所示。

图5 去雾前后效果对比Fig.5 Comparison of effects before and after fog removal

由图5 可知，有雾图像K(x,y)经去雾后，视频图像的背景更加清晰，增加了视频图像的可视度。

3.4 空间锐化滤波

由于视频图像在预处理、去雾过程会使图像的边缘或轮廓发生灰度突变，造成图像的细节和边缘信息的丢失问题。因此，为了消除这种影响，采用拉普拉斯锐化处理，增加图像高频成分、抑制低频成分来提高图像对比度，使模糊的图像变得更加清晰可观。

拉普拉斯是一种基于欧几里得空间的二阶微分线性算子，具有旋转不变特性[19]，其通过对图像邻域中心像素的多方向求取梯度，并将梯度和相加来判断中心像素灰度与邻域内其他像素灰度的关系，并用梯度运算的结果对像素灰度进行调整[20]。针对去雾图像J(x,y)，现定义拉普拉斯算子表示为：

则拉普拉斯锐化图像e(x,y)可表示为：

将视频图像进行拉普拉斯锐化后，为了提高视频主观感受，创建与拉普拉斯锐化图像e(x,y)尺寸与类型一致的模板图像r(x,y)，再对其进行图像加权混合操作，即：

式中：β为权重值，为了降低图像领域中心像素梯度，一般取−0.5。

如图6 所示，混合增强图像经改进的大气散射模型去雾、拉普拉斯锐化处理后，图像更加清晰、自然，符合人眼视觉特性。

图6 拉普拉斯锐化前后效果对比Fig.6 Comparison of effects before and after Laplacian sharpening

为验证本文算法的有效性，以某煤矿掘进工作面宽、高分别为6.24、4.55 m 的矩形断面为数据来源工况，通过MV-EM510C 工业照相机和BT-23C0814MP5照相机镜头采集分辨率为2 456×2 058，像素尺寸为3.45 μm×3.45 μm 的掘进工作面视频，并离线分别使用Retinex 算法、ALTM 算法、暗通道先验算法和本文算法进行增强处理，并对增强后的视频图像进行主观评价和客观评价，再结合主观评价和客观评价进行综合评价。

4.1 主观评价

不同算法得到的视频图像增强效果如图7 所示。

由图7a 可知，掘进工作面原始视频图像由于光照不足，图像整体暗淡，且背景大多数为黑色区域，其中包含的信息量较少；
图7b 可以看出Retinex 算法增强和去雾效果比较明显，图像细节信息也比较丰富，但是放大了图像噪声，局部出现颜色失真现象；
图7c 可以看出ALTM 算法去雾效果比较明显，但是在高亮区域出现光晕伪影现象，颜色失真现象比较明显；
图7d 中暗通道先验算法增强效果一般，图像整体偏暗，导致暗光区细节信息丢失，且局部出现颜色突变现象；
本文算法增强效果比较明显，图像细节信息也比较清晰，且色彩更加真实自然，不存在失真现象。

图7 不同算法增强效果Fig.7 Different algorithm enhancement effect

4.2 客观评价

信息熵作为图像信息量的度量标准，其数值越大，则图像包含信息越丰富，图像显示细节效果越好；
标准差反映了图像像素值与均值的离散程度，其数值越大说明图像质量越好；
平均梯度表征了图像边缘两侧灰度值的变化率大小，其值主要衡量图像细节精细度，其数值越大说明图像越清晰[21]；
处理速度代表了算法的计算量以及实时性问题，其数值越小则说明此类算法信息量更新越快。

因此，为了更全面地分析本文算法的图像增强效果和清晰度，采用信息熵、标准差、平均梯度以及算法处理时间对各类算法的增强效果进行客观评价[22]，其结果见表1。

表1 不同算法评价指标结果Table 1 Evaluation results of different algorithms

由表1 可以看出，本文算法的信息熵、标准差、平均梯度、处理时间均高于其他3 种算法。其中，本文算法的处理时间高于暗通道先验算法3 倍，足以表明视频图像经本文算法处理后可比暗通道先验算法具有更高的图像细节信息，虽然本文算法处理时间与Retinex 算法相差无几，但是相对于信息熵、标准差、平均梯度，本文算法均远胜于Retinex 算法，图像细节更加丰富，具有更好的视觉效果。因此，本文算法具有较快的处理速度，更好的实时性。

4.3 综合性能分析

为了更加清晰地验证算法的综合性能，将表1 中信息熵、标准差、平均梯度作为综合指标进行性能分析，其具体结果如图8 所示。

由图8 中可知，当掘进工作面视频照度为5～10 LX时，针对图像序列综合指标平均值，本文算法相对于Retinex 算法、ALTM 算法和暗通道先验算法分别提高了12.3%、10.8%、45.6%。整体上，本文算法综合性能更好，对煤矿掘进工作面低照度视频图像改善效果更佳。但是，针对照度为5～10 LX 范围以外的视频增强技术，仍需进一步研究与测试。

图8 综合指标柱状图Fig.8 Comprehensive index histogram

a.利用卷积的可分离性进行图像水平与垂直方向的卷积滤波，并设定白色参考点，利用完美反射法解决图像偏色、失真问题，同时以图像混合方式增强亮度，提高对比度，凸显更多图像细节信息。

b.基于大气散射模型与暗通道先验方法，通过递归分割将图像区域分割为高光区、中间调、暗调区进行大气光照估计值计算。并引入调节因子对透射率进行调整优化，通过拉普拉斯锐化处理，增加图像高频成分，抑制图像低频成分，实现掘进工作面低照度视频快速去雾。

c.通过对掘进工作面低照度视频的增强处理，结的主、客观综合分析得出，本文提出的关于煤矿掘进工作面低照度视频增强算法，其鲁棒性、实时性较强。结果表明，该算法能够对掘进工作面低照度视频进行实时增强，能够为掘进工作面的目标识别、目标跟踪、图像分割等任务提供优质、可靠的信息支撑。

猜你喜欢照度滤波卷积基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02从滤波器理解卷积电子制作(2019年11期)2019-07-04恒照度智慧教室光环境光源与照明(2019年4期)2019-05-20基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20体育建筑照明设计中垂直照度问题的研究照明工程学报(2017年3期)2017-07-10RTS平滑滤波在事后姿态确定中的应用空间控制技术与应用(2015年3期)2015-06-05基于线性正则变换的 LMS 自适应滤波遥测遥控(2015年2期)2015-04-23一种基于卷积神经网络的性别识别方法电视技术(2014年19期)2014-03-11基于随机加权估计的Sage自适应滤波及其在导航中的应用电子设计工程(2014年20期)2014-02-27基于Sage—Husa滤波的GNSS/INS组合导航自适应滤波测绘科学与工程(2013年4期)2013-03-11