摘要:雾和霾是影响户外视觉认知能力的常见因素。在雾天条件下,由于空气中气溶胶粒子的存在,使得目标物体反射光和周围环境光被吸收或散射,导致图像对比度降低、成像模糊、细节信息丢失等。随着室外视觉系统需求的日益增加,雾天图像的复原问题逐渐成为了计算机视觉领域的一个研究热点。由于雾天目标的成像过程本身非常复杂,难以精确的定量描述,且雾天图像退化程度与目标的深度成正比,而从单幅图像获取场景目标的深度信息本身就是一个病态问题。因此,单幅雾天图像复原是一个具有挑战性且亟待解决的热点问题[1]。
本文以图像退化模型和暗原色先验为理论依据,在对退化模型深入分析的基础上,针对雾天图像的清晰化问题进行研究。提出的基于空间变化滤波器的单幅图像去雾算法,在一定程度上解决目前雾天图像复原中存在的共性问题,并首次明确给出雾天复原图像定量评价方法。主要内容有以下几个方面:
首先,利用基于图的分割算法对雾天图像进行细分割,保证将在场景深度上不连续而在图像二维空间连续的各个目标分割成不同区域,针对分割结果利用黑体特性和暗原色先验获得粗糙的传输图,有效地抑制了深度突变的边缘产生的块效应。
其次,对图像退化模型进行深入分析和研究,针对模型本身的缺陷,在颜色空间、位置空间和传输图空间,设计了保证局部平滑和对比度增强的双边滤波器,获得精细的传输图,得到较好的去雾效果。
最后,针对雾天图像复原的特殊性,提出了基于空间频率的图像对比度表示和基于边缘的图像结构相似性表示方法,并在此基础上提出了基于图像对比度和结构的图像质量评价算法。并利用该算法对目前流行的去雾算法结果进行评价、比较和分析。
关键词:去雾;图像分割;黑体理论;双边滤波;对比度;结构相似性
1绪论
1.1研究目的及意义
计算机视觉系统有很多优点,可以直观的、实时的、全面监测对象的动态信息;可以及时获得大量丰富且高分辨率的图像信息;且很好的解决了人类不能到达或者直接观察的场合,获取图像困难的问题。因此,计算机视觉系统受到人们的极大重视,应用遍及社会的各个角落,作用日益增长[1]。
但是,在诸如雾、霾、雨、雪等恶劣天气条件下,室外视觉系统通常会因为受到大气中随机介质(Aerosol)的影响而导致图像质量下降,成像景物反射光线与大气中随机介质作用而发生了散射,一部分光线偏离原来路径,造成目标反射光的衰减。另一方面,接收到的光线还混合有大气光(经大气分子散射的周围环境光)。这给户外计算机视觉系统的应用带来很大影响,目前大多数视觉系统在设计时并没有考虑到天气的影响,也就是说大多数系统只能应用于晴朗天气条件下,因此,各种恶劣天气制约了室外机器视觉应用的推广[2]。
因此,本文以实用性为目的,避免使用复杂的优化算法,提出基于空间变化滤波器的单幅雾天图像复原算法,尽可能解决上述问题;并提出一种定量评价恶劣天气图像复原算法的评价体系。
1.2研究现状
在国外,著名的研究机构有很多,X哥伦比亚大学(Columbia University)的计算机视觉实验室CAVE,主要成员S.K.Nayar及其学生S.G.Narasimhan,从1999年开始,他们就一直从事这方面的研究工作,发表了多篇高水平的文章,利用雾和阴霾影响的多帧图像进行去雾处理,从而恢复图像对比度。同时,他们还建立了同一场景下不同天气和光照条件下的数据库,对多种天气条件下降质图像可见度增强算法进行研究。X国家航空航天局(NASA)的Langley研究中心(Langley Research Center,LRC)应用Retinex算法对雾、烟和水下拍摄的图像增强进行研究,单纯从增强的角度恢复出令人意想不到的效果;另外,NASA还将该算法应用到便携式实时图像增强系统中(Portable Real-Time Enhanced Vision System),该系统在DSP上处理256×256的灰度图像,其处理速度可以达到30fps,能够达到实时性的要求[3]。
英国曼彻斯特大学(Manchester University)电气和电子工程学院(School of Electrical and Electronic Engineering)的传感、图像和信号处理组(Sensing,Imaging&Signal Processing Group,SISP)对图像对比度的恢复也做了相应的研究。以色列的联合成像实验室(Hybrid Imaging Laboratory)对图像去雾算法进行研究,特别是在水下成像方面的研究成果显著,主要是Yoav Y.Schechner教授带领的团队,对偏振技术进行了深入的研究,并应用到实际中。还有英国Dmist公司的产品ClearVue能够实时对受恶劣天气影响与夜间灯光条件下拍摄的降质图像进行恢复[4]。
另外,在最近几年里,也有很多国外的学者,在前人的基础上,提出了新的方法,独辟蹊径,取得了重大突破,高水平的文章发表在计算机视觉的顶级会议上面介绍[4]。
在国内,对雾天图像恢复技术的研究主要集中在研究所和高校里面。如华中科技大学的图像识别与人工智能研究所在这方面做出了很大贡献,桑梓勤等早在1999年就发表了关于大气效应对成像影响的论文,在国内属于开创性工作。随后,他们又从图形学角度开展研究,通过输运理论与解析理论的结合,得出了能见距离与图像对比度及分辨率的理论关系,从而合成雨雾天气下的图像。解放军理工大学的刘锦锋等人对Narasimhan给出的输运方程的数值解进行简化,减少了图像复原算法的计算量。南开大学的白杨等人对此问题进行了初步研究,利用深度启发法获取场景点的深度信息,有效地提高了图像复原的精度。在CVPR2009出现了一篇Best Paper之后,雾天图像恢复有了新的突破,安徽大学的王多超在图像退化模型上加了一个噪声项,利用图像的稀疏先验知识,在贝叶斯框架下提出了一种新的图像去雾算法;其利用图像的梯度稀疏性先验来对去雾后的图像进行优化,并将具有零均值的高斯分布作为图像成像的噪声分布,然后求解。天津大学的张加万等,假设大尺度的色度变化是由于光线的传输引起的,而小尺度的亮度变化是由于场景的辐照度的变化,在这个假设下提出迭代求取传输图的方法;并利用一个非线性边缘保留滤波器逐步精细传输图,同时仍然保持传输图的锐化。王艳利用分割方法,对分割之后的传输图进行修补,并对暗原色先验固有的不足(场景目标和大气光相似时,暗原色会失效,从而导致传输图出现错误)采用BP推断算法纠正传输图。虽然国内的学者也取得了一定的研究成果,但与国外的先进研究水平相比还有很大的差距,且没有系统,研究成果不是很显著[4]。
1.3本文主要研究现状
本文以图像退化模型和暗原色先验为理论依据,在对退化模型深入分析的基础上,针对雾天图像的清晰化问题进行研究。提出的基于空间变化滤波器的单幅图像去雾算法,在一定程度上解决目前雾天图像复原中存在的共性问题,首次明确给出雾天复原图像定量评价方法[5]。
2雾天图像退化模型与暗原色先验
2.1引言
在雾天条件下大气粒子的散射有两个作用,一方面使到达相机的目标光能量发生衰减,强度降低;另一方面,大气粒子还将来自天空的自然光散射进入相机,附加在目标图像上。这两种作用共同导致目标图像的对比度和分辨率降低[5]。根据Mie大气散射理论,可以分别用入射光衰减(Attenuation)模型和大气光(Airlight)成像模型来对这两种散射作用进行描述。这两个模型描述了雾天图像的退化机理,是还原大气退化图像的主要理论依据[6]。
另外,受到著名的暗目标相减技术被广泛地应用在多光谱远程遥感系统中的启发;通过减去作为场景中最暗的对象的恒定值,可以移除空间中均匀的雾,对户外无雾图像进行统计,得出一种暗原色先验。统计发现,在不包括天空的大部分局部区域,常常有某些像素(被称为“暗像素”)在至少一个颜色通道中有非常低的像素值。而在雾天图像中,这些暗像素的强度值主要是周围环境光散射到成像光路上的综合效应。因此,其反映了杂散光的特点,为传输图的估计提供了依据[7]。
2.2雾天图像退化模型
2.2.1入射光衰减模型
由于大气微粒的散射作用,使从场景点所反射的光被衰减,这种现象就是入射光衰减模型,大气散射引起场景点辐射衰减的程度随距离观察者的相对深度的增加呈现指数性衰减规律[8]。如图2.1所示,假设光束通过一个圆柱形,其中充满含有悬浮颗粒的气体。令该光束通过一个厚度为dx的薄片,则该光束的辐射度在x处的微小改变量可以表示为:
对上式两边在范围内求定积分,得到如下等式[7]:
上式中,表示的是x=0处的辐射度。其也是Bouguer’s指数衰减法则所表达的内容。由于一般发生漫反射的情况是当光线照射到物体表面时,所以这时可以将物体表面上的点看成是点光源[9]。而上式中,物体表面反射的入射线是平行线,所以要对上面的式子进行修正,对于点光源来说,单位面积的光通量与距离的平方成反比,即1876年提出的Allard’s法则:
而在诸如雨、雪等动态天气条件下,由于存在大量的多散射现象,造成Bouguer’s指数衰减法则不成立。在目前的去雾算法中,均不考虑多散射现象,通常假设这种现象可以忽略不计。
图2-1入射光束受到散射衰减
2.2.2大气光成像模型
从物体表面反射的光线在到达成像设备的过程中会发生衰减。此外,前人通过研究发现,还有大气光成像机制的作用。对于周围环境中的入射光,光路上半径较大的大气微粒同样对其有反射作用,因此观察者会接收到这部分沿着观察路线反射的光,这部分光照可以看成是大气产生的光源,称为大气光,其会在场景图像上成像,使得在雾天条件下拍摄的图像,整体偏向于灰白色。大气光主要有直射的阳光、散射的天空光以及由大气反射的光等几种来源。大气光成像现象是导致雾天图像降质的另一个主要原因[8]。
如图2.2所示,首先假设观测范围内的环境光是一致的,切面与水平方向的夹角为,距离观测者处的一个实体截断的椎体可以看成是空气光源,则距离观测者处的微元可以表示为横截面积和厚度的乘积:
2.2.3模型的整合
经过上述入射光衰减模型和大气光成像模型的分析可以看出,在实际的雾天条件下,上述两种情况是同时出现的,这两部分的共同作用导致了图像质量的退化。在雾天时拍摄到的图像就是入射光衰减模型和大气光成像模型所成像之和,即:
其中,当大气均匀时,ed(x),其中是大气的散射系数;公式右边的第一项就是入射光衰减模型,描述了场景目标反射光在介质中被衰减的结果;公式右边的第二项是大气光成像模型,反应了环境光的散射所成的像。这个等式被定义在RGB颜色通道,I代表观察到的图像,A是天空光彩色向量(通常假设为全局常量,因此天空光和局部位置x无关),J是表面辐照度向量,即场景目标直接反射光成像的亮度,是沿着光束的传输部分,它指出场景目标反射光随场景深度d呈指数衰减[10]。
2.3暗原色先验
暗原色先验是基于户外自然场景图像的观察得出的:在大部分没有天空的区块上,某些像素在至少一个颜色通道上有非常低的强度。换句话说,在这样的小块上最小的强度值有非常低的值。形式上,对于一幅图像J,我们定义[11]:
其中J c是一幅图像J的一个颜色通道,(x)是中心在x的局部块。我们的观察统计得出,如果J是户外的自然图像,则除了天空区域,J dark的强度值是非常低的、趋于0的值。我们称J dark为J的暗通道,且称上面的统计或知识为暗原色先验。
暗通道中低的强度主要由三个因素引起的:a)阴影(Shadows)。例如,城市风光图像中汽车、建筑物和窗户内部的阴影,或者是风景图像中的树叶、树和岩石的阴影;b)有颜色的目标或者表面(Colorfulobjectsorsurfaces)。例如,任何目标(例如绿色的草坪、树木、植物,红色或者黄色的花、叶子,和蓝色的水平面等等)在任何颜色通道中缺少颜色时将导致暗通道中有非常低的值;c)黑色目标或者表面(Darkobjectsorsurfaces)。例如,黑色的树干或者石头。因为自然场景图像常常是充满阴影和颜色的,所以这些图像的暗通道近似黑色。
为了证明暗原色先验的有效性,从flickr.com和其他几个主要的图像搜索引擎中搜集了大约5000幅图像进行暗原色统计,其中,这些图像需要去除天空区域,且大小被限制在500*500像素内,计算时选用的是大小为15*15小块。图2-3是几幅户外自然场景图像与他们的暗通道。
另外,统计结果得出75%像素最小值为近似为0,86%的像素最小值低于16,90%的像素最小值低于25,这些统计结果给利用黑体特性求取传输图以强有力的支持。而由于有额外的大气光,雾天图像比相应的无雾的图像亮,无雾的图像有很低的传输值。所以雾天图像的暗通道在有浓雾的区域有比较高的强度值。在视觉上,它的暗通道近似为浓密的雾(如图2-4所示)。在接下来的一章中,我们将会使用这个性质去估计传输图和大气光。
图2-3户外自然图像及其暗通道
图2-4雾天图像及其暗通道
注意到,在前面选择图像时,忽略了天空区域,这是因为在天空区域,无雾的图像也会有很高的强度。但我们可以通过使用雾天图像退化模型和这个先验知识一起去处理天空区域,因此可以不用去除天空区域。
雾天图像退化模型将雾天条件下的目标物体成像过程描述为入射光衰减模型和大气光成像模型两部分。其中,入射光衰减模型描述的是从目标点反射的光由于大气微粒的散射作用而衰减的现象;大气光成像模型描述的是环境光由于与气溶胶粒子作用发生散射,偏离原来的传播方向而融入到成像光路上,并与目标物体的反射光一起参与成像的现象,这两者很简洁的描述了雾天环境下的物体成像,为去雾奠定了很好的理论基础。
暗原色先验是由何凯明提出的一种可以用来描述雾性质的先验知识,基于大量的统计得出,雾天条件下所拍摄的图像的暗像素全部是由雾所决定的,所以这些暗像素能够直接为雾的传输图提供精确的估计,从而给我们的研究带来很大的方便,且能得到很好的去雾效果。
综合这两者,接下来分析图像退化模型的不足,并针对模型的不足,设计了双边滤波器,提出了基于空间变化滤波器的去雾算法,有效移除雾的影响。
3基于空间变化滤波器的单幅图像去雾
雾天空气里充满着大量的悬浮颗粒物,严重影响拍摄图像的质量[10]。由于这些悬浮颗粒物对光的散射和吸收作用,阻碍了目标反射光进入成像系统,同时将周围的环境光引入到成像光路。本章在对现有的图像复原模型深入分析的基础上,设计了基于空间变化双边滤波器的图像去雾算法。首先,利用基于图的分割算法对雾天图像进行细分割,将图像分割成不同的小分割块;然后根据黑体理论获取粗糙的传输图,并在对比度增强约束和局部平滑约束条件下设计双边滤波器,从而获得精细的传输图;且其中的对比度增强约束条件弥补了图像去雾模型的不足。最后,与现有流行去雾算法进行比较,证明本文方法花费时间少,且去雾效果好[12]。
在对目前现有去雾算法进行了大量的实验和分析的基础上,总结了这些算法存在的不足,以He等人所提出的算法为基础,对现有去雾算法的不足进行改进,在保证复原效果的同时,提高算法时间有效性。
3.1雾天图像退化模型和性质
3.1.1雾天图像退化模型的分析
我们可以得到最终的雾天图像退化模型如下:
一般来说,复原后的图像对比度应该得到了增强,因此,应该满足大于I。而根据上述分析可以看出,在第3种情况下可能会导致对比度下降。分析第3中情况可以看出,Ib(x)需要满足一个基本假设,即距离越远Ib(x)越大,当Ib(x)违背了此假设时,在对图像进行去雾处理后,该目标物在图像上的对应区域就可能会出现对比度被削弱的现象。接下来将在3.2节中针对这一问题进行处理,通过构造相应滤波器,对传输图添加对比度约束,确保复原后的图像对比度会得到增强[13]。
3.1.2暗原色先验的应用
根据2.3节中的分析,在恶劣天气条件下,成像过程常常被来自其他对象的杂散光影响。所以,在雾天图像中黑体对象Ib(x)的像素值不等于0(黑体特性)。因此,非0部分能够被用来描述杂散光的特性,等式如下:
3.2去雾算法流程
3.2.1基于图的分割算法
基于图的分割算法是通过将图像中所有像素以无向图G(V,E)的形式来表示,其中图像中的像素点对应于顶点vi,图中的每条边对应于(vi,vj)E连接顶点vi和vj,每条边的权重w(vi,vj)用顶点vi和vj相对应的像素的灰度差异进行度量[14]。图像的分割过程就是把图像分割成一系列不同的区域,其中每个区域CS对应于图{G(V,E’),E’E}中的一个部分,在每个区域内部,各个顶点(像素)之间的差异要小,而在不同区域中的顶点(像素)差异要大;也就是说同一个区域中两个顶点之间的边应该具有相对较小的权值,而连接不同区域的边具有相对较高的权值。另外,该算法的时间复杂度是与图的边缘数目成线性关系,实际执行中也是非常快的。
首先,因为G(V,E)是一个全连通的图,有m条边和n个顶点。每一个顶点是一个像素,在特征空间中用X表示。最终的分割将是S(C1,C2,…,Cr),其中Ci是数据点的聚类。
3.2.2分割算法的使用
求取模板内的最小值作为暗通道的当前像素值,从而获得粗糙的暗通道。然后,使用估计的大气光A和等式(3-1)获得粗糙的传输图,如图3-1(a)所示。接着使用等式(3-1),我们可以恢复出粗糙的清晰图像,如图3-1(b)所示。之所以说这个清晰图像是粗糙的,是因为我们用暗通道求出的传输图未进行任何精细操作,因此从图3-1(b)中可以明显看到在深度不连续的边缘出现了近似雾的晕(halo artifact)。产生这种现象的原因是在局部模板内,相对深度值被认为是相同的,但是这个假定在存在边缘的区域中是不合法的。使用了软抠图算法去解决这个问题,但是消耗了大量的时间。
图3-1粗糙去雾的分析
图3-2分割
现在,先对原图进行分割处理,分割后的图像如图3-2所示,可以看出,分割块大致能够反映出一定的边缘信息。相应地,我们将每一个小的分割块的RGB通道的最小值作为暗通道当前小块的值,得到分割后的暗通道,再利用大气光A和等式(3-1)得到分割后的传输图,如图3-2(a)所示。很明显,这个传输图仍然不能满足我们的要求,一个好的传输图,除了沿着边缘的地方不连续之外,其余区域应该是满足平滑性约束,否则去雾后的图像仍然存在晕的问题。
3.2.3大气光A的估计
对于大气光的估计,有很多方法。在大多数的去雾法则中,用最浓的雾像素区域去估计大气光。使用具有最高强度的像素去估计大气光。但是这些最亮的像素可能是图像中白色的目标或者是点光源,这样就会导致大气光估计的不准确,所以我们选择更好的估计大气光的方法。估计大气光的方法比较合理,其是从暗通道中估计出大气光的值。首先从暗通道中选取亮度最大的0.1%像素,这些像素可以认为是雾最多的地方。然后,这些像素相对应的在输入图像I中强度值最高的像素被选定为大气光[15]。
3-3(a)3-3(b)
图3-3对比度增强约束去雾
3-4(a)3-4(b)
图3-4实验结果
3.3实验结果
基于上述去雾过程的描述,提出了一种基于空间变化滤波器的单幅雾天图像复原算法。图3-6是本文算法的流程图。结合基于图的分割算法,并实现了去雾算法的C++类,处理速度很快,在2G内存、2.61GHz、AMD Athlon(tm)64 X2 Dual Core Processor 5000+的机器上处理一幅大小为600*400的图像大概需要2.7s,处理速度大概为0.25M/S。面给出该去雾算法的多组实验结果,从而说明本文算法的适用性[16]。
图3-5去雾算法流程图
本章提出一种可行的单幅图像去雾算法,本算法与以前算法最大的不同主要体现在三个方面:第一,采用了基于图的分割算法,将在图像空间上连续而深度不连续的区域分割开来,很大程度上减少了深度突变区域的块效应的产生。第二,该算法能够弥补图像复原模型固有的不足,提出的保证局部平滑和对比度增强的双边滤波器,得到了更加精确的传输图。第三,该算法具有较低的时间成本。大量的实验结果表明本文算法是合法的、有效的[17]。
但是,当场景对象的颜色相似于大气光时,暗原色先验固有的错误仍然存在。另外,对于大气光的估计仍然不是很合理,所以需要找到一种更合理的方法去获得全局大气光A[18]。
4去雾图像的质量评价
4.1雾天图像的分析
目前提出的各种去雾算法能够得到比较好的视觉效果,但这仅是从人的主观感受去评价去雾后的图像质量。在实际应用中,迫切需要对雾天复原图像进行客观、定量的评价。但是,由于参考图像很难获得,所以在过去的几十年里,已有的关于雾天复原图像质量评价的研究成果非常有限,对雾天图像的质量评价仍然处于起步阶段。针对雾天图像复原的特殊性,本章提出一种基于图像对比度和结构的图像质量评价算法。首先根据雾天图像和去雾图像的空间频率对比度,提出基于空间频率的图像对比度表示方法;通过统计雾天图像和去雾图像各自的边缘信息,提出基于边缘的图像结构相似性表示方法。最后,联合以上两者,提出基于图像对比度和结构的图像质量评价算法,并利用该算法对目前流行的去雾算法的复原结果进行评价、比较和分析[18-22]。
图像质量评价是衡量各种算法性能优劣的重要指标,因此成为图像处理领域研究的热点。E.Abdou认为,图像质量评价的含义主要包括图像的逼真度和图像的可懂度。图像的逼真度是描述被评价图像与标准图像的偏离程度,图像的可懂度则是表示图像能向人或计算机提供信息的能力。通过找出这两者的定量测量方法,来评价图像质量。
目前,图像质量评价的方法主要有主观评价方法和客观评价方法,前者凭借人的主观感受来评价图像质量;后者依据模型给出量化指标,模拟人类视觉系统(HVS)感知机制衡量图像质量。通常说的图像质量评价指的是客观评价方法,其目的使客观评价的结果与主观评价的结果相一致。主要可分为三种:全参考(FR)、无参考(NR)、半参考(RR),其中全参考算法是研究时间最长、发展最成熟的部分。图像质量评价方法很多,典型的模型有:基于人类视觉系统(HVS)的图像质量评价模型,基于结构相似性(SSIM)的图像质量评价模型[23]。
虽然目前的客观评价方法发展的很快,但是由于这些方法本身所具有的限制条件,又由于雾天图像的固有特点,这些方法不能适用。另外,由于雾天图像评价没有清晰的参考图像,这又在一定程度上加大了其评价难度。对雾天图像的客观质量评价,仅NICOLASHAUTIÈRE提出了将可见性边缘的梯度比率作为这种盲对比度增强去雾算法的评价标准,并提出了三个指标,然后Tarel将其作为定量的评价标准,分析比较目前各种去雾图像的质量[24]。
本章提出一种基于图像对比度和结构的图像质量评价算法,通过对比度值和结构相似性共同评价图像质量。一方面,雾天图像对比度低,而雾天图像复原的主要目的就是增大图像的对比度,所以将对比度作为其的一个评价指标是非常有意义的,在一定程度上,对比度的大小反映了复原后图像的清晰程度。另一方面,在雾天图像的复原算法中,常常会引入振铃现象或块效应,并伴随有噪声放大现象,从而使得图像的结构发生变化。所以本章在对复原图像的评价中,加入结构相似性评价[25]。
图像的对比度是指一幅图像中灰度反差的大小,可以度量亮度的相对变化。最简单的对比度定义是Weber对比度;对于正弦曲线的亮度样式,可以使用Michelson对比度。此外,还有方差对比度、带限对比度、EliPeli局部带限对比度,S.Winkle各项同性对比度等等。对比度是图像的一个重要特性,对图像质量的影响较大,很多图像增强算法正是基于对比度的调整。合适的对比度对一幅图像是很重要的,因此本章使用Peli的局部带限对比度,提出基于空间频率的图像对比度表示方法,从而反映图像的质量[26]。
典型的雾天图像退化模型描述如下:
基于这个模型,可以看到随着相机距离场景点的相对深度的变化而变化。图4-1是一组比较图像,其中图4-1(a)是雾天图像,图4-2(b)是本文作者在中提出的去雾算法结果,图4-1(b)是晴天条件下的自然场景图像。
4-1(a)4-1(b)
图4-1比较图像
基于以上图像的简单比较,总结如下几个特征:(1)首先是雾天图像,虽然受大气中悬浮颗粒物的影响,图像对比度很低,但是其梯度差异仍然存在,只是梯度值偏小而已,这为后面结构相似性的理论提供了依据;(2)将晴天图像和雾天图像进行对比,明显可以看到,对比度反差大,图像细节明显;而去雾算法所得到的图像(b)相对于雾天图像而言,对比度也得到很大提升;(3)图像场景结构有很强的相关性,所以表现到图像中,就是图像像素之间具有很强的相似性[27-30]。
根据上述分析,去雾算法的目的就是要能够获得对比度高,结构相似性大的图像。也就是说,要在结构保持一致的条件下达到晴天条件下的图像对比度。另外需要说明的是,实际去雾后的图像与晴天图像在亮度上肯定会不同的,所以不能从亮度去比较,所以本文将对比度和结构相似性作为衡量图像质量的共同标准。对比度或者说图像反差从图像上是能直接看出的,可以认为是图像表面的信息;而结构相似性可以看成从本质上来评价图像质量。所以,本文就从这两个方面提出对雾天图像质量的客观评价。
4.2对比度评价
对比度是对亮度相对变化的衡量,图像的对比度是指一幅图像中灰度反差的大小。最简单的是Weber对比度定义,考虑均匀的背景亮度和增量的比值,如下等式:
在本章的实验中,没有使用作者的对比度金字塔,因为本章的目的只是为了反映对比度的变化。因此采用了简单的高斯低通和带通滤波,分别得到局部亮度均值图像和带通滤波图像,然后用等式(4-6)得到每幅图像的对比度图像。但是这里需要考虑的是截止频率的选取,归纳在一起有三个截止频率D0,因为带通滤波的实现也是采用两个低通滤波的形式。然后对图像进行傅里叶变换,得到图像的频谱图,再进行中心变换之后,高频部分集中[31]。
4.3结构相似性评价
由于人眼对图像的边缘非常敏感,而边缘也能够很好的表现结构信息。所以本文提出一种简单的应用边缘一致性的标准来度量结构信息。在Matlab中,用Sobel或者Prewitt算子计算图像的边缘时,如果不设定阈值,其可控边缘的敏感阈值Thresh是其自动选择的。但是对于大部分图像而言,自动选择的阈值往往过大,更别说雾天图像,如图4-2(a)所示的边缘图像。显然由图可知,其边缘信息很少,不能完全反映清晰图像的结构,现在我们的意图是通过减小这个敏感阈值,得到新的阈值,使边缘数目足够多,并能够比较准确的反映结构信息,如图4-2(b)所示,就是我们减小阈值之后得到的边缘图像[32]。
对于去雾算法而言,先对雾天图像调整阈值,使其边缘图像尽可能的反映结构信息,得到其阈值为Thresh_o,边缘数目为E_sum_o。
4-2(a)的边缘图像4-2(b)减少阈值后的边缘图像
图4-2边缘图像
图4-3结构相似性
4.4雾天图像评价
基于上面的分析,一幅去雾效果好的图像必须具备两个条件:其一是有比原始雾天图像更高的对比度;其二是有很好的结构相似性,所以接下来我们使用上面的公式计算去雾图像的对比度值和结构相似性值,第一组实验图像如图3-12,其余图像如图4-5所示,得到的结果如表4-3所示。为了能更好的说明,我们将对比度值归一化;结构相似性的结果如表4-4所示[33]。
从表4-3我们能够看到,对于对比度值来说,本文的去雾算法效果最明显,特别是图像“ny17_photo”和“y01_photo”所显示的数据。这个结果是由去雾算法的动机决定的,因为仅有我们和R.Tan的算法考虑了对比度,所以这两种算法比其他几种算法在对比度方面有更好的结果。通过与主观的视觉效果比较,也能明显看出对比度的变化。
对于结构相似性,由于He et al.的算法采用了软抠图算法及拉普拉斯矩阵保持了结构信息,很明显它的结构相似性值较其他算法来说是最好的,而R.Tan的算法相对来说是最差的,其余算法相比较来说差异不是很明显。基于以上图像的简单比较,总结如下几个特征:(1)首先是雾天图像,虽然受大气中悬浮颗粒物的影响,图像对比度很低,但是其梯度差异仍然存在,只是梯度值偏小而已,这为后面结构相似性的理论提供了依据;(2)将晴天图像和雾天图像进行对比,明显可以看到,对比度反差大,图像细节明显;而去雾算法所得到的图像相对于雾天图像而言,对比度也得到很大提升;(3)图像场景结构有很强的相关性,所以表现到图像中,就是图像像素之间具有很强的相似性。
根据上述分析,去雾算法的目的就是要能够获得对比度高,结构相似性大的图像。也就是说,要在结构保持一致的条件下达到晴天条件下的图像对比度。
另外需要说明的是,实际去雾后的图像与晴天图像在亮度上肯定会不同的,所以不能从亮度去比较,所以本文将对比度和结构相似性作为衡量图像质量的共同标准。对比度或者说图像反差从图像上是能直接看出的,可以认为是图像表面的信息;而结构相似性可以看成从本质上来评价图像质量。所以,本文就从这两个方面提出对雾天图像质量的客观评价。
5结论与展望
5.1结论
本文详细介绍了目前去雾算法的研究背景,意义以及研究现状,并对基本上所有算法进行了分类总结;接着对这些算法所用到的简化模型和新近得到的暗原色先验进行了详细分析,为后面的工作奠定了夯实的理论基础。
在颜色空间、位置空间和传输图空间,设计了保证局部平滑和对比度增强约束的双边滤波器,得到较好的去雾效果。该算法在一定程度去除了雾的影响,图像质量有明显改善,增强了图像对比度和目标辨识能力,在时间上较其他方法,具有明显的优势。
针对雾天图像复原的特殊性,本文提出一种基于图像对比度和结构的图像质量评价算法,该算法对雾天图像复原结果进行了定量的评价。
5.2展望
随着人们对雾天图像成像过程的深入研究,在雾天图像清晰化方法中已经取得了很大的突破,而且在计算机视觉和图像处理领域中雾天图像清晰化已经成为了热点问题。总的来说,目前去雾算法研究的趋势是基于大气散射物理模型方法的单幅雾天图像复原,并已经取得了一定的成果。本文基于前人的研究,提出了更简单、有效的复原算法,使得雾天退化图像的质量有了明显提高,但是经过研究发现,仍然有很多问题需要进一步的研究和完善。
参考文献
[1]祝培,朱虹,钱学明等,一种有雾天气图像景物影像的清晰化方法.中国图象图形学报,2014,9(1),124-128.
[2]桑梓勤,丁明跃,张天序,天气怎样影响成像.红外与激光工程,2015,28(3),28-32.
[3]桑梓勤,丁明跃,张天序,雨雾天气下的户外场景成像.电子学报,2010,28(3),131-133.
[4]Zhang Tian-Xu,Hong Han-Yu,Sun Xiang-Hua,Song Zhi.自动化学报,2013,129(14),573-581.
[5]刘锦锋,黄峰.一种基于输运方程的大气退化图像复原方法.光散射学报,2015,16(4),364-369.
[6]刘锦锋,黄峰,天气影响的场景影像复原方法.光电工程,2015,32(1),71-73.
[7]董慧颖,方帅,王欣威,徐心和,基于物理模型的恶化天气下的图像复原方法及应用.东北大学学报(自然科学版),2015,26(3),217-219.
[8]王多超,王永国,董雪梅,胡晰远,彭思龙,贝叶斯框架下的单幅图像去雾算法.计算机辅助设计与图形学学报,2017,22(10),1756-1761.
[9]Tan R T.Visibility in bad weather from a single image[C].Alaska,USA:2018.
[10]R.Fattal.Single image dehazing.In SIGGRAPH,2018,1-9.
[11]方帅,赵育坤,李心科,等.基于光照估计的夜间图像去雾[J].电子学报,2016,(11).doi:10.3969/j.issn.0372-2112.2016.11.002.
[12]方帅,夏秀山,赵育坤,等.利用偏振分析的雾天图像复原[J].合肥工业大学学报(自然科学版),2015,(4).doi:10.3969/j.issn.1003-5060.2015.04.009.
[13]鲁丹,方帅,邵堃.人造光照下的单幅雾天图像复原[J].计算机工程与应用,2015,(22).doi:10.3778/j.issn.1002-8331.1407-0541.
[14]方帅,杨静荣,曹洋,等.图像引导滤波的局部多尺度Retinex算法[J].中国图象图形学报,2012,(7).
[15]范有臣,李迎春,韩意,等.提升小波的同态滤波在图像烟雾弱化中的应用[J].中国图象图形学报,2012,(5).
[16]扈佃海,吕绪良,文刘强.一种改进的直方图均衡化图像增强方法[J].光电技术应用,2012,(3).doi:10.3969/j.issn.1673-1255.2012.03.014.
[17]方帅,王峰,占吉清,等.单幅雾天图像的同步去噪与复原[J].模式识别与人工智能,2012,(1).doi:10.3969/j.issn.1003-6059.2012.01.019.
[18]孙玉宝,韦志辉,吴敏,等.稀疏性正则化的图像泊松去噪算法[J].电子学报,2011,(2).
[19]马云飞,何文章.基于小波变换的雾天图像增强方法[J].计算机应用与软件,2011,(2).
[20]周浦城,薛模根,张洪坤,等.利用偏振滤波的自动图像去雾[J].中国图象图形学报,2011,(7).
[21]Oakley J P,Satherley B L,Improving image quality in poor visibility conditions using a physical model for contrast degradation.IEEE Transactions on Image Processing.1998,7(2),167-179.
[22]Tan K,Oakley J P.,Enhancement of color images in poor visibility conditions.ICIP,2000,2,788-791.
[23]Tan K,Oakley J P,Physics-based approach to color image enhancement in poor visibility conditions.Optical Society of America.2001,18(10),2460-2467.
[24]Narasimhan S G,Nayar S K,Interactive(de)weathering of an image using physical models,2003.
[25]Narasimhan S G,Nayar S K.Chromatic Framework for Vision in Bad Weather,2000.
[26]Narasimhan S G,Nayar S K.Vision and the atmosphere.International Journal of Computer Vision,2002,48(3),233-254.
[27]Narasimhan S G,Nayar S K.Contrast restoration of weather degraded images.IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6),713-724.
[28]Y.Y.Schechner,S.G.Narasimhan,and S.K.Nayar.Polarization-based vision through haze.App.Opt.,2003,42,511–525.
[29]Sarit Shwartz,Einav Namer and Yoav Y.Schechner,Blind Haze Separation.CVPR,2006,2,1984-1991.
[30]Schechner,Y.Y.,and Averbuch,Y.Regularized image recovery in scattering media.IEEE Transactions on Pattern Analysis and Machine Intelligence,2007,29(9),1655–1660.
[31]R.Kaftory,Y.Y.Schechner,and Y.Y.Zeevi.Variational distance-dependent image restoration.In Proc.IEEE CVPR,2007.
[32]Schechner Y Y,Karpel N.Clear underwater vision.CVPR,2004,1,536-543.
[33]Schechner Y Y,Karpel N.Recovery of underwater visibility and structure by polarization analysis.IEEE Journal of Oceanic Engineering.2005,30(3),570-587.
[34]Oakley J P,Bu H.Correcton of simple contrast loss in color images IEEE Transactions on Image Processing.2007,16(2),511-522.
[35]Tan R T.Visibility in bad weather from a single image[C].Alaska,USA:2008.
[36]R.Fattal.Single image dehazing.In SIGGRAPH,2008,1-9.
[37]K.M.He,J.Sun,X.O.Tang.Single image haze removal using dark channel prior.Proceedings of IEEE Conference on Computer Vision and Pattern Recongnition,2009,1956-1963.
[38]J.-P.Tarel and N.Hauti`ere,Fast visibility restoration from a single color or gray level image,in Proceedings of IEEE International Conference on Computer Vision,2009,2201–2208.
致谢
在此,首先要对我的恩师,还有系里的各位老师,致以最深的感谢!对四年来辛勤教导我的老师和学校致以最崇高的敬意!毕业设计开始以来,有幸多次聆听老师的教诲。老师以他宽广的知识、高瞻远瞩的学识、在实际生产中所积累的经验。拓宽了我的视野和思维,更为重要的是老师们以他们对事业孜孜不倦的追求和待人接物谦逊的态度和豁达的胸襟,时刻都在潜移默化地影响着我,这将使我终生受益。生有吾父,教有吾师,幸甚。
也要感谢我的同学,四年来的朝夕相伴,他们对我的关心和帮助,让我在四年的大学生活中,学习上、生活上都有了质的提高。
最后要感谢的是我的父母,他们期待的目光、未来的责任和时时可以寻求的慰藉,是我不断进取的力量源泉。
时至今日,论文基本完成。在老师的指导下,我从最初的茫然,到慢慢的进入状态,再到对思路逐渐的清晰,整个写作过程难以用语言来表达。回想这段日子的经历和感受,我拥有了无数难忘的回忆和收获。开题报告定下来的时候,我当时便立刻着手资料的收集,当时面对浩瀚的书海真是有些茫然,不知如何下手。我将这一困难告诉了导师,在导师细心的指导下,终于使我对自己现在的工作方向和方法有了掌握。
当资料已经查找完毕,我开始着手论文的写作。在写作过程中遇到困难我就及时和导师联系,并和同学互相交流。在大家的帮助下,困难一个一个解决掉,论文也慢慢成形。当我终于完成了所有打字、绘图、排版、校对的任务后整个人都很累,但同时看着电脑荧屏上的毕业设计稿件我的心里是甜的,我觉得这一切都值了。
四年充实的生活告诉我,民族需要掌握先进理念、具有国际视野、熟悉具体环境的实战先锋;也告诉我,只有不断经历考验、挫折、甚至失败,才能逼近我们最终的理想。生于斯时,长于斯境,唯有以双倍的努力、十倍的耐心、百倍的豪情和千倍的执着来完成原赋的使命。
即将结束再次学习的生活,相信等待我的是一片充满机遇、风险与快乐的土地;也相信我和同仁们的事业必将如涅磐之凤、浴火之凰;更加相信,不朽的民族精神终将引领我们创造新的奇迹!
1、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“文章版权申述”(推荐),也可以打举报电话:18735597641(电话支持时间:9:00-18:30)。
2、网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
3、本站所有内容均由合作方或网友投稿,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务。
原创文章,作者:1158,如若转载,请注明出处:https://www.447766.cn/chachong/173722.html,