文章快速检索  
  高级检索
建筑物变化的多特征融和及随机多图综合检测法
王昶1,2, 张永生1, 纪松1, 张磊1     
1. 信息工程大学地理空间信息学院, 河南 郑州 450001;
2. 辽宁科技大学土木工程学院, 辽宁 鞍山 114051
摘要:针对遥感影像建筑物变化检测过程中存在构造的差异影像凸显建筑物效果不理想、提取训练样本质量差及分类精度低等问题,本文从差异影像构造、高质量训练样本提取及分类方法等3方面进行研究,提出一种基于多特征融合及随机多图的遥感影像建筑物变化检测方法。首先,把通过CVA获取不同时相遥感影像光谱特征差异图、纹理特征(灰度共生矩阵法)差异图及通过求差获取不同时相遥感影像形态学建筑物指数特征差异图、最佳尺度分割后的形状特征差异图按照一定比例相加来构造差异影像,从而有效凸显建筑物变化信息;然后采用构造的变分去噪模型对差异影像进行去噪处理,利用频域显著性方法获取去噪差异影像的显著性图,通过模糊c-均值算法对显著性图选取阈值得到的粗变化检测图进行预分类,从而获取高质量建筑物及非建筑物训练样本;最后,把从遥感影像及特征影像上提取建筑物和非建筑物训练样本的邻域特征引入随机多图分类模型中进行标签训练,并利用训练好的随机多图分类器对粗变化检测图进行建筑物变化检测,从而得到高精度的建筑物变化检测结果。为了验证本文方法的有效性,选择同源及多源遥感影像进行试验分析。试验结果表明,本文方法可以检测出更多建筑物变化信息及较少的非建筑物变化信息,同时Com值、Cor值及FM值也明显高于其他比较方法。
关键词影像特征    差异影像    频域显著性方法    建筑物变化检测    随机多图    
Multi-feature fusion and random multi-graph synthetic building change method
WANG Chang1,2, ZHANG Yongsheng1, JI Song1, ZHANG Lei1     
1. School of Geospatial Information, Information Engineering University, Zhengzhou 450001, China;
2. School of Civil Engineering, University of Science and Technology Liaoning, Anshan 114051, China
Abstract: Change detection of building with remotely sensed image is a challenge work, as it has many issues, e.g. the approach for calculating difference image (DI) which could highlights the changes is not ideal, poor strategies for the training sample collection and low classification accuracy as well. This study analyzed the process from three aspects, namely DI construction, sample selection reliability, and classification method selection, and proposed a remote sensing image building change detection method based on multi-feature fusion and random multi-graphs. First, the spectral and textural features (gray level co-occurrence matrix), morphological building index features, and shape features (after optimum scale segmentation) of multi-temporal, multi-source remote sensing images were extracted. The spectral and textural DI features obtained using change vector analysis, morphological building index DI, and shape feature DI obtained by the subtraction method, were fused to construct the final DI which effectively highlighted the building change information. Second, we obtained the DI saliency map using the frequency-domain significance method. The coarse change detection map was derived by selecting pre-classified thresholds for the DI saliency map (changed pixels "buildings", unchanged pixels, undetermined pixels) using the fuzzy c-means clustering algorithm to obtain high-quality building and non-building training samples. Finally, the neighborhood features of the non-building and the building were extracted from the remote sensing and feature images, and these were used as the training sample for random multiple training. Subsequently, this trained random multiple classification model was used to perform change detection on the coarse change detection map, resulting in the final change detection map. To verify the efficiency of the proposed method, homogeneous and heterogeneous images were selected for experimental analysis. The results showed that the proposed method could detect more building change information than other methods, and the Com, Cor, and FM values were significantly higher than those of other methods.
Key words: image features    differential image    frequency-domain significance method    building change detection    multiple classification    

建筑物作为人类活动的主要场所和人工地理目标的代表,其变化检测一直是摄影测量与遥感、人工智能等领域的研究热点。近年来,研究学者通过融合不同时相遥感影像的多种特征来构建差异影像(difference image, DI),并对其进行分析,得到最终的建筑物变化检测图。文献[12]融合光谱特征及形态学建筑物指数特征来检测建筑物的变化。文献[3]通过融合影像的光谱特征、纹理特征及形状特征来提升建筑物变化检测的性能。文献[4]利用变化矢量分析方法计算不同时相遥感影像的光谱、纹理、形状特征及形态学建筑物指数特征差异来实施建筑物变化检测。文献[5]将前后时相的形态学建筑物指数特征作为核心参数,结合光谱、纹理及形状特征实现建筑物变化检测。为提高建筑物变化检测精度,文献[6]融合像素级特征及目标级特征来实现高精度建筑物变化检测结果。虽然上述基于多特征融合的建筑物变化检测方法在建筑物变化检测方面取得了较好的效果,但仍然存在一些不足及挑战:①对基于像素级特征的建筑物变化检测而然,多特征的融合容易引入较多的白斑噪声,从而影响聚类方法及深度学习方法的分类效果;②多特征融合在凸显建筑物变化信息的效果还需要进一步提升。如果凸显建筑物的变化信息效果不理想,也会导致后续分类性能降低。

近年来,为了提高遥感影像建筑物变化检测的精度,研究学者利用机器学习及深度学习的方法对从不同时相遥感图像中提取的变化和未变化样本进行标签训练,从而实现更高精度的分类效果。如文献[7]采用邻域比值法从不同时相的SAR影像中提取变化及未变化训练样本,并通过极限学习机进行训练及分类,从而获得高精度的多类地物变化检测结果。文献[8]提取不同时相遥感影像的光谱特征、纹理特征及空间特征作为可靠样本,并在构造的多分类器上进行样本标签训练,从而实现多类地物(道路、建筑物)变化检测的目的。文献[9]提出了建筑物检测、边界提取和支持向量机分类的建筑物变化检测框架,达到了较好的变化检测效果。文献[10]提出了一种多尺度特征卷积单元来提取建筑物的特征,从而达到较好的建筑物变化检测效果。文献[11]提出了一种新的、通用的卷积多层递归神经网络(recurrent neural networks, RNN),用于多时相高分辨遥感影像的建筑物变化检测。文献[12]提出了一种通过超像素方法提取变化特征,并运用神经网络分层差分方法进行特征学习的高分辨率遥感影像变化检测框架,从而实现多类地物变化检测的目的。文献[13]提出一种基于区域的卷积神经网络方法,并通过此方法识别高分辨率遥感影像中的多类地物(建筑物、道路等),从而有效地进行多类地物变化检测。文献[14]提出通过设置亮度区间的方式从光谱及纹理变化图中提取训练样本,利用深度学习方法进行建筑物变化检测。文献[15]提出一种基于深度特征差异卷积神经网络遥感影像变化检测方法。该方法只需少量像素级样本进行训练,最后,通过阈值得到二进制变化映射。文献[16]提出了一种基于生成对抗网络的半叠加卷积变化检测网络。该方法训练过程中,利用未标记信息不断地对分类器进行正则化,从而提高分类器的泛化能力,达到较好的分类效果。文献[17]提出了一种频谱-时空-时间联合特征表示的多光谱图像变化检测框架,提高多类地物变检检测的精度。文献[18]提出了一种集成CNN(convolu-tional neural network)变化检测框架。该方法将在不同时间获取的两幅非常高分辨率图像的变化区域和不变区域的样本输入到两个CNN中。在训练过程中,利用基于样本不同程度的代价模块函数来训练集成的CNN,并利用本文提出的框架驱动改变和不变样本对高层和抽象特征进行学习,从而得到了满意的变化检测结果。

虽然上述基于机器学习及深度学习的建筑物变化检测方法取得了较好的效果,但仍存在一些不足及挑战:①像素级训练样本的可靠性有待提高;对于像素级样本而言,其训练样本的可靠性至关重要。如果选取的像素级训练样本是非建筑物样本,那么会导致建筑物变化检测的精度下降。②需要大量的训练样本才能达到较好的分类效果。如果训练样本数量不足,其训练效果不理想,从而导致分类性能降低。

针对上述问题,为了能在使用少量高质量训练样本时,达到高性能的遥感影像建筑物变化检测结果,本文从DI构造、像素级训练样本选取及分类方法等3方面进行分析,提出一种基于多特征融合及随机多图的建筑物变化检测方法。①为了更好地凸显建筑物变化信息及减少由于多特征融合引入的白斑噪声。本文利用结构相似性方法(structural similarity index, SSIM)选取相似性最低的纹理特征及最佳尺度分割后的形状特征,并融合通过变化矢量分析方法(change vector analysis, CVA)获取不同时相遥感影像的光谱特征差异影像、纹理特征(灰度共生矩阵法)差异影像及通过求差获取不同时相遥感影像的形态学建筑物指数特征差异图、最佳尺度分割后的形状特征差异图来构造差异影像。②为了尽量避免提取非建筑物变化样本,本文采用构造的变分去噪模型去除差异影像中的白斑噪声,通过频域显著性方法(frequency domain significance method,FDS)获取差异影像的显著性图,并利用模糊c-均值聚类算法(fuzzy c-means, FCM)对显著性图选取阈值得到的粗变化检测图进行预分类(变化类(建筑物)、未变化类及未确定类)。③为了获得高精度的建筑物变化检测结果,把从原始遥感影像、光谱特征影像、纹理特征影像(SSIM选取)、形态学建筑物指数特征影像及形状特征影像(SSIM选取)上提取变化(建筑物)及未变化像素的邻域特征引入随机多图分类模型中进行样本标签训练,利用训练好的随机多图分类器对粗变化检测图进行建筑物变化检测,从而获得建筑物变化检测图。

通过对建筑物变化检测的每个环节进行研究及分析,从而达到高精度的建筑物变化检测结果:①设计了影像多特征融合方案,此方案融合像素级特征及目标级特征来凸显建筑物变化信息,同时利用SSIM方法选取纹理及形状特征,达到减少数据冗余及白斑噪声的目的;②设计了一种基于FDS和FCM的高质量训练样本提取方案,此方法缩小了训练样本的搜索范围,使分类更细,从而尽量避免提取非建筑物训练样本(由于影像获取的角度、辐射条件及建筑物阴影等因素的影响);③从多种特征影像上提取训练样本的邻域特征,采用分类精度较高的随机多图作为建筑变化检测的分类模型;④本文方法可以在使用少量高质量训练样本时,达到高性能的遥感影像建筑物变化检测结果。

1 基于多特征融合及随机多图建筑物变化检测方法

本文建筑物变化检测方法主要分为3个步骤:①DI构造,通过本文影像多特征融合方法构造的DI能有效凸显建筑物变化信息;②高质量训练样本获取,本文通过FDS及FCM可以准确地锁定变化区域及提取可靠的变化(建筑物)及未变化的训练样本;③建筑物变化检测,采用随机多图方法进行样本标签训练及分类,从而实现高性能的建筑物变化检测结果。方法具体流程如图 1所示。

图 1 本文方法流程 Fig. 1 The proposed method

1.1 多特征融合构造DI

构造DI主要考虑两个方面:①构造的DI如何有效凸显建筑物变化信息;②如何减少数据冗余及多特征融合引入的白斑噪声。针对上述问题,构造DI的过程主要分为4个步骤:影像多特征提取、纹理特征及形状的选取、DI构造、DI去噪。构造DI如图 2所示。

图 2 构建DI Fig. 2 DI schematic diagram constructed

1.1.1 影像多特征提取 1.1.1.1 影像光谱特征提取

由于建筑材料相对均匀且反射率高,因此首先计算每个波段影像中每个对象的所有像素值的平均值,得到每个波段影像的光谱均值。其次,计算每个波段影像的光谱均值的平均值作为影像的光谱特征[19]。其计算公式如式(1)所示

(1)

式中,M表示所有波段光谱均值的平均值;M表示每个波段对象中所有像元的光谱均值;xi表示影像对象的像元值;n表示对象所含的像元个数,m表示波段数。

1.1.1.2 影像纹理特征提取

由于灰度共生矩阵方法能从不同角度对影像的纹理进行细致的刻画,因此提取灰度共生矩阵计算的均值、熵、同质度、能量、对比度、均匀性、相关性、方差等标量来描述影像纹理特征[20]

1.1.1.3 形态学建筑物指数特征提取

为了更好地凸显建筑物信息,从建筑物的形状、方向、亮度及对比度等特征考虑来构建形态学建筑物指数特征(morphology building index,MBI)[21]。形态学建筑物指数特征构造过程分为4个步骤。

(1) 计算亮度值。其计算公式如式(2)所示

(2)

式中,K为波段数;bandk(x)表示第k个波段像素x的亮度值。由于建筑物光谱信息受可见光波段影响最大,所以选择可见光波段每个像素的最大值作为该像素的亮度值。

(2) 形态学白帽重构(top-hat by reconstruc-tion, THR),其计算公式如式(3)所示

(3)

式中,rbre表示b的形态学开运算;sd分别表示线性结构元素的尺度及方向。为了更好区分道路及建筑物信息,选择多个方向和尺度的线性结构来进行形态学白帽重构。

(3) 计算微分形态学剖面DMP(differential morphological profiles)。其计算公式如式(4)所示

(4)

(4) 计算MBI,其计算公式如式(5)所示

(5)

式中,S=((smaxsmin)/Δs)+1;D是计算建筑物剖面的方向数,通过试验分析,设定D=8,smax=21,smin=2,Δs=1。

1.1.1.4 形状特征提取

虽然形态学建筑物指数特征可以很好地提取建筑物信息,但当建筑物与邻近地物呈现低反差时,提取效果不理想。为了能凸显更多的建筑物变化信息,采用eCognition软件计算不同时相遥感影像的形状特征,其步骤分为两步:①利用eCognition软件对不同时相遥感影像进行分割,通过调整尺度、形状因子和紧致度等参数,获得最佳尺度分割效果;②利用eCognition软件自动计算最佳尺度分割后的不同时相遥感影像的非对称性、边界指数、紧密度、密度、椭圆拟合、矩形拟合等形状特征。

提取形态学建筑物指数特征及最佳分割后的形状特征,不仅可以凸显更多的建筑物变化信息,而且由于两种特征可以提取一部分相同的建筑物变化信息,通过两种特征的融合,可以使建筑物变化信息更凸显,从而为后续提取高质量训练样本奠定基础。

1.1.2 纹理特征及形状特征的选取

为了减少数据冗余及多特征融合引入的白斑噪声,利用SSIM方法计算相似性最低的纹理特征及形状特征。SSIM方法是比较两幅影像结构信息相似性的方法,如果SSIM值低,说明两幅影像的结构信息差异大,变化多。因此,通过SSIM方法计算均值、熵、同质度、能量、对比度、均匀性、相关性、方差等标量来描述不同时相遥感影像的纹理特征的相似性及不同时相遥感影像非对称性、边界指数、紧密度、密度、椭圆拟合、矩形拟合等形状特征的相似性来选取相似性最低的纹理特征及形状特征。SSIM计算公式见式(6)[22]

(6)

式中,uxuy表示亮度比较函数;σxy表示相关性比较函数;C1C2C3是常数。

1.1.3 DI构造

为了减少数据冗余及提高计算效率,首先,把获得的光谱特征影像、纹理特征影像、形态学建筑物指数特征影像及形状特征影像转化为一维灰度影像(归一化处理),其次,通过CVA方法获得光谱特征差异图及纹理特征差异图,通过求差获得建筑物指数特征差异图及形状特征差异图。由于4种差异影像都是一维灰度影像,因此,本文按照一定比例把光谱特征差异图、纹理特征差异图、建筑物指数特征差异图及形状特征差异图相加构造DI。

1.1.4 DI去噪

尽管通过SSIM方法选取纹理特征及形状特征的方式可以减少数据冗余及白斑噪声,但还是会引入少量白斑噪声,从而导致提取的训练样本可靠性降低。为了能有效去除差异影像中的白斑噪声,同时避免去噪影像出现阶梯效应,构建一种具有同性扩散及异性扩散能力的变分去噪模型[23],其表达式如式(7)所示

(7)

式中,等号右边第1项为正则约束项;第2项是保真项;S为含噪影像;s为去噪影像;v为噪声;是势函数;λ0为正则化数。

1.2 像素级(建筑物)可靠训练样本获取

为了获得可靠的像素级(建筑物)训练样本集,从两方面进行考虑:①如何锁定建筑物变化的区域;②如何提取变化(建筑物)及未变化的训练样本。通过上述思考,引入FDS和FCM预分类方法获取粗变化检测图中变化类(建筑物)及未变化类的训练样本。

1.2.1 FDS方法

显著性分析是指发现局部或全局对比强的区域,这些区域比影像的其他部分更能引起人类视觉系统的注意。为了能更好地使显著性区域的形状和位置与变化区域相似,选择FDS方法,它是采用适当尺度的低通高斯核进行振幅谱卷积,得到显著性图。具体地说,首先通过傅里叶变换将影像f(x, y)转化为频域:f(x, y)→F(f)(u, v),然后,计算振幅谱A(u, v)=|F(f)|和相位谱P(u, v)=angle|F(f)|,用高斯内核h来抑制影像的峰值,其表达式如式(8)所示[24]

(8)

将得到的平滑振幅谱AS与原始相位谱相结合计算逆变换,得到显著性图

(9)

1.2.2 FCM预分类

对显著性图选取阈值来获得粗变化检测图,并利用FCM预分类方法对粗变化检测图中的像素划分为3类:变化类(建筑物)、未变化类及未确定类。

通过FDS方法可以锁定DI中的变化区域,从而可以一定程度上排除其他相似区域的干扰。但由于影像获取的角度、辐射条件及建筑物阴影等因素的影响,不同时期的建筑物在影像上的位置、几何形状差别很大,从而容易使构造的DI凸显非建筑物变化信息。因此,通过FCM预分类方法对凸显的变化区域进行更细的分类,从而尽量避免提取非建筑物训练样本。

1.3 随机多图分类方法

近年来,研究学者提出许多遥感影像的分类方法,然而,很少使用基于图的分类方法进行遥感影像的分类。为了提高建筑物变化检测的精度,采用随机多图分类方法。此方法可以利用多时相遥感影像之间的非线性关系随机选择一组特性来创建图形。把通过FCM预分类方法划分的变化类(建筑物)及未变化类样本的邻域特征引入随机多图分类器中进行样本标签训练,再利用训练好的随机多图分类器对粗变化检测图进行分类。从而获得最终的建筑物变化检测图。

随机多图分类方法是通过无向图来建立表达输入数据之间内部关系的模型。假设给定一组数据集X=XlXuRd, d表示特征空间的维度,Xl={x1, x2, …, xl}表示标签样本集,用yi∈{0, 1}标定样本集中变化类和未变化类,Xu={xl+1, xl+2, …, xl+u}表示无标签样本集,u表示无标签样本的个数。多图分类的原理如图 3所示[25]

图 3 随机多图分类原理 Fig. 3 Random multi-graph classification idea

图 3中,使用锚图方法来构造多个图形,用aj表示提取的每一个锚点,用A={aj}j=1mRd表示锚矩阵,标签预测函数f可以表示为

(10)

式中,Pij为数据自适应权值。

定义两个向量f=[f(x1), f(x2), …, f(xn)]Tfa=[f(a1), f(a2), …, f(am)]T,式(10)可改写为

(11)

式中, PR(l+umml+u

因此,解求无标签数据的类型问题就由较大的空间f的计算缩小为较小的空间fa的计算,使用k-means聚类中心作为锚。这些聚类中心具有很强的表示能力,能够充分覆盖整个数据集。关于矩阵P,本文使用局部锚点嵌入法将任意数据点重构为最接近锚的一个凸组合。因此,矩阵P可以由式(12)表示

(12)

式中,X表示样本数据矩阵;A表示每个锚点按行排列构成的锚矩阵;P表示待学习的数据与锚点间的映射矩阵,锚图可由其邻接矩阵W=-1PT表示。对角矩阵ΛRm×m定义为Λkk=,在得到映射矩阵P后,通过半监督学习框架,可以较容易地预测未标记数据的标签。

2 试验影像及评价指标

为了验证本文方法的有效性,选择一组同源和一组多源的高分辨率遥感影像作为试验影像,第1组数据集为QuickBird卫星分别在2009年1月和2011年11获取的两时相影像,包含红、绿、蓝及近红外4波段,影像大小为590×500像素,分辨率为0.5 m/像素,两幅影像如图 4(a)所示。第2个数据集是IKONOS卫星和无人机(UVA)分别于2013年3月和2013年6月获得两时相真彩色影像(颜色不一致),大小为640×350像素,空间分辨率分别为1 m/像素和0.5 m/像素,如图 4(b)。由于受影像获取的角度、辐射条件及建筑物阴影等因素的影响,二组数据集中存在少量建筑物在不同时相影像上的位置、几何形状上的差异。对于不同分辨率的多源遥感影像而言,通过把1 m/像素分辨率的影像向上采样到0.5 m/像素分辨率的影像,从而使多源遥感影像分辨率一致。二组数据集在进行变化检测前都进行了精确配准及辐射校正。

图 4 试验影像数据集 Fig. 4 Experimental image data set

通过变化检测效果图与参考变化影像进行对比来评价,并采用3种客观评价指标(完整率(completeness, Com)、正确率(correctness, Cor)、综合评价指标(F-measure, FM)来定量评价,3种客观评价指标计算公式如下

(13)
(14)
(15)

式中,FP(false positive)、FN(true negative)和TP(true positive)分别表示错误检测建筑物像元个数、正确的未变化建筑物像元个数和正确的变化建筑物像元个数。

3 试验与分析 3.1 粗变化检测图

3.1.1 DI构造

通过本文多特征融合方法构造3组影像数据集的DI。通过SSIM计算,都选取QuickBird数据集及IKONOS和UVA数据集的同质性(GLCM)纹理特征标量及椭圆拟合(elliptic fit)形状特征。构造DI的融合比例主要参考依据为:在构造的DI中建筑物的变化区域较未变化区域凸显更明显,凸显融合前未凸显的建筑物变化区域,尽量减少引入的白斑噪声,建筑物变化检测的精度最高。由于建筑物的亮度值一般偏大,而影像光谱特征能更好地凸显建筑物的特征,因此,在设定融合比例时,光谱特征差异图的系数一般在1至2之间确定。而为了尽量减少由于融合纹理特征差异图而引入的白斑噪声及更好地凸显融合前未凸显的建筑物变化区域,纹理特征差异图系数要在0至0.5之间设定。而形态学建筑物指数差异图及形状特征差异图是通过求差获得的,因此这两个差异图的融合比例都设定1。通过试验分析,QuickBird数据集及IKONOS和UVA数据集及IKONOS和WorldView-2数据集构造DI的融合比例分别为1.2(光谱特征)、0.5(纹理特征)、1(形态学建筑物指数特征)、1(形状特征)及1(光谱特征)、0.2(纹理特征)、1(形态学建筑物指数特征)、1(形状特征)。融合比例设定是针对上述试验影像而言,对于不同遥感影像,融合比例设定不一致。融合比例确定的依据可以为其他遥感影像多个特征融合提供一种借鉴。

为了验证本文构造DI的优势,与CVA获得的DI、本文DI(无去噪)进行对比,试验结果如图 5所示。

图 5 本文DI(无去噪)、本文DI(变分去噪)及CVA方法获得的3组数据集DI图 Fig. 5 DI graphs of three data sets obtained by DI(no denoising), DI(variational denoising) and CVA method

图 5可以看到,在通过CVA获得的3组影像数据集的DI中凸显建筑物变化信息不明显,而且部分建筑物的变化信息没有凸显出来(图 5中橙色矩形区域),尤其IKONOS和UVA数据集。而本文DI(无去噪)虽然可以使建筑物变化区域较未变化区域更凸显,并且凸显CVA方法没有凸显的变化区域(图 5中橙色矩形区域),但同时也引入了较多的白斑噪声。而经过变分去噪后的DI可以在凸显建筑物变化信息的同时减少了白斑噪声,从而为提高后续建筑物变化检测的精度奠定基础。但由于影像获取的角度、辐射条件及建筑物阴影等因素的影响,通过CVA获取多源遥感影像(IKONOS和UVA数据集)的DI凸显建筑物信息最差,而本文DI(变分去噪)虽然凸显建筑物信息比较好,但也凸显一些非建筑物变化信息。

3.1.2 DI(变分去噪)显著图及粗变化检测图

通过FDS方法获得DI(变分去噪)的显著性图,为了能有效地提取可靠训练样本,同时避免获得粗变化检测图时丢失建筑物变化信息及增加随机多图训练的时间,本文分别选取QuickBird数据集及IKONOS和UVA数据集的DI(变分去噪)显著图的阈值为0.14及0.2,得到粗变化检测图,试验结果见图 6所示。

图 6 二组数据集DI显著性图及粗变化检测 Fig. 6 DI significance diagram and crude change detection diagram of two data sets

图 6可以看到,FDS方法可以很好地凸显建筑物的变化区域。而从粗变化检测图中可以看到,白色图斑基本包含参考变化影像中的建筑物变化区域。通过此方法不仅可以缩小变化检测的搜索范围,而且可以一定程度上排除其他相似区域的干扰。

3.2 最终建筑物变化检测图

通过FCM方法对粗变化检测图进行预分类(变化类(建筑物)、未变化类、不确定类),从不同时相遥感影像、光谱特征影像、纹理特征影像(SSIM选取)、形态学建筑物指数特征影像及形状特征影像(SSIM选取)上提取变化像素及未变化像素的邻域特征进行随机多图样本标签训练,并利用训练好的随机多图分类器对粗变化检测图进行建筑物变化检测,获得最终建筑物变化检测图。为了验证本文方法的优越性,本文设计两个试验,第1个试验是为了验证本文方法能够获得可靠的训练样本;第2个试验是为了验证本文方法建筑物变化检测的性能。

3.2.1 试验1

试验1选择CVA+FDS+FCM+随机多图、本文方法(无去噪)与本文方法(变分去噪)进行比较,试验结果如图 7表 1所示。

图 7 试验1不同方法变化检测试验结果 Fig. 7 Experimental results of change detection in different methods in experiment 1

表 1 试验1变化检测评价指标统计结果 Tab. 1 Statistical results of change detection and evaluation indexes in experiment 1
数据集 方法 Com Cor FM
QuickBird
数据集
CVA+FDS+FCM+随机多图 0.567 0 0.964 8 0.714 3
本文方法(无去噪) 0.943 8 0.849 2 0.894 0
本文方法(变分去噪) 0.829 4 0.991 0 0.903 0
IKONOS和UVA数据集 CVA+FDS+FCM+随机多图 0.2631 0.9427 0.4114
本文方法(无去噪) 0.9377 0.8679 0.9014
本文方法(变分去噪) 0.9447 0.9767 0.9604

通过图 7(a)7(b)可以看到,由于经CVA构造的DI凸显建筑物变化信息不明显,甚至部分建筑物变化信息没有凸显出来,因此提取训练样本的质量不高,从而导致在两组数据集的变化检测图中丢失较多建筑物变化信息,而从表 1也可以看出,多源遥感影像数据集(IKONOS和UVA数据集)的CVA+FDS+FCM+随机多图方法的Com值和FM值最低,说明多源遥感影像由于受影像获取的角度、辐射条件等因素的影响较大,通过CVA构造的DI凸显建筑物效果最差,从而影响后续分类的精度。而本文方法(无去噪)虽然构造的DI在凸显建筑物变化信息方面较CVA方法效果好,但由于构造的DI引入了较多的白斑噪声,影响了训练样本提取的质量,因此,在两组数据集的变化检测图中出现较多白斑噪声。而从表 1也可以看到,本文方法(无去噪)的Cor最低。而本文方法(变分去噪)构造的DI不仅较好地凸显建筑物变化检测信息,减少白斑噪声的引入,而且受影像获取的角度、辐射条件及建筑物阴影等因素影响较小,检测的非建筑物变化信息较少,因此建筑物变化检测的效果最好,而从表 1也可以看到,本文方法(变分去噪)的Com、Cor、FM的值都要高于本文方法(无去噪)。

3.2.2 试验2

为了验证方法的优越性,选择与本文方法DI(去噪)+FLICM(fuzzy local information C-means)、本文方法DI(变分去噪)+SVM(Support Vector Machine)、本文方法DI(变分去噪)+DNN(Deep neural network)[14]等方法进行比较,试验结果见图 8和表 3。

图 8 试验2不同方法变化检测试验结果 Fig. 8 Experimental results of change detection by different methods

通过图 8可以看到,在经本文方法DI(变分去噪)+FLICM方法获得的两组数据集建筑物变化检测图中,出现较多的非建筑物变化信息,但该方法可以检测出大部分的建筑物变化信息,因此,本文方法DI(变分去噪)+FLICM方法的Cor值最低,Com值最高,如表 1所示。而本文方法DI(变分去噪)+SVM方法获得的两组数据集的建筑物变化检测图中也出现较多非建筑物变化信息,并且在第1个数据集的建筑物变化检测图中丢失一些建筑物变化信息,而从表 2可以看到,本文方法DI(变分去噪)+SVM方法的Cor值及FM值高于本文方法DI(变分去噪)+FLICM方法。而本文方法DI(变分去噪)+DNN方法获得的两组数据集的建筑物变化检测图中仍然存在少量的非建筑物变化检测信息,但数据集1的建筑物变化检测效果较DI(本文方法)+SVM方法好,因此,DI(本文方法)+DNN方法的FM值及Cor值高于本文方法DI(变分去噪)+SVM方法,如表 1所示。而本文方法(变分去噪)获得的两组数据集的建筑物变化检测图包含少量的非建筑物变化信息,而且更多的建筑物变化信息被检测出来。而从表 1也可以看到,本文方法(变分去噪)的Cor值及FM值是最高的。

表 2 试验2变化检测评价指标统计结果 Tab. 2 Statistical results of change detection and evaluation indexes in experiment 2
数据集 方法 Com Cor FM
QuickBird
数据集
本文方法DI(变分去噪)+FLICM 0.939 5 0.378 0 0.539 1
本文方法DI(变分去噪)+SVM 0.832 5 0.564 0 0.672 4
本文方法DI(变分去噪)+DNN 0.693 8 0.664 8 0.679 0
本文方法(变分去噪) 0.829 4 0.991 0 0.903 0
IKONOS和UVA数据集 本文方法DI(变分去噪)+FLICM 0.943 6 0.326 7 0.485 4
本文方法DI(变分去噪)+SVM 0.770 3 0.583 1 0.663 7
本文方法DI(变分去噪)+DNN 0.655 8 0.667 0 0.661 3
本文方法(变分去噪) 0.944 7 0.976 7 0.960 4

通过本文方法(变分去噪)与其他方法比较可以看出,采用本文方法DI(变分去噪)+FLICM方法进行建筑物变化检测时,由于本文构造DI的方法凸显建筑物变化检测效果好,因此,FLICM可以检测出大部分变化的建筑物信息,但由于此方法是对DI进行分类,因此,会出现很多非建筑物变化像素。而SVM方法是对获得建筑物和非建筑物可靠训练样本进行训练后,对DI进行分类。由于,这种方法同样是针对整个DI进行分类,容易检测出较多非建筑物变化信息,但SVM的分类效果要好于FLICM分类效果。而本文方法DI(变分去噪)+DNN方法是通过参数T设置亮度区间的方式从本文构造的DI中提取训练样本,此方法提取训练样本是通过参数T控制的,因此,会出现部分训练样本的质量较差,从而导致DNN分类结果出现漏检及错检的情况。而本文方法(变分去噪)从DI构造、像素级训练样本选取及分类方法等3个方面考虑,是一种针对建筑物变化检测各个环节进行分析的方法,不仅可以检测出更多的建筑物变化信息,而且受影像获取的角度、辐射条件及建筑物阴影等因素的影响较小,因此,本文方法能适用于多源及同源遥感影像建筑物变化检测。

3.3 参数设定

方法变化检测的精度主要受提取特征的邻域窗口r及变分去噪算法中的λ0两个重要参数影响,对于两个参数确定的依据主要以建筑物变化检测的精度(Com、Cor及FM)来评定的。邻域窗口r选择不宜过大,否则不仅会增加数据量,而且还会引入变化检测的不确定因素,从而导致变化检测性能下降。λ0值选择不易过大,否则白斑噪声去除的同时尽量不丢失微小建筑物变化区域。因此,本节还是选取r为5、7、9、11、13来进行试验比对。参数λ0的大小0.2、0.4、0.6、0.8及1之间选择,试验结果如图 9所示。

图 9 λ0值和r值对3组数据集变化检测精度的影响 Fig. 9 Influence of λ0 value and r value on detection accuracy of change in three data sets

图 9(a)可以看到,对于数据集1及数据集2而言,λ0取0.6时,Com值、Cor值及FM值都是最大的。从3个评价指标值可以看到,λ0取0.6时,不同数据集的FM值都是最大的,综合分析,λ0选0.6时,3组数据集的建筑物变化检测结果最优。而从图 9(b)可以看到,对于数据集1而言,r取13时,Com值、Cor值及FM值最大,对于数据集2而言,r取9时,Cor值及FM值最大,并且随着r的增大,数据集2的Cor值及FM值逐渐变小。从3个评价指标值可以看到,数据集1及数据集2分别选取r为13及9时,两组数据集的建筑物变化检测结果最优。

4 结论

通过本文建筑物变化检测方法的研究,得出以下几点结论;

(1) 本文构建的DI(SSIM选取纹理特征及形状特征)及对DI的变分去噪处理不仅可以凸显建筑物变化信息,而且减少数据冗余及不确定因素(白斑噪声)的引入,从而提高后续建筑物变化检测的精度。

(2) 本文提出的提取高质量像素级训练样本的思路:首先使构造的DI凸显变化信息,然后采用FDS锁定变化信息,最后采用FCM进行预分类,从而获得高质量的训练样本。

(3) 不管是对多类地物还是特定地物进行变化检测,都要对变化检测过程中的每个步骤进行分析,才能获得高精度的变化检测结果。通过试验分析,如果DI不能很好地凸显变化区域,那么再好的聚类方法也达不到好的变化检测效果。同样,如果DI能很好地凸显变化区域,但提取训练样本质量不好或者聚类性能不高,同样也会降低变化检测的性能。因此,本文就从差异影像构造、高质量像素级训练样本获取及分类方法3方面考虑,提出了基于多特征融合及随机多图的建筑物变化检测方法,通过与其他方法比较,此方法不仅可以使构建的DI凸显建筑物变化信息,获取高质量的建筑物训练样本,而且受影像获取的角度、辐射条件及建筑物阴影等因素的影响较小,较少的非建筑物变化检测信息被检测。因此,本文方法可以针对多源及同源遥感影像进行建筑物的变化检测,其适用性较强,能够得到较高精度的建筑物变化检测图。

(4) 虽然本文方法建筑物检测性能较好,但也存在一些不足:①在粗变化检测过程中,容易丢失建筑物变化像素,从而导致建筑物漏检;②在构造DI时,多特征融合的系数并没有实现自动化,并且由于不同影像融合的系数不一致,增加了操作的烦琐性。


参考文献
[1]
HUANG Xin, ZHANG Liangpei, ZHU Tingting. Building change detection from multitemporal high-resolution remotely sensed images based on a morphological building index[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(1): 105-115. DOI:10.1109/JSTARS.2013.2252423
[2]
陶峰, 邵振峰. 增强型形态学建筑指数的建筑物变化检测[J]. 测绘科学, 2017, 42(5): 29-34.
TAO Feng, SHAO Zhenfeng. Building change detection based on the enhanced morphological building index[J]. Science of Surveying and Mapping, 2017, 42(5): 29-34.
[3]
叶昕, 秦其明, 王俊, 等. 利用高分辨率光学遥感图像检测震害损毁建筑物[J]. 武汉大学学报(信息科学版), 2019, 44(1): 125-131.
YE Xin, QIN Qiming, WANG Jun, et al. Detecting damaged buildings caused by earthquake from remote sensing image using local spatial statistics method[J]. Geomatics and Information Science of Wuhan University, 2019, 44(1): 125-131.
[4]
李军胜, 党建武, 王阳萍. 多特征融合的高分辨率影像建筑物变化检测[J]. 测绘通报, 2019(10): 105-108, 118.
LI Junsheng, DANG Jianwu, WANG Yangping. Building change detection by multi-feature fusion from high resolution remote sensing images[J]. Bulletin of Surveying and Mapping, 2019(10): 105-108, 118. DOI:10.13474/j.cnki.11-2246.2019.0328
[5]
HUANG Xin, ZHU Tingting, ZHANG Liangpei, et al. A novel building change index for automatic building change detection from high-resolution remote sensing imagery[J]. Remote Sensing Letters, 2014, 5(8): 713-722. DOI:10.1080/2150704X.2014.963732
[6]
张志强, 张新长, 辛秦川, 等. 结合像元级和目标级的高分辨率遥感影像建筑物变化检测[J]. 测绘学报, 2018, 47(1): 102-112.
ZHANG Zhiqiang, ZHANG Xinchang, XIN Qinchuan, et al. Combining the pixel-based and object-based methods for building change detection using high-resolution remote sensing images[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(1): 102-112. DOI:10.11947/j.AGCS.2018.20170483
[7]
GAO Feng, DONG Junyu, LI Bo, et al. Change detection from synthetic aperture radar images based on Neighborhood-based ratio and extreme learning machine[J]. Journal of Applied Remote Sensing, 2016, 10(4): 1-14.
[8]
TAN Kun, JIN Xiao, PLAZA A, et al. Automatic change detection in high-resolution remote sensing images by using a multiple classifier system and spectral-spatial features[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(8): 3439-3451. DOI:10.1109/JSTARS.2016.2541678
[9]
SIDIKE P, ESSA A, ALBALOOSHI F, et al. Automatic building change detection in wide area surveillance[C]//2015 National Aerospace and Electronics Conference. Dayton, OH: IEEE, 2015: 54-57.
[10]
CHEN Hongruixuan, WU Chen, DU Bo, et al. Deep siamese multi-scale convolutional network for change detection in multi-temporal VHR images[C]//2019 10th International Workshop on the Analysis of Multitemporal Remote Sensing Images. Shanghai, China: IEEE, 2019: 1-4.
[11]
CHEN Hongruixuan, WU Chen, DU Bo, et al. Change detection in multisource VHR images via deep siamese convolutional multiple-layers recurrent neural network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(4): 2848-2864. DOI:10.1109/TGRS.2019.2956756
[12]
GONG Maoguo, YANG Hailun, ZHANG Puzhao. Feature learning and change feature classification based on deep learning for ternary change detection in SAR images[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 129: 212-225. DOI:10.1016/j.isprsjprs.2017.05.001
[13]
WANG Qing, ZHANG Xiaodong, CHEN Guanzhou, et al. Change detection based on Faster R-CNN for high-resolution remote sensing images[J]. Remote Sensing Letters, 2018, 9(10): 923-932. DOI:10.1080/2150704X.2018.1492172
[14]
张鑫龙, 陈秀万, 李飞, 等. 高分辨率遥感影像的深度学习变化检测方法[J]. 测绘学报, 2017, 46(8): 999-1008.
ZHANG Xinlong, CHEN Xiuwan, LI Fei, et al. Change detection method for high-resolution remote sensing images using deep learning[J]. Acta Geodaetica et Cartographica Sinica, 2017, 46(8): 999-1008. DOI:10.11947/j.AGCS.2017.20170036
[15]
ZHANG Min, SHI Wenzhong. A feature difference convolutional neural network-based change detection method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(10): 7232-7246. DOI:10.1109/TGRS.2020.2981051
[16]
PENG Daifeng, BRUZZONE L, ZHANG Yongjun, et al. SemiCDNet: a semisupervised convolutional neural network for change detection in high resolution remote-sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020. DOI: 10.1109/TGRS.2020.3011913.
[17]
MOU Lichao, BRUZZONE L, ZHU Xiaoxiang. Learning spectral-spatial-temporal features via a recurrent convolutional neural network for change detection in multispectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(2): 924-935. DOI:10.1109/TGRS.2018.2863224
[18]
ZHANG Xinlong, FAN Rui, MA Lei, et al. Change detection in very high-resolution images based on ensemble CNNs[J]. International Journal of Remote Sensing, 2020, 41(12): 4757-4779. DOI:10.1080/01431161.2020.1723818
[19]
WESSELS K J, VAN DEN BERGH F, ROY D P, et al. Rapid land cover map updates using change detection and robust random forest classifiers[J]. Remote Sensing, 2016, 8(11): 888. DOI:10.3390/rs8110888
[20]
王昶, 张永生, 韩世静, 等. 基于频域显著性方法和ELM的遥感影像变化检测[J]. 华中科技大学(自然科学版), 2020, 48(5): 19-24.
WANG Chang, ZHANG Yongsheng, HAN Shijing, et al. Remote sensing image change detection based on frequency domain significance method and ELM[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2020, 48(5): 19-24.
[21]
HUANG X, ZHANG L P. A multidirectional and multiscale morphological index for automatic building extraction from multispectral GeoEye-1 imagery[J]. Photogrammetric Engineering & Remote Sensing, 2011, 77(7): 721-732.
[22]
WANG Zhou, BOVIK A C. A universal image quality index[J]. IEEE Signal Processing Letters, 2002, 9(3): 81-84. DOI:10.1109/97.995823
[23]
王昶, 张永生, 王旭, 等. 遥感影像条带噪声去除的小波变分法[J]. 测绘学报, 2019, 48(8): 1025-1037.
WANG Chang, ZHANG Yongsheng, WANG Xu, et al. Stripe noise removal of remote image based on wavelet variational method[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(8): 1025-1037. DOI:10.11947/j.AGCS.2019.20180394
[24]
WANG Chang, ZHANG Yongsheng, WANG Xu. Coarse-to-fine SAR image change detection method[J]. Remote Sensing Letters, 2019, 10(12): 1153-1162. DOI:10.1080/2150704X.2019.1663560
[25]
PROKHOROV D. A convolutional learning system for object classification in 3D lidar data[J]. IEEE Transactions on Neural Networks, 2010, 21(5): 858-863. DOI:10.1109/TNN.2010.2044802
http://dx.doi.org/10.11947/j.AGCS.2021.20200097
中国科学技术协会主管、中国测绘地理信息学会主办。
0

文章信息

王昶,张永生,纪松,张磊
WANG Chang, ZHANG Yongsheng, JI Song, ZHANG Lei
建筑物变化的多特征融和及随机多图综合检测法
Multi-feature fusion and random multi-graph synthetic building change method
测绘学报,2021,50(2):235-247
Acta Geodaetica et Cartographica Sinica, 2021, 50(2): 235-247
http://dx.doi.org/10.11947/j.AGCS.2021.20200097

文章历史

收稿日期:2020-03-19
修回日期:2020-12-15

相关文章

工作空间