点击阅读原文报名
更多沙龙信息请参考文末海报
编辑团队
原文/ Yongquan Zhao(赵涌泉)、Bo Huang(黄波)、Huihui Song(宋慧慧)
翻译/ 情歌、Robin Xu
文献/ 情歌 校核/ 众山小
编辑/ 众山小 排版/ 王木木
一
城市
交通
览
译者导读
对地观测系统的发展使得近几年来卫星遥感为代表的地学大数据逐渐渗透到定量城市研究中,然而由于硬件和成本受限以及云污染的问题,可用的对地观测卫星影像在时间分辨率和空间分辨率上通常无法满足研究需求,从而限制了对地观测数据的应用。此次推荐的文章中,作者将经典的时空影像融合理论与图像超分辨率重建理论相结合形成了一个综合框架,以应对在时空影像融合中由于物候与土地覆盖变化所造成复杂地表变化所带来的挑战,构建了具有精确、稳健性能的时空影像融合模型RASTFM。该文章发表于遥感领域的顶级期刊《环境遥感》。想了解具体的内容,就让我们一起来看下这个模型的独到之处吧。
原文出处:Zhao, Y., et al., A robust adaptive spatial and temporal image fusion model for complex land surface changes (2018), https://doi.org/10.1016/j.rse.2018.02.009 全文下载。
一、时空影像融合的研究背景、意义与进展
研究背景
高时空分辨率的卫星影像对于全球或区域尺度的许多应用(土地利用和土地覆盖制图、变化监测、地表温度监测等等)具有重要意义。时至今日,尽管对地观测系统通过多平台观测已经在高空间和时间分辨率遥感影像的获取上取得了重大突破(如SPOT、Landsat、Sentinal-2和中国高分辨率对地观测系统),但是由于硬件和预算的限制,现有的对地观测系统仍然需要在空间分辨率和时间分辨率上进行折中,即单一的遥感卫星无法获得高时空分辨率的卫星影像,从而限制了对地观测数据的应用(参考文献1,如需下载请后台留言索取)。因此,时空影像融合(Spatial and Temporal satellite Image Fusion, STIF)作为一种可行性高、成本低的获取高时空分辨率遥感影像的方法,对促进现有对地观测数据的深度应用是很重要的。
时空影像融合的意义与进展
影像融合可以整合多源遥感影像,比单一卫星影像的数据源获得更多的信息。一个好的STIF算法应当在克服空间分辨率与时间分辨率之间折中的同时,可以重建卫星影像的空间细节,减少频谱失真,排除可能的干扰因素。如今,已经出现了许多针对不同地表时相变化(物候变化和土地覆盖变化)的STIF算法,总的来说可以分为基于加权函数、基于光谱解混和基于字典学习的三类算法,前面两类算法多为预测物候变化而设计,基于字典学习的算法能预测物候变化和土地覆盖变化。这里也列出了针对几种典型的STIF模型的地表变化预测能力和图像处理级别的比较(表一),同时对现有的时空影像融合算法进行了分析(参考文献3,如需下载请后台留言索取)。
STIF算法
物侯变化
土地覆盖变化
处理级别
STARFM
√
N/A
Pixel-level
Semi-physical model
STAARCH
Constrained unmixing
ESTARFM
STDFA
Regularized unmixing
Unified fusion
Operational STARFM
STRUM
SPSTFM
Feature-level
One-pair learning
U-STFM
FSDAF
HSTAFM
Pixel-level and Feature-level
Fit-FC
表一、几种代表性的STIF算法比较
但是现有的STIF算法仍然在以下方面受限:
未综合考虑同质或异质景观中土地覆盖变化的复杂性。这个复杂性包括两种:一种是无形状变化的土地覆盖变化,另一种是有形状变化的土地覆盖变化。
目前大量的STIF算法需要两对或者更多的低-高空间分辨率的影像作为先验图像,但通常由于云污染、传感器老化或故障、卫星任务调度等问题,先验卫星影像的数量不足以满足这个要求。因此这篇文章提出了鲁棒自适应时空影像融合模型。这个模型使用了非局部线性回归(NL-LR)的加权平均模块和基于非局部线性回归(NL-LR)的图像超分辨率模块组成。这两个模块可以分别预测地表的非形状变化(包含无形状变化的土地覆盖变化以及传统的季节性变化)和形状变化(有形状变化的土地覆盖变化)。
时空影像融合技术与定量城市研究:时空影像融合技术可以丰富目前已有的对地观测数据,为下一步定量城市研究提供数据基础。通常研究受限于已有对地观测数据在时、空分辨率上的限制,即高时间分辨率的影像空间分辨率较低,在城市尺度研究时较粗,无法描述城市内部的空间异质性。而高空间分辨率的影像时间分辨率较低,地球表层同样具有时间异质性(如植物的物候变化,城市扩张),因此尽管遥感能快速大面积获取地表信息,却对地球表层的时空异质性描述不足。时空影像融合技术可以在低成本条件下高效地生成高时空分辨率的融合影像,从而丰富了对地观测数据的应用。
二、方法、实验设计
方法
图一、RASTFM的处理流程图
1、相对辐射标准化和逆标准化
由于多源卫星数据在成像时间、大气条件、卫星观测视角、太阳照射角等方面的不同,多源卫星遥感影像的辐射亮度值会存在差异,因此在融合的时候,需要以基准时相为参考,对待预测时相的低分辨率影像做相对辐射标准化以减少其辐射值差异。当得到多源影像融合的合成影像后,再对该影像做逆标准化处理,以还原待预测时相的辐射亮度值。
2、非形状变化预测
该部分是基于NL-LR的加权平均模块处理地表的非形状变化。这种方法主要包括三步:搜索相似的相邻影像块,根据四个权重因子计算相似的相邻块权重,通过加权函数计算预测的高分辨率影像块的像素值,并以该高分辨率影像块的均值作为目标像素值。
3、形状变化检测
形状变化检测主要是为形状变化预测提供参考。通过将预测的非形状变化的高分辨率影像重采样到过渡分辨率,接着进行变化检测得到下一步的形状变化掩膜。
4、形状变化预测
基于NL-LR的影像超分辨率模块以待预测时相的低分辨率影像(有形状变化的区域)为基础,采用两步的非局部邻域搜索策略在基准时相的低分辨率影像上寻找相似的影像块,并映射到基准时相的高分辨率影像上,然用受约束的线性回归来获取这些相似影像块的权重,以预测地表形状变化。预测过程参见图二。
图二、基于NL-LR的形状变化预测
需要注意的是形状变化预测是利用两层框架来重建待预测时相的高分辨率影像,这是由于用来时空融合的影像之间的空间分辨率差异较大(参考文献2,如需下载请后台留言索取)。第一预测层以低分辨率影像为输入,得到过渡分辨率影像,第二预测层以过渡分辨率影像为输入,得到高分辨率影像。每一层的预测主要包括三个步骤:通过光谱和纹理信息搜索相似的影像斑块,根据四个权重因子求取权重,再通过加权平均计算预测高分辨率影像块的值。
5、基于回归的高通调制
由于时空融合过程中使用了加权平均策略,可能导致融合影像有一定的平滑效果。故该研究设计了一种基于非变化集回归(即未发生非形状或形状变化的区域)的高通调制方法对得到的融合影像做进一步的处理,在保证融合结果的光谱精度的同时,亦能抑制图像的平滑效果。
具体方法的详细描述请见(参考文献3,如需下载请后台留言索取)。这里仅作简要概述。
实验设计
1.实验数据描述
STIF的前提是每种类型的数据源在时间维上具有一致性。且低、高分辨率影像观测值之间的偏差是可以接受的。该研究选用的是Landsat-7 ETM+和Terra/MODIS影像。原因包括两个。首先,二者的轨道参数和成像时间相似,在可见光和近红外波长范围内的波段设置较为一致,偏差可以接受;其次,二者的成像质量较好,保证了时间一致性。
该研究选择了4个数据集来验证该方法对不同景观和地表变化的预测能力:(1)一组模拟的卫星影像是具有物候变化、非形状土地覆盖变化、形状变化以及物候-形状变化的影像;(2)两组真实的Landsat-MODIS卫星影像,一组影像具有同质景观物候变化和异质景观非形状土地覆盖变化,另一组影像则是既有物候变化也有形状变化;(3)一组真实Landsat-下下采样MODIS影像,主要具有形状变化。采用下采样MODIS影像的目的是消除多传感器辐射度量和几何精度不一致对时空融合所带来的负面影响,从而更直接地检验时空融合算法本身的精度。
模拟Landsat和MODIS影像的空间分辨率分别为30米和480米,真实的卫星数据为Landsat和MODIS的地表反射率产品(影像来源于USGS https://earthexplorer.usgs.gov/和LPDAAC https://ladsweb.modaps.eosdis.nasa.gov/,MODIS是MOD09的产品)。使用的是Landsat的4,3,2波段,对应MODIS产品的2,1,4波段,分辨率分别为250,250和500米。MODIS4波段(绿波段)通过双三次卷积内插算法上采样到250 米。所有数据均使用UTM WGS84坐标系。
2.方法与算法参数设定比较
表二列出了四种算法中的相关参数,RASTFM和STARFM中移动窗口的含义是相同的。这里设置了两类实验:(1)模拟数据集实验,空间分辨率差距为16倍。(2)三个真实卫星数据集的实验,空间分辨率差距为8倍。移动窗口的设定分别为51×51和23×23。STARFM和FSDAF聚类数量均为20和5。而基于单对影像学习的STIF算法中第一层和第二层的字典大小分别为600,1200和1000,2000。
聚类数量
移动窗口大小
第一层字典大小
第二层字典大小
RASTFM
表二、实验中进行调整的算法参数
3.定量评估指数
该研究选择了STARFM,FSDAF和基于单对影像学习的STIF算法作为对比算法,因这三种算法仅需要一个先验的影像对作为输入,并且具有优秀的物候或土地覆盖变化预测能力。
通过定性和定量的比较来评估融合结果。定性评估使用的是融合影像与真实影像之间的视觉效果差异。定量评估选用了融合影像和真实影像的相关系数(CC)、均方根误差(RMSE)和平均绝对差值(AAD)三个指标来评估光谱的相似性。用结构性相似指数(SSIM)评估影像结构的相似性。CC和SSIM越接近1,RMSE和AAD越接近0,说明融合结果与真实结果越相似。另外,还采用了融合影像和真实影像之间的AAD图来表征预测误差的大小与空间分布。
三、实验结果、讨论与结论
实验结果
1.多种地表变化的模拟数据实验结果
图三展示了四种STIF方法预测的影像和对应的真实模拟Landsat影像的视觉效果比较。
图三、参考模拟影像和四种STIF方法预测结果的对比
参考模拟Landsat影像(a),STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
2.没有形状变化的真实卫星数据的实验结果
图四、五展示了地表没有形状变化情况下四种STIF方法预测的影像和对应的真实Landsat影像的视觉效果比较以及AAD图。
图四、针对对无形状变化的参考Landsat影像和四种STIF方法预测结果的对比。2002年4月26日原始的Landsat影像(a),STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
图五、针对无形状变化的参考Landsat影像和四种STIF方法预测结果之间三个波段地表反射率的平均AAD图的对比。原始的Landsat影像(a), STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)。
3.有形状变化的真实卫星数据的实验结果
图六、七、八展示了地表有形状变化情况下四种STIF方法预测的影像和对应的真实Landsat影像的视觉效果比较、局部放大视觉比较以及AAD图。
图六、针对有形状变化的参考Landsat影像和四种STIF方法预测结果的对比。 2002年11月7日的原始Landsat影像(a),STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
图七、针对有形状变化的参考Landsat影像和四种STIF方法预测结果的局部对比。2000年11月1日的Landsat影像(a),2002年11月7日的Landsat影像(b),STIF结果:STARFM(c),FSDAF(d),单对影像学习(e)和RASTFM(f)
图八、针对有形状变化的参考Landsat影像和四种STIF方法预测结果之间三个波段地表反射率的平均AAD图的对比。原始的Landsat影像(a), STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
4.既有物候变化和形状变化的真实卫星数据的实验结果
图九、十、十一展示了地表既有形状变化也有形状变化的情况下四种STIF方法预测的影像和对应的真实Landsat影像的视觉效果比较、局部放大视觉比较以及AAD图。
图九、针对兼具物候和形状变化的参考Landsat影像和四种STIF方法预测结果的对比。2001年11月11日的原始Landsat影像(a),STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
图十、针对兼具物候和形状变化的参考Landsat影像和四种STIF方法预测结果的局部对比。2001年5月19日的Landsat影像(a),2001年11月11日的Landsat影像(b),STIF结果:STARFM(c),FSDAF(d),单对影像学习(e)和RASTFM(f)
图十一、针对兼具物候和形状变化的参考Landsat影像和四种STIF方法预测结果之间三个波段地表反射率的平均AAD图的对比。原始的Landsat影像(a), STIF结果:STARFM(b),FSDAF(c),单对影像学习(d)和RASTFM(e)
结果部分:此外,定量评价的结果显示(见图十二,更为具体的参照原文)RASTFM在整体上具有更高的预测精度,能较好地预测到物候变化和形状变化,同时光谱信息损失较少。单对影像学习方法在形状变化上具有较好的预测性,但是其结果的光谱信息有一定程度的畸变,STARFM方法针对形状变化的预测结果欠理想,FSDAF稍优于STARFM,但这两种方法针对物候变化的预测能力较好。在不同景观中不同类型地表变化的情况下,各种STIF方法都能在一定程度上融合多源影像的时空信息,但是具体表现各不相同,详细结果可以参照原文(参考文献3,如需下载请后台留言索取)。
图十二、所涉及的STIF算法在不同波段上定量指标的总体对比。
讨论
讨论部分:作者通过综合考虑地表的物候变化和复杂的土地覆盖变化,提出了RASTFM来解决各种景观中的复杂地表变化,该算法仅需一对先验的低-高分辨率影像就能生成可靠的高分辨率时间序列影像。作者将RASTFM与STARFM,FSDAF和单对影像学习方法进行了比较,证明了RASTFM在对复杂地表变化的时空融合中具有优越性。该算法的优点主要包括:
(1)是具有非形状和形状变化模块的像元级和特征级STIF方法的组合;
(2)所提出的NL-LR理论将影像的非局部相似性和局部结构规律集成到一个模型中,实现了更精确和稳健的估计;
(3)基于NL-LR的非形状变化预测模块继承和推广了STARFM预测框架的优势,同时克服了它的局限性(相似相邻块的选择与权重计算),从而获得了更可靠的相似性邻近图像块及对应权重;
(4)在特征级的形状变化预测模块中使用了基于NL-LR的两层影像超分辨率重建方法,强化了光谱和几何结构的相似性,保证了权重的精确性和鲁棒性;
(5)基于回归的高通调制消除掉了由于加权平均所导致的影像平滑效果。
结论
作者提出了一个鲁棒的STIF模型(RASTFM),用于在仅有一对可用的低-高分辨率影像的情景下融合多时空分辨率的卫星影像。将NL-LR理论、图像超分辨率重建方法、以及经典的STIF算法(STARFM)结合起来,从而形成了一个综合的时空融合理论框架,并基于这些理论来处理不同景观中复杂的地表变化。此外除了本文所选取的Landsat-MODIS之外,其他具有相似波段设置和轨道参数的传感器所获得的卫星影像也适用。如Sentinel-2A/B MSI和Landsat-8 OLI。该模型结合当前的STIF理论和相关的图像超分辨率重建理论推进了时空融合算法的研究,同时也为自然或人为因素所引起的复杂地表变化的连续监测提供了更好的数据源。然而,虽然该方法已经被证实了有较好的稳健性和预测性能,但在微小的地表变化预测、不确定性分析方面仍有进一步的改进空间。尽管随着对地观测系统的发展,有越来越多可用的中、高分辨率卫星影像,但是云污染依旧是对地观测数据来源的大问题,通过STIF 能够在一定程度上弥补云污染对高分辨率影像的可用性所带来的影响。同时各类用户对高时空分辨率卫星影像的需求也在日益增加,比如高空间分辨率的地表温度日循环监测、城市地区的空气污染实时监测、多尺度的地表日蒸散发监测。所以,在此背景之下STIF依旧有其现实意义,但是STIF并不能替代实际的卫星传感器。
小编惊叹于这篇文章所提出的STIF模型理论框架的严密,对经典的STIF理论和图像处理领域兴起的图像超分辨率重建框架的深刻理解以及完美地结合,同时应用二者在STIF过程中对复杂的地表变化(尤其是土地覆盖的非形状和形状变化)进行预测,这也是该篇文章的最主要创新点。同时用来比较的其他STIF算法涵盖了目前STIF研究领域的前沿算法,可以说在遥感影像时空融合领域是一篇重要的文章。而文章目前的缺憾,仍旧集中在对Landsat和MODIS影像的融合,暂时没有涉及到其他的卫星影像;另外关于STIF的数据支撑对地观测的应用也谈得较少。
点击阅读原文报名沙龙
一览众山小●为本文提供
资料
下载
索取请电邮 Daizongliu@qq.com
或微信号 后台留言
1、《多源卫星遥感影像时空融合研究的现状及展望》
2、《基于对图像学习的时空卫星图像融合》
3、《复杂地表变化的鲁棒自适应时空图像融合模型》
免费索取英文原文资料:
联系微信公众号
或电邮 Daizongliu@qq.com
我们帮助中国
可持续发展
城市规划|城市交通|非机动交通
|活力街区与公共交通|
|量化城市与大数据|
我们作为专业志愿者团体
秉承理想,帮助中国可持续发展,并为之贡献
? 理念与传播 ?
? 培训与教育 ?
? 实践与孵化 ?
欢迎加入我们
2014-2018 ? 转载请注明:源自公众号“”