【干货】陶霖密：多光谱、超光谱遥感图像处理

本讲座选自清华大学计算计系副教授陶霖密于2015年11月26日在RONG v2.0---“图形图像处理与大数据技术”论坛上所做的题为《多光谱、超光谱遥感图像处理》的演讲。

大家下午好，下午已经有两位老师谈了多光谱图像的获取，还有偏振光图像的获取。对我们来说都是一样的高维图像数据。

这里大致是四个主要的内容。

从图像的角度看，超广谱图像多了一维，这一维原来的RGB图像只是三层，超广谱图像是200多层。

这是彩色图像，473纳米，621和777纳米上分别有三幅图像。卫星获取到的超广谱图像一共有200多个，每一个像素取出来数值变化就是图中右侧的曲线，四个像素得到四个曲线。这个曲线的维度就是刚才说的多出来的一维，物体表面的光谱反射情况。

这个数据已经应用在水利、土地规划、军事应用等多种领域，我的巴基斯坦学生回国后，也要在相关领域工作。

它跟原来的图像相比，信息量更大了，处理的难度增加了。在这种情况下对我们的处理来讲，首先是维度增加了，从XY的二维图像变成了三维图像。其次是可以训练的带人工标注的数据非常少。刚才水利系的老师讲，想用深度学习的方法在图中找大坝，但是可供学习的数据太少，即使把所有大坝的超光谱图像全找来，用这些数据来训练学习模型，这些数据也是相对少的。它的真值获取非常困难。因为高光谱图像变成两百维了，人眼很难从这两百维图像里找到目标，因此，真值的获取非常困难。

同时这些数据是空间和光谱相关联的。内部存在大量冗余信息，这些冗余信息对我们是干扰信息，需要先把冗余的数据去掉，再做下一步处理。卫星获取的高光谱图像，获取的高度非常高，地表的情况相对来讲非常复杂，去除噪声的干扰对于图像处理来说是富有挑战性的问题。

高光谱图像里一个像素，相当于地面的数米至数十米，或者上百米。因此，一个象素包含地面上的很多东西，它反射的光谱是这些东西的综合光谱，这个光谱会在我们分类的过程中带来非常大的干扰。总的结果就会造成非常高的计算复杂性，所以高光谱图像处理需要寻找一种比较可靠、快速的计算方法。

这是我们研究和发表文章时用的公用数据库，从这个数据库中可以看到，人工只能标注出来的一些大的建筑等地面目标，图中黑色区域是人工标注不出来的地方。主要是这区域太复杂了，地面上目标的性质未知，所以这个地方是黑的。我们的研究目标就是想要知道这里面到底有一些什么东西，把这些东西全找到。

在人工标注样本非常少的情况下，我们做高维图像中目标的识别，因为机器学习的代价太高，我们选用解析的方法解决这个问题，这是一个稳定的算法。

最后，我们需要提供一个比较好的分类结果，说明像素里到底是什么。先说传统的做法，一个高光谱图像来了，有光谱的特征，两百个数，这是曲线，空间的特征相对来说是一致的。做特征选择和特征融合，再做分类，结果的输出就是把地块划分出来。一般情况下还需要迭代几次，通过迭代的方法慢慢求真、求精，把这个东西做出来。

我们在这个基础上提出了现在的方法，我们第一件事情就是不降维直接做。

我们的主要贡献是做了一个噪声模型和噪声估计，这是传感器和图像处理中最基本的工作。到底哪些是噪声？它形成的原理是什么？以及我如何去掉它？有了噪声理论和噪声模型，我们才能接着往下做处理，把噪声通道去掉，然后再去做自动的分割，自动的把地面目标分割出来。一般情况下你人工的把小的区域划出来是很不准的。因为那个象素还含有一些别的东西。自动分割相对比人工做的结果要好一些。为了做的快，使它的算法能够在实际系统中应用，当然不能采用机器学习这种相对比较耗计算量的方法去做。传统的做法是图像过来，我直接提取它的频率特征，用稀疏编码的方法，或者压缩传感的方法直接分类。我们以前的工作，只要有三五个样本，或者说是三五个像素，我就能够通过这三五个像素找到跟这些象素类似的东西。比如刚才大坝的例子，你只要在一些超光谱图像中，指出哪些东西是大坝，我就能够在新的超光谱图像中，把其中的大坝找出来。

这种方法的好处是样本的数量很少，但是分割的准确率不是太高，因为边缘的地方有的是混在一块的。这里面有噪声干扰，我们新的工作是在传统的做法中插入一个噪声估计，把全是噪声的通道去掉。就是先把两百维里面没有信息的通道去掉。这是它的成像模型，光源进来以后，辐射照到地面再反射到传感器，这个辐射有云的慢散射、云的吸收、地表自己的辐射。所有这些东西都会跑到传感器里面去，这些东西加起来就变成了我们的成像模型，从这个成像模型我们要估计这里面的噪声来源是什么，噪声性质是什么。

在这个基础上我根据各种性质的噪声进行建模，建了噪声模型以后，我就可以估计出哪些通道中的哪些东西是噪声。先把这些噪声去掉，我们才能接着往下做分割的事情。

具体怎么办？这是一个图像，这个图像中有两百多个波段，先把这个波段分组，这是我们比较常见的工作。

我们不采用压缩的方法，五个、十个分成一组，临近的通道有很大的相关性，相关性的信息是相似并且冗余的。我们刚好利用这个相关性去增强信息。利用这个相关性可以去掉噪声，因为噪声是不相关的。临近的五个至十个频道分成一组，分成这样的55组、20组、15组，每组随机的撒一些点做网格化，如果网格是在某个东西的中间，这是一片平地，两边都是一样的，这个网格就不动，如果网格边缘是不一样的，就向不同的方向移动，这些网格的边缘不断的移动，移动完了以后就会得到这些东西。有些地方移动得多，有些地方移动得少。有些图像上面还有一些信息，得出来的就是这样的。有些图像上面什么信息都没有，这样就可以把噪声找出来。这两个都是有信息的，这两个是没有信息的，结果就是这样的，在这里面，网格几乎没有动，因为他初始化就是这样。这边有大的内容，这边有小的内容，小的地方没有动。

我们给出一个噪声衡量系数。到底哪个地方有噪声，可以看到这里面有很强的噪声，这里有很好的结构化信息。我们可以做一个域值，这个包含了很好的结构信息、地表信息。中间那些图像、波段含有大量的噪声，下面那些图像主要是以噪声为主的图像，没有用。我们直接可以把这个卫星图像中的通道分成三等，其他的就不用往上传了。这样可以很快的把数据区分开来。

第二部分是把有信息的部分分割开，初始分割得到的分割结果很乱，如何处理这些乱七八糟的分割结果。需要有一个融合的方法，把各种各样分割的结果融合在一块，得到一个具体的分割结果。

右边图这是融合结果，左边这是人工标注的结果。我们可以很自豪的说我们的结果比人工标注出来的结果要好很多。

这是我们的结果，我们可以把它放大了看，这个要精确得多。找到这个区域的变化，夏天到冬天，那个树长了没有，那个东西移了一个象素，我们可以很准确的找出来。如果没有这个分割，整体的滑坡或者移了一个象素，传统的方法是找不出来的。我们这个东西精确到象素级别，或者亚象素级别，我们就可以给它找出来。

同样的方法我们可以用在视频处理中，视频是一个时间段内的图像，一秒钟三十桢，每一桢三个通道。我们现在大量的手机产生的视频，只要光线不好，产生的图像都会带有很大的噪声，这样的我们就去掉这个噪声，噪声这些东西根本不传，不要它了。

这是根据噪声模型做的结果。我们提出来的不是视频的噪声度量系数，而是去度量其中的结构化信息，哪些地方有结构化信息，哪些地方没有结构化信息，用结构化的方法把噪声找出来，把人分割出来，从而使视频传输或者压缩的效率大大提高。