Awesome

GMN-Generative-Matching-Network

paper：Deep Generative Matching Network for Optical and SAR Image Registration（IEEE GARSS 2018已发表（7.26））
IGARSS会议论文
patent：基于深度卷积GAN的光学和SAR图像配准方法（申请号：201810276562.7）

创新点：

（1）生成网络能自动生成有标签的训练数据，不需人工标注。为保证转换的图像更接近真实图像，生成器训练时有多重约束：对抗约束、像素级约束、重构约束。
（2）数据扩充方法增加了训练样本的数量和多样性，满足神经网络训练的要求，提升了匹配预测网络的整体性能；
（3）匹配网络提取图像块对潜在的相关特征，直接得到图像块对的匹配标签（匹配的概率值），不需要考虑特征匹配度量的问题。

概述：

1、 背景： 图像配准主要是应用在图像融合、变换检测、目标识别、跟踪等领域。对于同一场景，不同传感器从不同视角得到的异源图像，包含大量的互补信息，这对获取完整的图像信息十分有利，比如可见光和SAR图像、可见光和近红外图像，后者都能弥补前者的缺陷。成像机制不同使得异源图像包含大量互补信息，但也造成图像结构特征的差异 ，比如图像appearances、结构、表征等，基于手工提取的特征很难度量他们的相似性，因此就想到利用CNN来挖掘学习异源图像间潜在的关系。神经网络学习需要大量的训练样本调整参数，但在遥感图像中，同一场景的异源图像较少，可直接获得的有标签的训练数据就更少了，同时人工标记样本的代价又较大。因此，我们需要解决的关键问题就是如何获得大量的训练数据，以及所对应的标签。

2、 论文采用的方案是，使用多重约束的GAN网络学习可见光和遥感SAR图像之间的映射关系，然后利用训练好的模型扩充训练样本的数量和多样性，之后使用神经网络提取特征进行图像块的匹配预测。 之所以想到用GAN网络增加训练样本的数量和多样性，一是，因为同一场景的异源图像较少，但不同场景的图像较多，所以就想怎么把这部分数据利用起来；二是，训练样本的人工标注成本较高，利用GAN网络可以直接得到有标签的训练数据，不需人工标注。

3、 具体方法是：构建两个生成器网络，分别用于学习光学图像和遥感SAR图像之间的映射关系。 就是生成器1将光学转换为SAR，生成器2将SAR转换为光学图像。使用有限的匹配好的异源图像数据训练这两个生成器网络，学习得到异源图像之间的映射关系，之后将一些没有匹配的光和SAR数据输入到对应的GAN中进行转换，得到对应的SAR和光学图像，从而得到大量有标签的训练数据，增加样本多样性。

4、 将扩充后的数据集训练匹配网络双分支MatchNet ，直接得到匹配标签（匹配的概率值），不需要考虑特征匹配度量的问题。这种数据处理方法不仅可以实现正确的配准，数据集上测试匹配率为97.2%，比MatchNet提高了7.4%，同时很显著的提高了异源配准精度，达到亚像素水平。

5、 创新点是怎么让生成器更好的学习异源图像之间的映射关系，生成更接近真实的训练样本图像，约束包括三个：对抗约束、像素级约束和重构约束。 重点是，为了使生成的fake图像更接近真实图像，我们使用三重约束：
（1）分布约束 —> 对抗损失
（2）像素级约束 —> mapping损失
（3）重构约束 —> 重构损失

（1）对抗损失：让生成器生成的fake图片更真实，判别器无法分辨那是fake图片。

（2）mapping损失：让生成器生成的fake图片，在像素级别上与真实图片更接近。

（3）重构损失：让生成器生成的fake图片，能通过这两个生成器转换回原来的图片，该约束将两个生成器进行关联