持续预训练构建地理空间基础模型
地理空间技术在全球的重要性与日俱增。通过更好地理解地球不断变化的景观以及我们与环境之间复杂的相互作用，这些技术帮助我们应对复杂的全球性挑战。随着地理空间数据量的增长，研究人员正在探索如何将深度学习的全部力量应用于数据分析。
在人工智能（AI）领域，基础模型已成为一项变革性技术，在计算机视觉和自然语言处理等领域展现出无与伦比的性能。然而，当现有的图像嵌入模型被适应到地理空间领域时，由于自然图像和遥感数据之间的固有差异，它们往往表现欠佳。另一方面，从头开始训练特定于地理空间的模型资源密集、耗时且环境成本高昂。
在我们发表于2023年国际计算机视觉大会（ICCV）的近期工作《通过持续预训练迈向地理空间基础模型》中，我们展示了如何在控制资源需求的同时，构建更强大的地理空间基础模型。我们没有遵循常规方法，而是探索了持续预训练的潜力，即通过第二阶段的预训练，为特定领域进一步精炼现有的基础模型。精炼后的模型随后可以在其领域内针对各种下游任务进行微调。
在测试中，我们将我们的方法与六个基线模型在七个下游数据集上进行了比较，这些数据集涵盖了变化检测、分类、多标签分类、语义分割和超分辨率等任务。在所有七项任务中，我们的方法都显著优于基线模型。
我们的方法有潜力通过利用大规模的ImageNet表征作为基础，在其之上构建强大的地理空间模型，从而提升性能。计算机视觉社区不断改进自然图像模型，这为获得性能更好的基线模型提供了持续的源泉。我们的方法为地理空间模型利用这些进步打开了一扇大门，同时消耗最少的资源，最终为地理空间社区带来可持续的益处。
GeoPile数据集
构建有效的基础模型始于数据选择。用于预训练地理空间模型的常见数据源是哨兵-2号（Sentinel-2）卫星数据。然而，仅仅拥有大量此类图像是不够的。
为了预训练我们的地理空间模型，我们采用了基础模型标准的自监督学习方式：在一个称为掩码图像建模（MIM）的过程中，我们掩码掉输入图像的元素，模型学习将其填充。但在这种情境下，哨兵-2号数据中复杂性和变化性的缺乏可能使得重建任务过于简单。
为了应对这一挑战，我们整合了来自五个开源数据集的数据——包含有标注和无标注的图像——生成了一个多样化的地理空间预训练数据集，我们称之为GeoPile。为了确保纹理细节，我们设定了多种地面采样距离（GSD），包括分辨率远高于哨兵-2号（其GSD为10米）捕获的图像。此外，有标注的数据集涵盖了来自通用遥感场景的各种图像类别，确保了样本间的视觉多样性。
地理空间基础模型的持续预训练范式
先前许多关于地理空间基础模型（GFM）的研究忽视了现有的自然图像模型。相反，我们认为，利用这些模型中编码的知识，应该能够以最小的开销产生强大的性能。为此，我们提出了一种无监督、多目标的训练范式，用于地理空间模型的高效预训练。
我们的GFM持续预训练范式是一种师生网络方法，使用两个并行的模型分支。教师网络（FT）具备ImageNet-22k初始化的丰富知识，并在训练期间作为指导力量。学生网络（FS）从零开始，最终演变成最终的地理空间基础模型。
这种范式实现了理想的双重优化。从教师网络中间特征的蒸馏确保学生能够受益于教师的多样化知识，从而用更少的时间学习更多。同时，通过其自身的MIM预训练目标，学生被赋予适应领域内数据的自由，收集新的特征以提升性能。
结论
这项工作证明了通过持续预训练利用现有自然图像模型的力量来构建强大的地理空间基础模型的可行性。所提出的方法、GeoPile数据集和训练范式为解决地理空间领域深度学习资源密集型的挑战提供了一条可持续的途径。该方法在多项任务上的显著性能提升，为地理空间分析领域更高效、更强大的AI应用铺平了道路。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
