近期,武汉大学携手蚂蚁集团,在遥感技术领域取得了突破性进展,共同推出了SkySense++——一款全新的语义增强遥感大模型,其性能之全面,被誉为“十二边形战士”,相关研究成果已在《自然·机器智能》这一国际权威期刊上发表。
在遥感基础大模型的应用过程中,面对复杂多变的地球观测场景,诸如多模态遥感影像数据的高效融合、下游任务对大量微调数据的依赖,以及遥感语义信息的深度挖掘等问题,一直是制约技术发展的瓶颈。为此,研究团队在原有SkySense多模态遥感大模型的基础上,进一步研发出了SkySense++。
SkySense++的预训练过程采用了两阶段渐进式学习策略,数据基础来自于11个卫星载荷提供的2700万组多模态遥感影像。这一创新方法显著降低了大模型对复杂微调流程和大量标注数据的依赖,大幅提升了其实用性和泛化能力。
为了全面验证SkySense++的性能,研究团队在农业、林业、灾害管理等七大领域的12种典型地球观测任务中进行了深入评估。评估结果显示,SkySense++在所有任务中均展现出了卓越的性能,超越了其他同类模型。
具体而言,在与同期最先进方法的对比中,SkySense++在全量微调分类与检测任务上的平均精度提升了4.79%,在少样本提示分割任务上的平均交并比更是提升了14.08%。这一显著的性能提升,无疑为遥感技术的应用开辟了更加广阔的空间。
SkySense++的前身SkySense曾在国际计算机视觉顶级会议CVPR上发表,并在2024年世界人工智能大会上惊艳亮相。而此次SkySense++的发布,不仅在农业生产评估、灾害应急响应、国土资源监测等任务中展现出了更加优异和稳定的性能,还新增了免微调部署能力,进一步提升了其实用价值。