🌞欢迎来到AI环境的世界
🌈博客主页:卿云阁💌欢迎关注🎉点赞👍收藏⭐️留言📝
🌟本文由卿云阁原创!
🌠本阶段属于练气阶段,希望各位仙友顺利完成突破
📆首发时间:🌹2025年3月22日🌹
✉️希望可以和大家一起完成进阶之路!
🙏作者水平很有限,如果发现错误,请留言轰炸哦!万分感谢!
目录
Unet
Paper:https://arxiv.org/pdf/1912.12132.pdf
Code:暂无
[引用] Agrawal S, Barrington L, Bromberg C, et al. Machine learning for precipitation nowcasting from radar images[J]. arXiv preprint arXiv:1912.12132, 2019.
高分辨率的短时天气预报对于有效应对气候变化,尤其是极端天气,是一种必不可少的工具。
由于深度学习(DL)技术在许多领域,包括地球科学,已经显示出巨大的潜力,因此我们提出了
DL在降水现在预测问题上的应用,即高分辨率(1公里×1公里)短期(1小时)降水预测。我们将
预报视为图像到图像的转换问题,并利用广泛使用的U-Net卷积神经网络的强大能力。与三种常用
模型:光流、持续性和NOAA的数值一小时HRRR现在预测相比,我们发现这种方法的性能表现较好。
SmaAt-UNet
Paper地址:https://arxiv.org/abs/2007.04417
Code地址:https://github.com/HansBambel/SmaAt-UNet/tree/master
[引用] Trebing K, Staǹczyk T, Mehrkanoon S. SmaAt-UNet: Precipitation nowcasting using a small attention-UNet architecture[J]. Pattern Recognition Letters, 2021, 145: 178-186.
气象预测主要由数值天气预报所主导,它试图准确建模大气的物理特性。数值天气预报的一
个不足之处在于它缺乏使用最新可用信息进行短期预报的能力。通过使用基于数据驱动的神经网络
方法,我们展示了可以生成准确的降水现在预报。为此,我们提出了SmaAt-UNet,这是一种高效
的卷积神经网络,基于众所周知的UNet架构,配备了注意力模块和深度可分离卷积。我们使用荷
兰地区的降水图和法国云覆盖的二进制图像对我们的方法进行了评估。实验结果显示,就预测性能
而言,所提出的模型与其他检验的模型相当,但只使用了可训练参数的四分之一。
TransUNet
Paper:https://arxiv.org/abs/2102.04306
Code:https://github.com/Beckschen/TransUNet
[引用] Chen J, Lu Y, Yu Q, et al. Transunet: Transformers make strong encoders for medical image segmentation[J]. arXiv preprint arXiv:2102.04306, 2021.
医学图像分割是开发医疗保健系统的基本前提,特别是用于疾病诊断和治疗规划。在各种医学
图像分割任务中,U形架构,也称为U-Net,已经成为事实上的标准并取得了巨大成功。然而,
卷积操作的固有局部性,U-Net通常在明确建模远距离依赖性方面存在局限性。Transformer是为序
列到序列预测而设计的替代架构,具有内在的全局自注意机制,但由于低级细节不足,可能导致局
部化能力有限。
在本文中,我们提出了TransUNet,它兼具了Transformer和U-Net的优点,作为医学图像分割
的强大替代方法。一方面,Transformer对来自卷积神经网络(CNN)特征图的令牌化的图像块进
行编码,作为提取全局上下文的输入序列。另一方面,解码器会对编码特征进行上采样,然后与高
分辨率的CNN特征图相结合,以实现精确的定位。
我们认为Transformers可以作为医学图像分割任务的强大编码器,结合U-Net可以通过恢复局部
空间信息来增强更细节的细节。TransUNet在不同的医学应用中包括多器官分割和心脏分割等方面
出优越性能,胜过了各种竞争方法。代码和模型可在 https://github.com/Beckschen/TransUNet 获取。
AA-TransUNet
Paper地址:https://arxiv.org/abs/2202.04996
Code地址:https://github.com/YangYimin98/AA-TransUNet/tree/main/Models
[引用] Yang Y, Mehrkanoon S. Aa-transunet: Attention augmented transunet for nowcasting tasks[C]//2022 International Joint Conference on Neural Networks (IJCNN). IEEE, 2022: 01-08.
近年来,基于数据驱动建模的方法在许多具有挑战性的气象应用中引起了广泛关注,包括天
气要素预测。本文介绍了一种基于TransUNet的新型数据驱动预测模型,用于降水短时预报任务。
TransUNet模型将Transformer和U-Net模型结合在一起,在医学分割任务中已经成功应用。在这
里,TransUNet被用作核心模型,并进一步配备了卷积块注意模块(CBAM)和深度可分离卷积
(DSC)。
提出的Attention Augmented TransUNet(AA-TransUNet)模型在两个不同的数据集上进
行了评估:荷兰降水图数据集和法国云覆盖数据集。所得结果显示,提出的模型在两个测试数据集
上均优于其他受查模型。此外,提供了对提出的AA-TransUNet的不确定性分析,以提供有关其预
测的额外见解。
Rainformer
Paper:论文链接
Code:GitHub - Zjut-MultimediaPlus/Rainformer: Pytorch implementation code of Rainformer
[引用] C. Bai, F. Sun, J. Zhang, Y. Song and S. Chen, "Rainformer: Features Extraction Balanced Network for Radar-Based Precipitation Nowcasting," in IEEE Geoscience and Remote Sensing Letters, vol. 19, pp. 1-5, 2022, Art no. 4023305, doi: 10.1109/LGRS.2022.3162882.
降水短临预报是自然灾害研究中的基本挑战之一。高强度降雨,尤其是暴雨,会导致人们财
产的巨大损失。现有方法通常利用卷积操作提取降雨特征,并增加网络深度以扩展感受野以获得虚
假的全局特征。
虽然这种方案简单,但只能提取局部降雨特征,导致对高强度降雨不敏感。
本文提出了一种名为Rainformer的新型降水短临预报框架,其中提出了两个实用组件:
全局特征提取单元和门控融合单元(Gate Fusion Unit, GFU)。
前者依赖于基于窗口的多头自注意(Window-based Multi-head Self-attention, W-MSA)机
制,提供了强大的全局特征学习能力,而后者提供了局部和全局特征的平衡融合。
Rainformer具有简单而高效的架构,并显著提高了降雨预测的准确性,尤其是对高强度降
雨。它为实际应用提供了潜在解决方案。
实验结果表明,Rainformer在基准数据库上优于七种最先进的方法,并为高强度降雨预测任
务提供了更多见解。
Conditional Generative Adversarial 3-DConvolutional
Paper:IEEE Xplore Full-Text PDF:
Code:暂无
[引用] Wang, Cong, et al. "Using conditional generative adversarial 3-D convolutional neural network for precise radar extrapolation." IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing 14 (2021): 5735-5749.
雷达回波外推是气象服务中的基本但必不可少的任务。它可以以高时空分辨率的方式提供雷达
回波预测结果,而且在计算效率上能够有效增强气象灾害的运营系统预测能力。传统方法通过估计
相邻雷达数据之间的回波运动来进行外推。这种策略难以有效表征复杂的非线性气象过程,并且难
以从大量历史数据中受益。最近,机器学习(ML)模型已经用于雷达回波外推。这些方法以数据
驱动的方式和从统计角度有效地提高了外推质量。尽管基于ML的方法表现出色,但它们通常会产
生模糊的外推结果。这导致了对雷达回波强度的低估,使回波缺乏小尺度细节。此外,这也使得
难以预测严重的对流性危险。为了解决这个问题,提出了一种基于三维卷积神经网络和条件生成对
抗网络的两阶段外推模型。这两个模型构成了“预外推”和“后处理”的范式。预外推模型以传统方式
进行训练,执行粗略的外推。后处理模型使用预外推结果作为输入,并采用对抗策略进行训练。它
可以校正回波强度并增加回波的细节。在实验中,我们的模型可以提供比其他方法更精确的雷达回
波外推,特别是对于强回波和对流系统,在2015年至2016年的中国北部数据中。
NowcastNet
Paper:Skilful nowcasting of extreme precipitation with NowcastNet | Nature
Code:Code Ocean
[引用] Zhang, Y., Long, M., Chen, K., Xing, L., Jin, R., Jordan, M. I., & Wang, J. (2023). Skilful nowcasting of extreme precipitation with NowcastNet. Nature, 619(7970), 526-532.
极端降水是气象灾害的重要因素,因此迫切需要通过高分辨率、长时间预报和局部细节的精准
短期预报来减轻其社会经济影响。当前的方法存在模糊、衰减、强度或位置误差,基于物理的数值
方法在捕捉关键的混沌动态(如对流起始)时面临挑战,而数据驱动的学习方法则未能遵循内在的
物理法则(如平流守恒)。我们提出了 NowcastNet,这是一种针对极端降水的非线性短期预报模
型,将物理演变方案与条件学习方法统一到一个端到端的神经网络框架中,通过优化预测误差进行
训练。基于来自美国和中国的雷达观测数据,我们的模型能够生成物理上合理的降水短期预报,在
2,048 km × 2,048 km 的区域内呈现清晰的多尺度模式,并具有最长达 3 小时的预报时效。在中国
62位专业气象学家的系统评估中,我们的模型在 71% 的案例中在领先方法中排名第一。 NowcastNet 在轻到强降雨强度下提供了精准的预报,特别是对于以平流或对流过程为伴的极
端降水事件,这些事件在之前被认为难以处理。
NowcastingGPT
Paper:Extreme Precipitation Nowcasting using Transformer-based Generative Models
[引用] Zhang, Y., Long, M., Chen, K., Xing, L., Jin, R., Jordan, M. I., & Wang, J. (2023). Skilful nowcasting of extreme precipitation with NowcastNet. Nature, 619(7970), 526-532.
随着气候变化的加剧,极端降水事件的发生频率增加,这对社会和基础设施带来了巨大影
响。因此,准确预测短期降水变化变得愈加重要。**短时降水预报(Nowcasting)**通常指的是在
接下来的六小时内进行降水变化的预测,尤其对于迅速变化的强降水事件具有重要意义。本文提出
的NowcastingGPT模型利用Transformer架构和极值损失函数(EVL)来改进极端降水事件的预
测,特别是在捕捉极端天气事件的动态变化上。
GA-SmaAt-GNet
GA-SmaAt-GNet: Generative Adversarial Small Attention GNet for Extreme Precipitation
短时降水预报,特别是极端降水事件的预报,一直是气象学中的难题。传统的数值天气预报
(NWP)方法计算量大,且在处理小尺度的对流性降水时存在局限性。近年来,基于深度学习的
模型,尤其是卷积神经网络(CNN),在降水预报中表现出了良好的前景。然而,极端降水事件
由于其非线性和复杂性,仍然是深度学习模型面临的主要挑战。因此,作者提出了一种新的基于生
成对抗网络的架构GA-SmaAt-GNet,旨在提高极端降水事件的预报精度。
GA-SmaAt-GNet架构
GA-SmaAt-GNet架构的核心是将SmaAt-GNet作为生成器,并结合一个注意力增强型的判别
器。具体而言,GA-SmaAt-GNet包括以下几个关键部分:
SmaAt-GNet生成器:这是对传统SmaAt-UNet架构的扩展。其主要创新在于引入了一个额外的编
码器,用于处理二值化的降水掩码(即二值化的降水图)。这种掩码提供了额外的信息,帮助网络
更好地理解特定强度降水的位置。
生成对抗网络(GAN):生成器通过GAN的方式进行训练,生成更接近真实数据的降水图。判别
器则利用**CBAM(Convolutional Block Attention Module)**注意力机制来关注数据中的关键区
域,从而提高判别能力。
条件生成对抗网络(cGAN):GA-SmaAt-GNet使用了cGAN架构,通过输入条件信息(如降水
图)来指导生成器的输出,使其能够生成符合预期的降水模式。
Pangu-weather
英文名:Improvement of disastrous extreme precipitation forecasting in North China by Pangu-weather AI-driven regional WRF model
引用:Xu, Hongxiong, et al. "Improvement of disastrous extreme precipitation forecasting in North China by Pangu-weather AI-driven regional WRF model." Environmental Research Letters 19.5 (2024): 054051.
近年来,极端降水事件(Extreme Precipitation, EP)在全球范围内频繁发生,给社会经济和生
态环境带来严重影响。传统数值天气预报(NWP)在预测中小尺度降水事件时存在局限性,主要
原因包括:分辨率较低,难以捕捉局地对流降水特征。回归算法的局限性,导致极端降水预测不准
确。降水变量的不确定性,影响预测精度。
DTCA
引用:Li, ChaoRong, et al. "Precipitation Nowcasting Using Diffusion Transformer with Causal Attention." IEEE Transactions on Geoscience and Remote Sensing (2024).
短时降水预报挑战
传统数值天气预报(NWP)在细尺度、对流性降水预报上存在初始条件不足和计算资源限制
等问题。而传统深度学习方法(例如基于 U-Net 的模型)虽然在图像任务上表现良好,但在捕捉
长时空依赖、全局信息以及条件与预测结果之间的因果关系上存在不足。
生成模型与扩散模型优势
为了解决过于平滑和不够多样的问题,近年来生成模型(例如 GAN、VAE、扩散模型)被引
入降水预报任务。扩散模型在稳定性、生成质量和多样性上展现出明显优势,并且通过学习数据分
布来实现条件采样,从而生成更真实的预报结果。
其它的天气
台风路径智能预测×时空Transformer + 多模态融合
强对流天气识别×三维卷积网络(3D-CNN) + 光流特征提取
气候模式降尺度×生成对抗网络(GAN) + 物理约束
大气污染溯源×图神经网络(GNN) + 轨迹反演
干旱监测预警×多任务学习 + 植被指数融合
积雪融化预测×时序卷积网络(TCN) + 能量平衡模型