PhyDNet：Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction

最新推荐文章于 2024-02-26 19:26:34 发布
最新推荐文章于 2024-02-26 19:26:34 发布
阅读量2.7k 收藏 5
点赞数 2
分类专栏： paper reading
原文链接：https://blog.csdn.net/ygfrancois/article/details/106695500
版权

参考博客来源： link


主要思想是试图用深度网络构建物理约束模型，方法是用卷积模拟偏导，用moment loss作监督，学到物理信息，从而对已有的网络（文中使用ConvLSTM）进行信息补充。

在这里插入图片描述
如图，右边为已有深度网络可以捕捉到的信息，本文试图使用深度网络通过偏微分方程来建模先验物理知识，即左边的信息。最后将物理信息和已有信息结合获得更好的结果。

在这里插入图片描述
在这里插入图片描述
本文主要创新点在PhyCell，该单元的计算公式：

在这里插入图片描述

E（u）表示的是对输入真实帧的encode，ht为t时刻隐变量，Φ(h(t, x))是隐变量对空间每个像素点的偏导和，该公式与很多物理模型公式类似，如热力学方程、波动方程、对流扩散方程等。

在这里插入图片描述

Kt也是由网络学出来。该式可以改写成以下公式：

在这里插入图片描述

式（6）被认为是通过数学模型推算出的数值，式（7）则被认为是基于数据训练对数学模型进行的修正，其中K公式如下：

在这里插入图片描述

七价铬
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[] - 2023-01-30 天池大赛-江苏气象AI算法挑战赛亚军方案分享.pdf
12-06
kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，kaggle教程，方案分析，竞赛资料，竞赛方案参考，
短临降水预测ConvLSTM实验_基于OpenStl
weixin_45703367的博客
10-17 404
测试：任务为输入过去10帧图像预测未来的10帧图像，而在本次实验中使用的是10 to 1的模式，所以需要构建两个数据集，一个是训练所用使用group为11的滑动窗构成，另外一个为group为20的滑动窗口构成的。数据集准备：使用ConvLSTM进行训练时，我发现使用10 to 10的训练方式效果没有滑动窗的预测效果好（不排除是我的参数配置存在问题），就是使用第1~10张图像去预测第11张，也就是10 to 1 的模式，这数据集处理时需要使用一个group为11的窗口去进行数据集的截取。
【时空序列预测-论文阅读】ModeRNN: Harnessing Spatiotemporal Mode Collapse in Unsupervised Predictive Learning
lisheng201314的博客
02-26 1340
首先点明本文的创新点：作者发现了视频预测类模型存在的一种实验现象：时空模式坍塌 spatiotemporal mode collapse (STMC）；【也可翻译成时空模型奔溃，笔者这里翻译为时空模式坍塌】并在无监督预测学习的背景下对时空模式坍塌STMC现象进行量化，探索解决方案。然后提出了一个解耦聚合网络ModeRNN，它能发现循环状态之间时空模式的组成结构。
FactorVAE:通过分解分解提出的FactorVAE的Pytorch实现（http
05-10
因子因子 由Factorising，Kim等人在Disentangling中提出的FactorVAE的Pytorch实现（ ） 依存关系 python 3.6.4 pytorch 0.4.0 (or check pytorch-0.3.1 branch for pytorch 0.3.1) visdom tqdm 数据集 2D Shapes（dsprites）数据集 sh scripts/prepare_data.sh dsprites 3D Chairs数据集 sh scripts/prepare_data.sh 3DChairs CelebA数据集（） # first download img_align_celeba.zip and put in data directory like below └── data └── img_align_celeba.zip # t
adversarial-disentangling-autoencoder-for-spk-representation:文章“说话者代表的专业性解缠以实现属性驱动的隐私保护”中介绍的软件
04-12
对抗解缠结自动编码器的spk表示 该存储库包含源于的源代码。
天池大赛｜2022江苏气象AI算法挑战赛亚军方案分享
Datawhale
01-23 1066
成员介绍团队：DontMind队队员：游枭雄，湘潭市气象局副研级高工队员：李扬，南京信息工程大学队员：梁钊明，中国气象科学研究院副研究员赛题解析本次比赛主要是针对大风/雷达回波/降水的短临预报，属于典型的时空序列预测问题，此类问题可以从分类和回归预测两个角度来解决。按照各气象要素阈值区间进行分类，可以转化为分类预测问题；从回归预测的角度又分为单变量回归预测和多变量回归预测。由于大风和降水预测很难转...
video prediction深度学习算法汇总
ygfrancois的博客
06-11 3179
SDC-Net：Video prediction using spatially-displaced convolution ECCV2018，未开源，来自英伟达团队，看结构是vid2vid前身，与另一篇CVPR2019 oral 《Improving Semantic Segmentation via Video Propagation and Label Relaxation》，三者应该来自同一团队。 Disentangling Physical Dynamics from Unknown F.
视频预测相关方法记录
Tsingzao的博客
09-02 3188
1、《Efficient and Information-Preserving Future Frame Prediction and Beyond》 网络结构包括：编码、预测、解码 三部分内容。主要内容是引入two-way的方式。 原文链接：https://openreview.net/pdf?id=B1eY_pVYvB 代码连接：https://github.com/GilgameshYu/CrevNet-Traffic4cast ...
小白学习ENSO-GTC
weixin_45831829的博客
03-22 1385
延续前人提出的热带太平洋多元海气耦合器，设计了全球时空遥相关耦合器(GTC)，对全球海表温度(SST)之间的潜在遥相关进行建模。为此，将太平洋、印度洋和大西洋划分为组成动态图的小海洋斑块，其中相邻关系由先验知识人工构建，非相邻关系由深度学习方法从数据中学习。基于GTC，建立El Niño-Southern Oscillation (ENSO)深度学习预测模型(ENSO-GTC)，设计概率图卷积层学习时空遥相关，即动态图中的非相邻关系。为了保持物理一致性，提出了一种具有图总变分惩罚项的损失函数。
初学者上手python建模
weixin_43390860的博客
03-03 4427
新手可以上天池或者是kaggle上下载数据，我就是在天池上的学习赛找模型进行学习的 那么我们拿到一个csv后，就要审视这个文档里的数据。我现在在做的模型就是有关客户贷款违约的一个比赛吧。那么首先要导入这个数据啊，这个csv分为两个数据集，一个是train，另外两个是test，就是说这个这个比赛的意义就是通过训练集的训练（训练集的数据量是很大的）然后将调教好的模型用于测试集，分数越高越好。中间你是不能更改训练集数据的，那么呢。你就要不断地更改模型。 附上链接 零
Curiosity_Driven_Learning_2021_diplom：这是一个研究好奇心驱动学习方法的项目
02-12
好奇心_Driven_Learning_2021_diplom 这是一个检查好奇心驱动学习方法的项目，将会有一个迷宫和代理包装的模拟（取自 ），用于好奇心驱动学习（ ） 运行模拟 python3 maze.py
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Rec.pptx
06-05
Disentangling and Unifying Graph Convolutions for Skeleton-Based Action Recognition 分离与统一的图卷积用于基于骨架的动作识别 CVPR 2020
Unsupervised Part Segmentation Through Disentangling Appear.pdf
11-20
Unsupervised Part Segmentation Through Disentangling Appearance and Shape
challenges-in-disentangling:该存储库包含本文的pytorch实现
04-27
纠缠不清的挑战 该存储库包含该论文的代码：理解独立的变异因素所面临的挑战（ ），该论文已在ICLR 2018的研讨会上接受。 本文提出了一种用于消除变异因素的对抗架构。 该体系结构与Mathieu等人的工作不同。 （ ），方法是使用常规的自动编码器而不是VAE。 而且，与Mathieu等人使用的对抗性装置相比，在这项工作中使用的对抗性装置要稳定得多，而且训练起来也容易得多。 该存储库提供了在MNIST数据集上训练此体系结构所需的文件，同时可以通过更改data_loader和networks文件将其推广到本文中的其他数据集。 该代码已使用以下python解释器和库版本进行了测试： python 3.6.3 火炬0.4.0 火炬视觉0.2.1 argparse 1.1 numpy的1.13.3 matplotlib 2.2.2 tensorboardX 1.2 我们在论
Curiosity-driven Exploration by Self-supervised Prediction.pdf
12-13
In many real-world scenarios, rewards extrinsic to the agent are extremely sparse, or absent altogether. In such cases, curiosity can serve as an intrinsic reward signal to enable the agent to explore its environment and learn skills that might be useful later in its life. We formulate curiosity as the error in an agent’s ability to predict the consequence of its own actions in a visual feature space learned by a self-supervised inverse dynamics model. Our formulation scales to high-dimensional continuous state spaces like images, bypasses the difficulties of directly predicting pixels, and, critically, ignores the aspects of the environment that cannot affect the agent. The proposed approach is evaluated in two environments: VizDoom and Super Mario Bros. Three broad settings are investigated: 1) sparse extrinsic reward, where curiosity allows for far fewer interactions with the environment to reach the goal; 2) exploration with no extrinsic reward, where curiosity pushes the agent to explore more efficiently; and 3) generalization to unseen scenarios (e.g. new levels of the same game) where the knowledge gained from earlier experience helps the agent explore new places much faster than starting from scratch.
STDN-PyTorch:这是 PyTorch 中“On Disentangling Spoof Traces for Generic Face Anti-Spoofing”的非官方实现
05-29
STDN-PyTorch 这是 PyTorch 中“On Disentangling Spoof Traces for Generic Face Anti-Spoofing”的非官方实现[] [ ]要求Python 3.6+ PyTorch 1.6.0 易字典TensorFlow 2+资料准备使用以下任何存储库为实时面部和...
disentangling-vae:用于了解VAE潜在表示中的解缠结的实验
05-01
解缠的VAE 该存储库包含用于研究VAE中解缠结的代码（训练/指标/绘图），并使用比较5种不同的损失（差异的）： 导致的标准VAE损失从β-VAE ^ h β-VAE B，从 解纠缠β-TCVAE 笔记： 经过python> = 3.6测试经过CPU和...
智慧酒店项目智能化系统汇报方案qy.pptx
最新发布
04-30
智慧酒店项目智能化系统汇报方案qy.pptx
基于C语言编写的高并发Epoll服务器.zip
04-30
基于C语言编写的高并发Epoll服务器.zip
什么是Domain Disentangling
03-21
Domain Disentangling是指将数据集中的不同领域或特征分离出来，以便更好地进行数据分析和处理。这种技术可以用于图像、语音、文本等不同类型的数据。在图像领域中，Domain Disentangling可以用于将不同的场景、光照、角度等因素分离出来，以便更好地进行图像识别和分类。在语音领域中，Domain Disentangling可以用于将不同的说话人、语音情感、语速等因素分离出来，以便更好地进行语音识别和语音合成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值