PhyDNet：Disentangling Physical Dynamics from Unknown Factors for Unsupervised Video Prediction

最新推荐文章于 2024-10-20 15:42:54 发布
最新推荐文章于 2024-10-20 15:42:54 发布
阅读量3.7k 收藏 8
点赞数 3
分类专栏： paper reading
原文链接：https://blog.csdn.net/ygfrancois/article/details/106695500
版权
本文介绍了一种尝试将深度网络与物理约束相结合的方法，利用卷积模拟偏导，通过momentloss监督，使网络能够学习并补充物理信息，提升ConvLSTM等现有网络的性能。文章重点介绍了PhyCell单元，其计算公式类似于热力学方程、波动方程等，通过网络学习得到的Kt参数，对数学模型进行修正。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >


参考博客来源： link


主要思想是试图用深度网络构建物理约束模型，方法是用卷积模拟偏导，用moment loss作监督，学到物理信息，从而对已有的网络（文中使用ConvLSTM）进行信息补充。

在这里插入图片描述
如图，右边为已有深度网络可以捕捉到的信息，本文试图使用深度网络通过偏微分方程来建模先验物理知识，即左边的信息。最后将物理信息和已有信息结合获得更好的结果。

在这里插入图片描述
在这里插入图片描述
本文主要创新点在PhyCell，该单元的计算公式：

在这里插入图片描述

E（u）表示的是对输入真实帧的encode，ht为t时刻隐变量，Φ(h(t, x))是隐变量对空间每个像素点的偏导和，该公式与很多物理模型公式类似，如热力学方程、波动方程、对流扩散方程等。

在这里插入图片描述

Kt也是由网络学出来。该式可以改写成以下公式：

在这里插入图片描述

式（6）被认为是通过数学模型推算出的数值，式（7）则被认为是基于数据训练对数学模型进行的修正，其中K公式如下：

在这里插入图片描述

video prediction深度学习算法汇总
ygfrancois的博客
06-11 3706
SDC-Net：Video prediction using spatially-displaced convolution ECCV2018，未开源，来自英伟达团队，看结构是vid2vid前身，与另一篇CVPR2019 oral 《Improving Semantic Segmentation via Video Propagation and Label Relaxation》，三者应该来自同一团队。 Disentangling Physical Dynamics from Unknown F.
初学者上手python建模
weixin_43390860的博客
03-03 4641
新手可以上天池或者是kaggle上下载数据，我就是在天池上的学习赛找模型进行学习的 那么我们拿到一个csv后，就要审视这个文档里的数据。我现在在做的模型就是有关客户贷款违约的一个比赛吧。那么首先要导入这个数据啊，这个csv分为两个数据集，一个是train，另外两个是test，就是说这个这个比赛的意义就是通过训练集的训练（训练集的数据量是很大的）然后将调教好的模型用于测试集，分数越高越好。中间你是不能更改训练集数据的，那么呢。你就要不断地更改模型。 附上链接 零
PhyDNet 开源项目教程
gitblog_00136的博客
08-21 574
PhyDNet 开源项目教程 项目地址:https://gitcode.com/gh_mirrors/ph/PhyDNet 1. 项目的目录结构及介绍 PhyDNet 项目的目录结构如下： PhyDNet/ ├── data/ │ └── README.md ├── models/ │ ├── PhyCell.py │ ├── STConvLSTM.py │ └── README....
论文笔记 VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting
EAzzz的博客
10-20 1494
提出了VMRNN单元，这是一种结合了Vision Mamba模块和LSTM优点的新型循环单元。经过广泛的评估，我们的方法在多个基准测试中表现出色，同时保持了较小的模型规模。：处理输入数据时，单个卷积层只能捕捉到局部的、有限范围的特征信息；卷积核的大小决定了每次卷积操作能够“看到”的输入区域，即感受野：增加网络深度、池化层、跳跃连接----->训练难度、计算成本、内存需求增加：自注意力机制的计算复杂度随着输入序列的长度呈二次增长；
江苏气象AI算法挑战赛亚军比赛攻略_DontMind队
gangyikeji的博客
05-06 754
本次比赛主要是针对大风/雷达回波/降水的短临预报，属于典型的时空序列预测问题，此类问题可以从分类和回归预测两个角度来解决。按照各气象要素阈值区间进行分类，可以转化为分类预测问题；从回归预测的角度又分为单变量回归预测和多变量回归预测。由于大风和降水预测很难转换为分类预测问题，而且我们经过大量的模型试验表明，多变量回归预测很难同时达到最优，且很难超越单变量回归预测。因此，我们最终采用了单变量回归预测思路，并利用过去一小时数据预测未来两小时各气象要素的时空演变。
（八：2020.08.27）CVPR 2020 追踪之论文纲要（译）
Jojo论文基地
08-27 1万+
CVPR 2019 追踪之论文纲要（修正于2020.08.27）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这1400篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 Respect！ 论文目录 论文 概要 12-in-1 - Multi-Task Vision and Language Repre
（十：2020.08.28）CVPR 2018 追踪之论文纲要（译）
Jojo论文基地
08-28 7532
CVPR 2018 追踪之论文纲要（修正于2020.08.28）讲在前面论文目录 讲在前面 论坛很多博客都对论文做了总结和分类，但就医学领域而言，对这些论文的筛选信息显然需要更加精细的把控，所以自己对这979篇的论文做一个大致从名称上的筛选，希望能找到些能解决当前问题的答案。 论文链接建议直接Google论文名，比去各种论文或顶会网站找不知道快捷多少。 下面皆为机器翻译以方便我第一次筛选，我会慢慢修正，但现在请结合。有兴趣的可以问我要处理这些论文并自动翻译的脚本。 Respect！ 论文目录
AAAI 2022 论文列表
gbstack08的专栏
02-15 2万+
链接及代码之后会更新 GitHub链接：https://github.com/gbstack/AAAI-2022-papers Scaled ReLU Matters for Training Vision Transformers Pichao Wang, Xue Wang, Hao Luo, Jingkai Zhou, Zhipeng Zhou, Fan Wang, Hao Li, Rong Jin Search Strategies for Topological Network Optimizat
【论文阅读笔记】NeurIPS2020文章列表Part1
zincrain的博客
12-09 2万+
A graph similarity for deep learning An Unsupervised Information-Theoretic Perceptual Quality Metric Self-Supervised MultiModal Versatile Networks Benchmarking Deep Inverse Models over time, and the Neural-Adjoint method Off-Policy Evaluation and Learning.
pydantic学习与使用-2.基本模型(BaseModel)使用
qq_27371025的博客
02-25 4741
前言 在 pydantic 中定义对象的主要方法是通过模型（模型继承 BaseModel ）。 pydantic主要是一个解析库，而不是验证库。验证是达到目的的一种手段：建立一个符合所提供的类型和约束的模型。 换句话说，pydantic保证输出模型的类型和约束，而不是输入数据。 虽然验证不是pydantic的主要目的，但您可以使用此库进行自定义验证。 基本模型使用 User这是一个模型，它有两个字段id，一个是整数，是必需的，name一个是字符串，不是必需的（它有一个默认值) from pydantic i
无数据蒸馏方向文献_1
ExcitingYi的博客
12-01 1406
初认无数据知识蒸馏写在前面Large-Scale Generative Data-Free DistillationIntroduction & Related Work具体实现知识蒸馏图像生成模型Inceptionism lossMoment matching loss总损失函数实验结果CIFAR-10CIFAR-100ImageNet 写在前面   上大学前，或者说一直到大二期末考前，我都以为大学的考试是一周内解决的“考试周”，大二后，考试战线越来越长。大三期末考时间直接拉长到一个多月，从12周
重磅 ！ CVPR2020最新计算机视觉论文代码分类打包下载
冯良骏 的 博客
04-15 4035
日前，计算机视觉三大顶会之一CVPR2020接收结果已经公布，一共有1470篇论文被接收，接收率为22%，相比去年降低3个百分点，竞争越来越激烈。这里和大家分享整理的论文和代码资源，文末有资源的打包下载链接。 目录一、CVPR 2020二、 CVPR 2020论文分类目标检测图像分割人脸识别目标跟踪三维点云&重建姿态估计GAN小样本&零样本弱监督&无监督神经网络模型加速视觉...
CVPR 2021 | 腾讯AI Lab入选论文解读
腾讯AI实验室
03-30 1968
感谢阅读腾讯 AI Lab 微信号第122篇文章。本文将解读腾讯 AI Lab 入选 CVPR 2021 的13篇论文。CVPR（Conference on Computer Vision...
优化网络的原理与方法（3）--学习率详解
学习随笔
04-19 1785
自适应学习率算法 在使用基本的梯度下降算法时，会遇到一个常见的问题—-要优化的各个参数对于目标函数的依赖各不相同。 比较合理的做法是：对每个参与训练的参数设置不同的学习率，在整个学习的过程中通过一些算法自动适应这些参数的学习率。 1.AdaGrad(Adaptive Gradient) AdaGrad的基本思想是对每个变量用不同的学习率，这个学习率在一开始比较大，用于快速梯度下降。随着优化过...
神经网络Loss损失函数总结
热门推荐
willduan的博客
06-25 6万+
这篇博文总结一下损失函数，这里重点总结一下常用的损失函数。 softamx cross entropy loss softmax 交叉熵损失函数是我们常用的一种损失函数，其公式如下： E(t,y)=−∑jtjlogyj E(t, y)=-\sum_j t_j \log y_j 其中，t 和 y 分别表示神经网络的目标标签和输出， yjy_j 表示softmax损失函数： yj=s
超110篇！CVPR 2021最全GAN论文汇总梳理！
idol24的博客
12-05 6578
戳我，查看GAN的系列专辑~！下述论文已分类打包好！超110篇，事实上仍有一些GAN论文未被包含入内……可见GAN在CVPR 2021仍十分火热。后台回复2021GAN（长按红字、选...
《论文阅读》Towards Photo-Realistic Virtual Try-On by Adaptively Generating↔Preserving Image Content
未知丶的博客
06-30 2582
留个笔记自用 Towards Photo-Realistic Virtual Try-On by Adaptively Generating↔Preserving Image Content 做什么 图像视觉换装旨在将目标服装图像转移到参考人员身 上，近年来已成为一个热门话题。 以前的艺术通常专注于保持服装形象的特征(例如。 纹理，标志，刺绣)当扭曲它到任意的人类姿势。 然而，当参考者中出现大遮挡和奇异人类姿势时，生成照片逼真的 Try-on 图像仍然是一个巨大的挑 战（图）。 1)。 提供一个参考2D人
【CV-Learning】卷积神经网络预备知识
Y0704__00的博客
08-01 1567
卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。
Program of Thoughts Prompting: Disentangling Computation from Reasoning for Numerical Reasoning Tasks
最新发布
03-09
### Program of Thoughts Prompting 方法中的计算与推理分离 在数值推理任务中，Program of Thoughts (PoT) Prompting 方法通过生成可执行的编程代码来表示逻辑推理步骤，而不是直接提供完整的解决方案或计算路径。这种方法允许将复杂的推理过程分解成更易于管理和验证的小部分[^1]。 具体而言，在处理数值推理问题时，PoT 提出了一个框架，其中推理被编码为一系列可以由外部工具（如Python解释器）执行的具体操作指令。这意味着实际的算术运算和其他类型的数值处理是由专门设计用于此类任务的语言特性来承担的，而模型本身则专注于构建正确的算法结构和流程控制语句[^2]。 这种做法不仅简化了模型内部的工作负载，还使得整个系统的灵活性大大增加——因为只要改变所使用的脚本语言或者引入新的库函数就可以轻松扩展功能范围。此外，由于最终产生的是一段清晰易读且能够独立运行的源码文件，因此也便于后续的人工审查以及错误排查工作。 ```python def calculate_interest(principal, rate, time): """Calculate compound interest using the formula A=P(1+r)^t""" amount = principal * ((1 + rate) ** time) return round(amount, 2) # Example usage demonstrating separation between logic and computation logic_description = """ Given a principal P=1000 dollars at an annual interest rate r=0.05 over t=3 years, we want to find out how much money will accumulate after this period. """ print(f"{logic_description}\nThe accumulated value is ${calculate_interest(1000, 0.05, 3)}.") ``` 上述例子展示了如何利用 Python 函数 `calculate_interest` 来封装具体的利息计算细节，而在描述性的字符串变量 `logic_description` 中仅保留高层次的任务说明。这种方式体现了 PoT 如何有效地实现了计算过程同推理表述之间的解耦合。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值