CNN光流计算--FlowNet: Learning Optical Flow with Convolutional Networks

最新推荐文章于 2025-04-25 22:17:56 发布
最新推荐文章于 2025-04-25 22:17:56 发布
阅读量7.3k 收藏 17
点赞数 3
分类专栏： 深度学习应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangjunhit/article/details/76262429
版权

FlowNet: Learning Optical Flow with Convolutional Networks
ICCV2015
Code: https://lmb.informatik.uni-freiburg.de/Publications/2015/DFIB15/

本文使用CNN网络来计算光流，实现端对端训练，自己制作了个训练数据库 Flying Chairs
这里写图片描述

  1. Network Architectures
    因为最后的结果需要得到像素级别的，所以需要对CNN网络得到卷积特征图进行方法

光流计算的输入是一个图像对，这里我们尝试了两个网络结构 FlowNetSimple (top) and FlowNetCorr (bottom)
这里写图片描述
FlowNetSimple 直接将两个图像放到一起输入网络
FlowNetCorr 首先分别处理单个图像，然后再用一个 correlation layer 将两个图像的特征结合起来

特征图放大网络结构 Expanding part
这里写图片描述

经过 Expanding part 处理，CNN 特征图放大了4倍，和输入图像尺寸相比缩小了4倍，再放大4倍达到输入图像尺寸有两种方法：
1）FCN中的 bilinear upsampling
2）Variational refinement
这里写图片描述

4.1. Existing Datasets
这里写图片描述
合成的数据库Flying Chairs
这里写图片描述

  1. Experiments
    这里写图片描述

这里写图片描述

FlowNet2.0 就比较厉害了！

FlowNet: Learning Optical Flow with Convolutional Networks
zxyhhjs2017的博客
12-06 1641
Abstract: 最近卷积神经网络在计算机视觉领域取得了成功,但是光流估计没有在这些任务的CNN中取得成功,这篇文章主要是用CNN以一个有监督的方式来解决光流估计，我们提出了两个网络结构：一个是普通的CNN，另外一个是包括一个层，这一层是包括使不同图像位置的特征向量相关的层。由于现有ground truth的数据集不足以训练CNN，因此我们生成了一个大型的合成飞行椅数据集。我们表明，使用这种不...
论文阅读 (78)：FlowNet: Learning Optical Flow with Convolutional Networks
因吉的博客
10-24 1903
卷积神经网络 (CNN) 在计算机视觉领域取得了巨大的成功，尤其是在关于识别的应用上，而其光流评估 (Optical flow estimation) 上还需探索。本文在有监督场景下构建CNN以处理光流评估问题，提出和对比了两种架构：通用架构；能够将不同图像位置的特征向量相关联的架构。由于已有的真实数据集过小不足以训练CNN，本文生成了一个大的合成数据集Flying chairs。
OpenCv高阶（十）——光流估计
最新发布
jdjhcn的博客
04-25 811
在计算机视觉领域，光流估计是捕捉图像序列中像素点运动信息的核心技术。它描述了图像中每个像素点在相邻帧间的运动方向和速度，能从静态图像帧中解析出动态变化。光流估计基于像素亮度不变和运动平滑两个关键假设，通过数学建模解算出像素运动场，为视频分析、目标跟踪等任务提供基础。OpenCV 集成了稀疏光流、稠密光流等计算方法，广泛应用于无人机避障、电影特效等场景。接下来，我们将深入解析光流估计原理、OpenCV 函数使用及实战应用，探索这项技术的奥秘。
解读： FlowNet learning optical flow with convolutional networks
家家的专栏
11-30 1104
贡献点：            Construct CNNs which are capable of solving the optical flow estimation problem as a supervised learning task.             Train CNN end-to-end to learn predicting the optical flow f
计算光流
Summer_star_summer的博客
07-20 437
// // Created by Xiang on 2017/12/19. // #include <opencv2/opencv.hpp> #include < string> #include < chrono> #include <Eigen/Core> #include <Eigen/Dense> using namespace std; using namespace cv; string file_1 = “./LK1.png”; /
CNN光流计算2--FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks
AI小作坊 的博客
07-29 3224
FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks CVPR2017 Code: https://github.com/lmb-freiburg/flownet2本文是对 FlowNet 的改进，改进主要有三点： 1） 在训练层面，数据库的训练的顺序很重要 the schedule of presentin
Python-FlowNet的PyNet实现
08-11
FlowNet是由Darmstadt大学和Facebook AI Research共同开发的一系列深度学习模型，最初发表在2015年的论文《FlowNet: Learning Optical Flow with Convolutional Networks》中。FlowNet利用卷积神经网络（CNN）直接...
FlowNet到FlowNet2.0：基于卷积神经网络的光流预测算法
SIGAI_CSDN的博客
06-12 6326
其它机器学习、深度学习算法的全面系统讲解可以阅读《机器学习-原理、算法与应用》，清华大学出版社，雷明著，由SIGAI公众号作者倾力打造。 书的购买链接 书的勘误，优化，源代码资源 原创声明：本文为 SIGAI 原创文章，仅供个人学习使用，未经允许，不能用于商业目的。 导言 光流预测一直都是计算机视觉中的经典问题，同时又是解决很多其他问题的基础而备受关注，例如，运动估计、运动分割和行...
RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation——精读笔记
学海无涯，快乐行舟
11-13 7204
RIFE是一种用于视频插帧(Video Frame Interpolation, VFI)的实时中间流估计算法(Real-time Intermediate Flow Estimation)。RIFE提出的IFNet神经网络可以由粗到精(coarse-to-fine)直接估算中间流，速度也更快。设计了一种特权蒸馏机制来训练中间流模型，可以大大提高性能。
CNN: 深度估计 & 光流 & 残差流
yly的博客
10-06 3361
SfMLearner(2017,Unsupervised learning of depth and ego-motion from video)无监督学习的优势是可以使用大量数据。 对于3D场景，给定不同的相机pose，可以获得不同的2D图片。如下图所示。那么，换一个思路，使用一个Depth network从单视野预测深度 + Pose network预测相邻帧图像的观察相机发生的相对旋转和平移(R,t)，就可以从Reconstructed的3D Scene投影得到观察相机变换后的相邻帧的图像。 .
GPU计算光流：gpu_flow
bojackhosreman的博客
11-13 2973
只是想迅速计算个光流图片，结果搞了大半天都没装好。工具： https://github.com/feichtenhofer/gpu_flow安装步骤： 首先确认依赖是否都装好： [OpenCV 2.4] (http://opencv.org/downloads.html) 确认版本：pkg-config --modversion opencv [Qt 5.4] (https://www.q
图像光流计算
01-07
主要是利用halcon计算图像光流，利用HS计算稠密光流，并画在图像里
基于光流法的深度学习在工业运动检测的应用.pdf
08-18
基于光流法的深度学习在工业运动检测的应用.pdf
光流汽车运动速度估计_光流_
10-03
光流汽车运动速度估计从图像序列中估计一个光流，研究运动估计，我们将尝试检测运动中的物体(如汽车)，以便跟踪它们，测量它们的速度等。Horn和Shunck依赖于差分方法(适用于低位移)。这种Horn和Shunck的方法是建立在一个图像到另一个图像的灰度保持的假设基础上的。
光流算法
邹小驴
07-03 4712
https://blog.csdn.net/sgfmby1994/article/details/68489944 https://blog.csdn.net/zouxy09/article/details/8683859（解释的光流信息很形象） 光流（optic flow）是什么呢？名字很专业，感觉很陌生，但本质上，我们是最熟悉不过的了。因为这种视觉现象我们每天都在经历。从本质上说，光流...
利用光流法计算人体运动的速度与方向
热门推荐
06-15 1万+
利用光流法计算人体运动的速度与方向 1.方向的计算首先计算图像各个象素的光流(opencv LK),然后建立4*4窗口对X,Y方向分别做统计求和,然后求得 atan(yy/xx)作为光流方向,即为运动的方向. 2.速度的计算利用帧差分得到运动图像,然后建立4*4窗口对图像进行统计求和,求和值作为权重,表示速度的比例.即运动区域白色(255)面积越大,速度越大.3.结果大部分运动方向
CNN光流模型 PWCNet: CNNs for Optical Flow Using Pyramid 光流（Optical flow）
AI天才研究院
08-13 480
光流（Optical flow）是指空间中的物体在运动过程中占据的时间，是一种可以量化、可视化及控制的物理现象。从传统计算机视觉出发，通过特征点检测、描述子匹配、跟踪等流程，利用边缘检测或梯度方向计算的方法获得光流场。然而，这种方法并不能够很好的解决光流场存在的尺度变换、光照变化、遮挡和混叠等复杂性，也无法充分考虑到物体的几何形状变化。因此，基于深度学习的光流估计技术受到了越来越多的关注。近年来，由于卷积神经网络(CNN)的突破，基于CNN的光流估计技术逐渐取得了突破性的进步。
Flownet: 用深度网络学习光流
weixin_42703210的博客
03-17 2254
卷积神经网络（CNNS）在各种计算机视觉任务中非常成功，特别是那些与识别相关的任务。光流估计也是CNNs成功的领域之一。在本文中，我们以监督学习的方式构建了一个CNNs用来解决光流估计问题。我们提出并比较了两种架构：一种是通用的架构，另一种则包含了一层不同图像位置特征向量关联层。因为当前的GT数据集的规模不够用来训练一个CNN，我们构建了一个大规模的合成数据集Flying Chairs dataset。
机器视觉之光流
qq_42244167的博客
08-22 358
根据这个假设，光流算法试图找到一个场（或向量场），该场中的每个向量表示图像中每个像素的运动方向和速度。光流可以用来跟踪图像中物体的运动，检测运动中的物体，或者在机器视觉任务中估计物体的速度和位移。：一旦检测到特征点，就可以计算它们的光流。有几种不同的计算光流的方法，包括基于亮度的方法和基于特征匹配的方法。：通常，你可以将计算出的光流可视化，以便观察物体的运动模式。：它假设一个小的窗口内的像素具有相似的运动，然后通过最小化误差来估计局部运动。：稠密光流计算图像中每个像素的光流，而稀疏光流只计算特定的特征点。
version : '3' services: flow-nginx: container_name: flow-nginx image: nginx build: context: . dockerfile: nginx-dockerfile ports: - "80:80" environment: TZ: Asia/Shanghai volumes: - ./html/dist:/home/flow/projects/ruoyi-ui - ./conf/nginx.conf:/etc/nginx/nginx.conf - ./home/nginx/logs:/var/log/nginx - ./home/nginx/conf.d:/etc/nginx/conf.d depends_on: - flow-server links: - flow-server networks: - base-docker_flownet flow-server: container_name: flow-server build: context: . dockerfile: flow-dockerfile ports: - "8080:8089" environment: TZ: Asia/Shanghai volumes: - ./home/flow/logs:/home/flow/logs - ./home/flow/uploadPath:/home/flow/uploadPath - /home/flow/flow_ftp:/home/flow/flow_ftp networks: - base-docker_flownet networks: base-docker_flownet: external: true
06-09
这是一个使用 Docker Compose 编排的多容器应用。其中包含两个服务：flow-nginx 和 flow-server。 flow-nginx 服务使用 nginx 镜像，并指定了构建上下文为当前目录，使用 nginx-dockerfile 文件构建。它将容器内的 80 端口映射到宿主机的 80 端口，设置了时区为 Asia/Shanghai，并将指定的文件和目录挂载到容器内的目录中。同时，它还依赖于 flow-server 服务，并连接到 flow-server 容器。 flow-server 服务同样指定了构建上下文为当前目录，使用 flow-dockerfile 文件构建。它将容器内的 8089 端口映射到宿主机的 8080 端口，设置了时区为 Asia/Shanghai，并将指定的文件和目录挂载到容器内的目录中。 最后，定义了一个名为 base-docker_flownet 的网络，用于连接这两个服务。这里使用了外部网络，具体配置需要在其他地方定义。 总的来说，这个 Docker Compose 文件定义了一个包含前端和后端的完整的 web 应用程序，并使用 Nginx 作为反向代理服务器。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值