视频行为识别（一）：deepmind / kinetics-i3d安装及使用

最新推荐文章于 2023-06-18 18:17:44 发布
最新推荐文章于 2023-06-18 18:17:44 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： 机器视觉 文章标签： 计算机视觉 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zkgoup/article/details/107673250
版权

一、论文

《Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset》

https://arxiv.org/abs/1705.07750

二、 安装

1、依赖

准确依赖配置如下，用官方教程安装会报错，切记！！！（更新时间20200730）

-tensorflow-gpu==1.14.0
-tensorflow-probability==0.7.0
-dm-sonnet==1.34
-CUDA==10.0
-CuDNN==7.4.1

2、源码下载

$ git clone https://github.com/deepmind/kinetics-i3d.git

三、测试

$ cd kinetics-i3d
$ python evaluate_sample.py

如果安装成功，输出如下内容：

Norm of logits: 138.468628

Top classes and probabilities
1.0 41.813675 playing cricket
1.4971

最低0.47元/天 解锁文章
ken_asr
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在Ubuntu16.04下deepMindlab的安装，我已经成功安装，故做了一个简单的总结。
geerfing
03-22 2018
1、从官网下载虚拟机2、官网下载Ubuntu系统 （页面中文的官网）http://www.ubuntu.org.cn/download3、先安装Bazel ,我用到的方法是：Using Bazel custom APT repository (recommended)A、 Install JDK 8： sudo apt-get install openjdk-8-jdkB、On Ubuntu 14...
kinetics_i3d_pytorch:具有初始主干的膨胀i3d网络，权重从tensorflow转移
04-13
I3D模型从Tensorflow转移到PyTorch 此仓库包含几个脚本，这些脚本允许从论文的I3D的Tensorflow实现传递权重 Joao Carreira和Andrew Zisserman撰写的PyTorch的。 原始（和官方的！）张量流代码可以在找到。 传输的核心是i3d_tf_to_pt.py脚本 使用python i3d_tf_to_pt.py --rgb启动它，以生成从ImageNet扩展初始化中python i3d_tf_to_pt.py --rgb的rgb检查点权重。 要生成流权重，请使用python i3d_tf_to_pt.py --flow 。 您还可以通过同时使用两个标记python i3d_tf_to_pt.py --rgb --flow在一次运行中生成两者。 请注意，主版本需要PyTorch 0.3，因为它依赖于此最新版本中所包含的Constan
kinetics-i3d-Pytorch
05-02
在Kinetics Pytorch上训练的I3D模型 这个仓库通过Pytorch实现了I3D网络，从张量流转换了预训练的模型权重。 样例代码 您可以将tensorflow模型转换为pytorch # ./convert ./convert.sh 您可以评估样品 ./multi-evaluate.py 与原始模型略有不同。 您可以将原始模型输出与pytorch模型输出在out目录中进行比较 原始模型（imagenet_joint.txt） Norm of logits: 138.468658 Top classes and probabilities 1.0 41.8137 playing cricket 1.49716e-09 21.494 hurling (sport) 3.84312e-10 20.1341 catching or throwing baseball 1.54923
action-recognition-pytorch:这是一些代表性动作识别方法的pytorch实现，包括I3D，S3D，TSN和TAM
05-03
动作识别研究 该存储库包含用于动作识别的6种代表性2D和3D方法的一般实现，包括I3D [1]，ResNet3D [2]，S3D [3]，R（2 + 1）D [4]，TSN [5]和TAM [ 6]。 这些代码用于我们对动作识别的分析。 陈春福（Richard）Chen *，Rameswar Panda *，Kandan Ramakrishnan，Rogerio Feris，John Cohn，Aude Oliva和Fanquanfu *，“对基于CNN的时空表示进行动作识别的深入分析”。 *：均摊 如果您使用此仓库中的代码和模型，请引用我们的工作。 谢谢！ @inproceedings{chen2020deep, title={Deep Analysis of CNN-based Spatio-temporal Representations for Action Recog
Ubuntu18.04搭建DeepMind Lab环境
weixin_44466434的博客
06-24 606
Ubuntu18.04搭建DeepMind Lab环境
i3d-tensorflow:膨胀的3D ConvNets可用于视频理解
05-16
$ git clone https://github.com/yoosan/i3d-tensorflow$ cd i3d-tensorflow$ git clone https://github.com/deepmind/kinetics-i3d$ python convert_weights.py在UCF101上训练I3D模型现在，我正在为UCF101数据集上...
kinetics-skeleton.rar
04-12
人体行为识别open-mmlab/mmskeleton中的kinetics-skeleton数据集，包含了kinetics_train_label.json，kinetics_val_label.json，还有生成之前的各个视频的json文件
kinetics-skeleton-val-sample.zip
07-16
Kinetics-Skeleton 是一个针对人体骨架数据的行为识别数据集，其主要目的是推动基于深度学习的行为识别技术的发展。该数据集提供了一种标准化的方式来表示人体动作，即通过骨架数据来捕捉人物的关键关节运动，为模型...
resnext-101-64f-kinetics-ucf101_split1.pth
01-05
https://github.com/kenshohara/3D-ResNets-PyTorch中的预训练模型，https://drive.google.com/drive/folders/1zvl89AgFAApbH0At-gMuZSeQB_LpNP-M
行为识别C3D&I3D.ppt
05-22
行为识别比较C3D和I3D两个模型，组会PPT
双流3D视频动作识别
12-18
3-D convolutional neural networks (3-D-convNets) have been very recently proposed for action recognition in videos, and promising results are achieved. However, existing 3- D-convNets has two “artificial” requirements that may reduce the quality of video analysis: 1) It requires a fixed-sized (e.g., 112×112) input video; and 2)most of the 3-D-convNets require a fixed-length input (i.e., video shots with fixed number of frames). To tackle these issues, we propose an end-to-end pipeline named Two-stream 3-D-convNet Fusion, which can recognize human actions in videos of arbitrary size and length using multiple features. Specifically, we decompose a video into spatial and temporal shots. By taking a sequence of shots as input, each stream is implemented using a spatial temporal pyramid pooling (STPP) convNet with a long short-term memory (LSTM) or CNN-E model, softmax scores of which are combined by a late fusion.We devise the STPP convNet to extract equal-dimensional descriptions for each variable-size shot, andwe adopt theLSTM/CNN-Emodel to learn a global description for the input video using these time-varying descriptions. With these advantages, our method should improve all 3-D CNN-based video analysis methods. We empirically evaluate our method for action recognition in videos and the experimental results show that our method outperforms the state-of-the-art methods (both 2-D and 3-D based) on three standard benchmark datasets (UCF101, HMDB51 and ACT datasets).
行为识别I3D+PoTion《PoTion: Pose MoTion Representation for Action Recognition》读后总结
yzqlyzql的博客
10-20 1057
行为识别I3D+PoTion《PoTion: Pose MoTion Representation for Action Recognition》读后总结前言 前言 这是一些对于论文《PoTion: Pose MoTion Representation for Action Recognition》的简单的读后总结，首先先奉上该文章的下载超链接：点击这里下载论文。这篇文章是由Inria和NAVER...
DeepMind的开源库Sonnet如何使用
zhangzhechun的专栏
03-01 479
Sonnet的API和模块非常丰富，包括各种类型的层、激活函数、正则化方法等，同时还提供了一在这个示例中，我们首先定义了一个名为MyModule的神经网络模型，它包含一个隐藏层和一个输出层，并且使用ReLU作为激活函数。然后，我们加载了MNIST数据集，并使用该模型和Adam优化器进行训练。DeepMind的开源库Sonnet是一个用于构建神经网络的Python库，支持 TensorFlow 2.x，它提供了一系列高层次的API和模块，使得用户可以轻松地定义和训练各种类型的神经网络模型。
DeepMind大招，以视觉为媒介，做无监督机器翻译，效果极好
喜欢打酱油的老鸟
04-06 588
2020-04-02 17:59:38 作者 | 蒋宝尚 当两个语言不通的人进行交流时候，手势和眼神自然就成了沟通神器。有时候，手势和眼神在表达意思的时候能胜过千言万语。 能不能将这种类似的优势用在机器翻译？ 近日，来自DeepMind、牛津大学以及卡内基梅隆的研究者合力发表了论文《Visual Grounding in Video for Unsupervis...
【数据集】Kinetics-600 dataset介绍
热门推荐
I am what i am
04-29 4万+
最近在做行为识别，然后介绍一下目前种类多且数据量很大的行为数据集 Kinetics-600 dataset。 参考链接： activityNet：http://activity-net.org/challenges/2018/index.html GitHub：https://github.com/activitynet/ActivityNet kinetics：https://dee...
复现I3D遇到的问题
Medlar Tea
03-30 4315
1.Download模型 从deepmind的github中download I3D模型，它是由checkpoints保存的tensorflow session。 https://github.com/deepmind/kinetics-i3d 1.1问题1 首先要下载sonnet，按照教程下载之后运行import sonnet as snt提示需要下载tensorflow-probabi...
Kinetics700数据集的下载
John Kang的博客
06-12 6284
官方网站:https://github.com/activitynet/ActivityNet/tree/master/Crawler/Kinetics 需要翻墙 700用于ActivityNet2019比赛 除了这个官方下载以外，可以自建爬虫然后利用csv or json 剪切 git clone https://github.com/activitynet/ActivityNet....
揭开视频识别（动作识别）的神秘面纱（附代码和demo）！
Wenrui Xie的博客
06-18 1614
打架行为涉及多人，基于骨骼点技术的方案更适用于单人的行为识别。视频识别和检测也是最有落地场景前景的，像人脸识别、动作检测、异常检测、行人重识别、行人计数等都是很有落地前景的应用方向。基于骨骼点关键点识别有ST-GCN框架，主要把人体分为21个重要关节点，根据这些关节点不同的动作有不同的连接方式，运用图神经网络进行分类识别，应用场景有跌倒检测、动作检测等。使用目标检测与多目标跟踪获取视频输入中的行人检测框及跟踪ID序号，模型方案为PP-YOLOE，跟踪方案为OC-SORT，详细文档参考OC-SORT。
I3D代码学习笔记（一）——配置环境
pd162的博客
11-30 3998
文章目录前言一、I3D是什么？二、配置环境详细步骤1.创建anaconda虚拟环境2.安装相关依赖库结果 前言 对视频行为识别感兴趣的同学们欢迎交流~ 当你打开本文后，默认你已经安装了anaconda和pycharm 一、I3D是什么？ I3D是deepmind在2017年提出了视频动作识别模型。 开源地址为https://github.com/deepmind/kinetics-i3d 论文地址为https://arxiv.org/pdf/1705.07750v1.pdf 具体学习感受会在之后的代码阅
label_path: ./data/Kinetics/kinetics-skeleton/val_label.pkl
最新发布
07-24
这个路径指定了一个名为"val_label.pkl"的文件，它位于"./data/Kinetics/kinetics-skeleton/"目录下。根据文件名的后缀，这可能是一个包含验证集标签的pickle文件。 在使用这个路径之前，请确保该文件存在并且命名...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值