- 博客(57)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Weakly Supervised Video Emotion Detection and Prediction via Cross-Modal Temporal Erasing Network阅读
自动预测用户生成视频 (UGV) 的情绪最近受到越来越多的关注。然而，现有的方法主要集中在几个关键的视觉帧上，这可能会限制它们对描述预期情绪的上下文进行编码的能力。为了解决这个问题，在本文中，我们提出了一种跨模式时间擦除网络，它不仅可以定位关键帧，还可以以弱监督的方式定位上下文和音频相关信息。具体来说，我们首先利用不同片段之间的模内和模间关系来准确选择关键帧。然后，我们迭代地删除关键帧，以鼓励模型专注于包含补充信息的上下文。对三个具有挑战性的视频情感基准的广泛实验表明，我们的方法比最先进的方法表现得更好。
2023-07-24 17:06:34
256
原创 Efficient Video Transformers with Spatial-Temporal Token Selection阅读笔记
Video Transformers在主要视频识别基准测试中取得了令人印象深刻的结果，但其计算成本很高。在本文中，我们提出了 STTS，这是一种令牌选择框架，它根据输入视频样本在时间和空间维度上动态选择一些信息丰富的令牌。具体来说，我们将令牌选择制定为排名问题，通过轻量级评分器网络估计每个令牌的重要性，并且只有得分最高的令牌才会用于下游评估。在时间维度上，我们保留与动作类别最相关的帧，而在空间维度上，我们识别特征图中最具辨别力的区域，而不影响大多数视频中以分层方式使用的空间上下文 变压器。
2023-06-26 16:38:24
832
原创 RuntimeError: cuDNN error: CUDNN_STATUS_NOT_SUPPORTED.
说起来我也觉得挺奇怪。bs太大为什么不报错out of memory而是报了这么一个牛头不对马嘴的错误。不过因为我这个环境已经跑了很多模型都没有问题，因此不是cudnn和cuda版本对应问题，将bs调小一半后就不报错了。原因：batch_size太大了。
2023-06-07 17:16:05
585
原创 RuntimeError: Can only calculate the mean of floating types. Got Long instead.
顺便介绍一下torch.mean()函数，mean()函数的参数：dim=0,按列求平均值，返回的形状是（1，列数）；dim=1,按行求平均值，返回的形状是（行数，1）,默认不设置dim的时候，返回的是所有元素的平均值。遇到这种问题时，我是使用了torch.mean函数。如果不添加a = a.float()，会报这个错。原因是因为mean函数只能对float类型数据计算平均值，而a是int64类型。因此将其转换为float类型即可。
2023-06-04 21:58:31
426
原创 torch.where()函数
可以看出，选出了每一维度比均值大的值的位置。可以与torch.index_select搭配使用。需要注意的是a,b,c三者shape相同。c：若不满足条件，则取y中元素。原因：三个参数shape不相同。b：若满足条件，则取x中元素。
2023-06-04 21:51:19
278
原创 Recognizing Micro-Expression in Video Clip with Adaptive Key-Frame Mining阅读笔记
据我们所知，这是第一项旨在将视频剪辑中的信息时间子集的端到端学习与单个网络中的微表情识别相结合的工作。 此外，所提出网络中所有模块的设计都与输入视频剪辑的长度无关。 换句话说，网络容忍各种长度的微表情剪辑。 本文的贡献有三方面：继特征工程方法之后，过去三年见证了微表情研究对计算机视觉社区深度学习热潮的日益增长的反应。 多项研究中使用了各种深度神经网络。 在没有手工特征工程的情况下，端到端神经网络模型能够通过从大量高维（和低级表示）数据中学习来进行分类或预测 [23]。 对于微表情的研究，已经努力从更广泛的计
2023-05-16 14:40:19
472
1
原创 Recognition of Emotions in User-Generated Videos through Frame-Level Adaptation and Emotion阅读笔记
摘要——用户生成视频中的情绪识别引起了相当大的研究关注。大多数现有方法都侧重于学习帧级特征，而没有考虑对视频表示至关重要的帧级情绪强度。在这项研究中，我们旨在通过从图像情感数据集中传输情感信息来提取帧级特征和情感强度。为了实现这一目标，我们提出了一个端到端的网络，用于联合情绪识别和强度学习，具有无监督的对抗性适应。所提出的网络由分类流、强度学习流和对抗性适应模块组成。分类流用于通过类激活映射方法生成伪强度图，以训练强度学习子网络。强度学习流建立在改进的特征金字塔网络之上，其中来自不同尺度的特征是交叉连接的。
2023-04-28 14:52:18
94
原创 Context-Aware Based Visual-Audio Feature Fusion for Emotion Recognition阅读笔记
【摘要】：视频情感识别是情感计算领域的一个重要分支。然而，传统的识别工作主要集中在人的特征上，而忽略了视频场景和物体的上下文线索。在我们的工作中，我们提出了一个用于双模态视频情感识别的上下文感知框架。与直接提取整个视频帧的特征的现有方法不同，我们提取视频的关键帧和关键区域以获得视频场景和对象中包含的情感线索。具体来说，对于视觉流，应用分层双向长短期记忆（Bi-LSTM）来总结视频场景并找到对视频情感贡献最大的关键帧；同时，我们引入区域提议网络（RPN）来提取视频帧中对象区域的相应特征并构建情感相似度图。
2023-04-28 11:47:14
160
原创 Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition 阅读笔记
摘要——多模态分析最近引起了人们对情感计算的浓厚兴趣，因为它可以提高情感识别相对于孤立的单模态方法的整体准确性。最有效的多模态情绪识别技术有效地利用了多种互补的信息源，例如面部、声音和生理形态，以提供全面的特征表示。在本文中，我们专注于基于从视频中提取的面部和声音模态融合的维度情绪识别，其中可以捕获复杂的时空关系。大多数现有的融合技术依赖于循环网络或传统的注意机制，这些机制不能有效地利用视听 (A-V) 模态的互补性。
2023-04-28 11:25:17
115
原创 Cross Attentional Audio-Visual Fusion for Dimensional Emotion Recognition阅读笔记
摘要——多模态分析最近引起了人们对情感计算的极大兴趣，因为它可以提高情感识别相对于孤立的单模态方法的整体准确性。最有效的多模态情绪识别技术有效地利用各种免费的信息源，例如面部、声音和生理模式，以提供全面的特征表示。在本文中，我们专注于基于从视频中提取的面部和声音模态融合的维度情绪识别，其中可以捕获复杂的时空关系。大多数现有的融合技术依赖于循环网络或传统的注意机制，这些机制不能有效地利用视听 (A-V) 模态的互补性。
2023-04-13 23:09:47
447
原创 An End-to-End Visual-Audio Attention Network for Emotion Recognition in User-Generated Videos阅读笔记
用户生成视频中的情感识别在以人为本的计算中起着重要的作用。现有的方法主要采用传统的两层浅层管道，即提取视觉和/或音频特征和训练分类器。在本文中，我们提出了一种基于卷积神经网络（CNNs）的端到端识别视频情绪的方法。具体来说，我们开发了一个深度视觉音频注意网络（VAANet），这是一种新的架构，它将空间、通道级和时间注意整合到视觉3D CNN中，并将时间注意整合到音频2D CNN中。此外，我们设计了一种特殊的分类损失，即基于极性-情感层次约束的极性一致交叉熵损失来指导注意力的产生。
2023-04-12 23:06:23
744
原创 Semantic2Graph: Graph-based Multi-modal Feature Fusion for Action Segmentation in Videos阅读笔记
视频动作分割和识别任务已经在许多领域得到了广泛的应用。以往的研究大多采用大规模、高计算量的视觉模型来全面理解视频。然而，很少有研究直接使用图模型来对视频进行推理。图模型具有更少的参数、较低的计算成本、较大的接受域和灵活的邻域信息聚合等优点。本文提出了一种基于图的方法，即Semantic2Graph，将视频动作分割和识别问题转化为图的节点分类问题。为了保持视频中的细粒度关系，我们构造了视频的图结构，并设计了三种类型的边。我们将视觉性特征、结构性特征和语义性特征作为节点属性相结合。
2023-03-15 17:23:35
203
原创 ASFormer:Transformer for Action Segmentation论文阅读笔记
为了解决动作分割类问题，作者设计了一个高效的基于transformer的动作分割任务模型，ASFormer，该模型具有以下三个特征：（i）由于特征的高局部性，作者明确地引入了局部连通性归纳先验。它将假设空间限制在一个可靠的范围内，有利于动作分割任务用较小的训练集学习适当的目标函数。（ii）作者应用了一个预定义的层次表示模式，可以有效地处理长输入序列。（iii）作者仔细设计了解码器，以细化来自编码器的初始预测。在三个公共数据集上进行的大量实验证明了该方法的有效性。
2022-12-13 22:10:07
739
原创 快速创建新的虚拟环境并配置pytorch
选择合适的pytorch版本，首先使用pip命令进行安装（我用conda总是会出现网络问题，从没成功过），如果pip也报错，就进入安装命令里面的网址，手动下载合适的whl安装包，然后pip install xxx.whl安装包即可。最近跑深度学习项目，不同的代码有时需要不同的pytorch版本，因此经常需要创建新的虚拟环境并安装pytorch，记录一下最快速的方法（对本人来说）为便于管理，我创建的虚拟环境都是python 3.7。1.anaconda创建新的虚拟环境。首先，在linux下，使用。
2022-11-06 11:08:11
881
原创 Temporal Action Proposal Generation with Transformers TAPG transformer论文阅读笔记
基于锚定的方法基于多尺度和密集的预化锚定生成行动提案，这样，我们就可以评估具有丰富的提案级上下文信息的提案的一致性分数。与学习帧间关系的Boundary transformer类似，我们提出了一种Proposal Transformer来建模具有不同尺度的建议之间的关系，并评估建议的一致性。通常，Boundary Transformer捕获长期的时间依赖性来预测精确的边界信息，而Proposal Transformer学习丰富的inter-proposal关系，以进行可靠的一致性评估。...
2022-08-28 11:12:10
537
原创 vim常用操作整理（遇到了新的操作就继续添加）
1.vim filename ：如果已有文件，则打开；没有该文件，则创建并打开一个文件filename。2.进入vim后，按下i 键，则进入编辑模式，此时可以修改文本内容；按下Esc 键，退出编辑模式。3.:w：保存（退出编辑模型后使用）:wq ：保存并退出。
2022-08-24 19:11:54
227
原创 yum和apt-get的区别
1.RedHat系列：Redhat、Centos、Fedora等。2.Debian系列：Debian、Ubuntu等。Debian系列包管理工具 apt-get。RedHat 系列包管理工具 yum。
2022-08-24 15:50:13
188
原创 Class Semantics-based Attention for Action Detection CSA论文阅读笔记
虽然一些编码的特性可能对生成行动建议更有用，但之前的行动定位方法不包括任何注意机制，使定位子网络能够更多地关注更重要的特性。在本文中，我们提出了一种新的注意机制，类基于语义的注意(CSA)，学习的语义分布动作类在一个输入视频找到编码特性的重要性分数，用于提供关注更有用的编码特性。我们的注意机制优于先前的自注意力模块，如动作检测任务中的squeeze-and-excitation。我们还观察到，我们的注意机制是这种自我注意模块的互补，当两者一起使用时，可以看到性能改善。
2022-08-23 19:53:02
853
原创 Enriching Local and Global Contexts for Temporal Action Localization ContextLoc论文阅读笔记
有效地解决时间动作定位(TAL)问题需要一个共同追求两个混杂目标的视觉表征，即时间定位的细粒度识别和动作分类的足够的视觉不变性。我们通过在流行的两阶段时间定位框架中丰富局部和全局上下文来解决这一挑战，在该框架中，首先生成行动建议，然后进行行动分类和时间边界回归。我们提出的模型，称为ContextLoc，可分为三个子网：L-Net、G-Net和P-Net。L-Net通过对代码片段级特性的细粒度建模，丰富了本地上下文，这被表述为一个查询和检索过程。G-Net通过对视频级表示的更高层次的建模，丰富了全局上下文。
2022-08-22 16:57:29
816
原创 Graph Convolutional Module for Temporal Action Localization in Videos GCM论文阅读笔记
现有的最先进的动作定位方法将每个视频划分为多个动作单元，然后对每个视频分别进行动作识别/回归，而不是在学习过程中明确利用它们之间的关系。在本文中，我们认为动作单元之间的关系在动作定位中起着重要的作用，一个更强大的动作探测器不仅应该捕获每个动作单元的局部内容，而且应该允许与之相关的上下文有更广泛的视野。为此，我们提出了一个通用的图卷积模块(GCM)，它可以很容易地插入到现有的动作定位方法中，包括两阶段和一阶段的范式。
2022-08-20 23:36:18
212
原创 RTD-Net：Relaxed Transformer Decoders for Direct Action Proposal Generation 论文阅读笔记
本文提出了一个简单而有效的框架(RTDNet)，用于直接生成行动建议，通过重新利用一个类似于Transformer的架构。为了解决时间和空间之间的本质视觉差异，我们对原始的Transformer检测框架(DETR)进行了三个重要的改进。首先，为了解决视频中的慢速问题，我们将原来的Transformer编码器替换为边界注意模块，以更好地捕获远程时间信息。其次，由于模糊的时间边界和相对稀疏的注释，我们提出了一种宽松的匹配方案，以缓解对每个GT的单一分配的严格标准。...
2022-08-16 21:35:15
819
原创 AEI: Actors-Environment Interaction with Adaptive Attention for Temporal Action Proposals Generation
在本文中，我们试图通过提出行为者环境交互(AEI)网络来模拟人类的能力，以改进针对时间动作建议生成的视频表示。AEI包含两个模块，即基于感知的视觉表示(PVR)和边界匹配模块(BMM)。PVR通过使用所提出的自适应注意机制来考虑人-人关系和人-环境关系来表示每个视频片段。然后，由BMM通过视频表示来生成行动建议。AEI在ActivityNet-1.3和THUMOS-14数据集中进行了时间动作建议和检测任务，采用两种边界匹配架构(即基于cnn和GCN)和两种分类器(即Unet和PGCN)。...
2022-08-16 19:53:34
815
原创 Low-Fidelity Video Encoder Optimization for Temporal Action Localization LoFi论文阅读笔记
在本文中，作者引入了一种新的低保真度(LoFi)视频编码器优化方法。我们建议在时间、空间或时空分辨率方面减少小批量组成，以便联合优化视频编码器和TAL头，而不是在TAL学习中总是使用完整的训练配置。至关重要的是，这使得梯度能够在TAL监督损失条件下通过视频编码器，有利地解决任务差异问题，并提供更有效的特征表示。大量的实验表明，所提出的LoFi优化方法可以显著提高现有的TAL方法的性能。...
2022-08-16 16:52:11
587
2
原创 G-TAD: Sub-Graph Localization for Temporal Action Detection 论文阅读笔记
作者认为，目前的时序动作检测任务只关注了时间上下文信息但是忽略了语义信息。本文提出了一个图卷积网络(GCN)模型，自适应地将多层次的语义上下文合并到视频特征中，并将时间动作检测作为一个子图定位问题。具体实现上来说，作者将视频片段表示为图节点，将片段-片段相关性表示为边，将与上下文相关的操作表示为目标子图。以图卷积为基本操作，作者设计了一个名为GCNeXt的GCN块，它通过聚合每个节点的上下文来学习每个节点的特征，并动态更新图中的边。......
2022-08-15 20:14:11
275
原创 Fast Learning of Temporal Action Proposal via Dense Boundary Generator DBG论文阅读笔记
DBG由两个模块组成：时间边界分类(TBC)和动作感知完整性回归(ACR)。TBC的目标是通过低级双流特征提供两个时间边界置信图，而ACR的设计是通过高级动作感知特征生成一个动作完整性评分图。此外，我们引入了一个双流BaseNet(DSB)来编码RGB和光流信息，这有助于捕获区分边界和行动特征。...
2022-08-14 21:56:49
190
原创 Bottom-Up Temporal Action Localization with Mutual Regularization BU-TAL阅读笔记
作者认为现有的方法通过将这些阶段建模为单独的分类任务，忽略了它们之间潜在的时间约束。当视频输入的某些帧缺乏足够的判别信息时，这可能会导致不正确或不一致的预测。为了缓解这一问题，本文引入了两个正则化术语来相互规范学习过程：提出了相内一致性(IntraC)正则化来在每个阶段内验证预测；并提出了相间一致性(InterC)正则化以保持这些阶段之间的一致性。...
2022-08-14 19:58:50
220
原创 TSI: Temporal Scale Invariant Network for Action Proposal Generation论文阅读笔记
简单介绍了本文贡献，当前SOTA的方法对短动作检测的准确率很低。本文是第一个分析了样本不均衡问题，并设计了一种新的尺度不变的损失函数来缓解短动作学习不够的问题。为了进一步实现提案生成任务，作者还采用了边界评价和提案完整性回归的pipline。...
2022-08-13 16:47:54
218
原创 Boundary-sensitive Pre-training for Temporal Localization in Videos BSP论文阅读笔记
许多视频分析任务都需要时间定位来检测内容的变化。然而，大多数为这些任务的模型都是在一般的视频动作分类任务上预先训练的。这是由于在未修剪的视频中对时间边界的大规模注释非常耗时。因此，没有合适的数据集可以以一种对时间边界敏感的方式进行预训练。本文首次通过引入一种新的boundary-sensitive pretext(BSP)任务，研究了时间定位的模型预训练。我们建议在现有的视频动作分类数据集中合成时间边界，而不是依赖于昂贵的时间边界的人工注释。...
2022-08-13 14:32:14
302
原创 TSP: Temporally-Sensitive Pretraining of Video Encoders for Localization Tasks论文阅读笔记
由于未修剪的视频占用大量的内存空间，目前SOTA的TAL方法使用了预先处理好的视频特征。这些特征是从视频编码器中提取出来的，它们通常被用于动作分类任务的训练，这使得这些特征不一定适合于时序动作检测。在这项工作中，我们提出了一种新的用于视频片段特征的有监督预训练范式，它不仅训练活动分类活动，还考虑背景剪辑和全局视频信息，以提高时间敏感度。大量的实验表明，使用我们的新的预训练策略训练得到的特征显著提高了最近SOTA方法在三个任务上的性能：时间动作定位、动作建议生成和密集视频字幕。...
2022-08-12 21:52:46
408
原创 Temporal Action Detection with Multi-level Supervision UFA论文阅读笔记
在视频中训练时间动作检测需要大量的标记数据，但这种注释的收集成本很高。将未标记或弱标记的数据合并到训练动作检测模型中，有助于降低标注成本。在这项工作中，我们首先引入了半监督的动作检测(SSAD)任务，并分析了直接将半监督任务应用过来时会出现的错误。为了解决SSAD baselines中的主要问题（动作不完整性），我们利用前景和背景运动之间的“独立性”，设计了一个无监督的前景注意(UFA)模块。然后，我们将弱标记数据合并到SSAD中，并提出了具有三个级别监督的全监督动作检测(OSAD)。...
2022-08-12 18:03:01
295
原创 Video Self-Stitching Graph Network for Temporal Action Localization VSGN论文阅读笔记
视频中的时序动作检测是一个很有挑战性的工作，主要原因是时序动作往往跨度较大。较短的动作在所有动作中占据最大的比例，但是在所有TAL方法中都是得分最低的动作类别。这篇论文中，对于短时间的动作提出了一种多层次，跨尺度的解决方案，即视频自拼接图网络(VSGN)。VSGN中有两个关键的组成部分：视频自拼接（VSS）和跨尺度图金字塔网络（xGPN）。在VSS中，我们专注于一个视频的短周期，并沿着时间维度放大它，以获得一个更大的尺度。...
2022-08-11 22:31:11
465
原创 Single Shot Temporal Action Detection SSAD论文阅读笔记
在 2017 年，T. Lin 等人提出了 single shot temporal action detection(SSAD)模型，整体结构类似于 SSD，该模型先使用预训练好的模型对视频序列提取特征得到特征序列，再使用特征序列作为 SSAD 模型的输入，最终 SSAD 模型输出 TAL 的结果。特征提取部分使用 two stream network、中的 spatial network 提取单帧特征以及其中的 temporal network 来提取光流特征，以及 C3D网络来提取视频片段特征。...
2022-08-10 23:33:48
317
原创 Swin Transformer论文阅读笔记
这篇论文提出了一个新的 Vision Transformer 叫做 Swin Transformer，它可以被用来作为一个计算机视觉领域一个通用的骨干网络。但是直接把Transformer从 NLP 用到 Vision 是有一些挑战的，这个挑战主要来自于两个方面：一个就是尺度上的问题。因为比如说现在有一张街景的图片，里面有很多车和行人，里面的物体都大大小小，那这时候代表同样一个语义的词，比如说行人或者汽车就有非常不同的尺寸，这种现象在 NLP 中就没有。...
2022-08-10 22:08:12
296
原创 Actionformer: Localizing moments of actions with transformers 论文阅读笔记
测试集输入模型的仍然是数据预处理部分提到的 2048 维度的特征，不能达到实时处理的效果，需要先提取视频的特征，这也是该模型的缺点之一。作为第一个 TAL 任务下的 transformer 模型的 ActionFormer 在没有任何数据增广的前提下，mAP 高达 66.5%，也使得 TAL 任务的 mAP 首次达到 60% 以上，取得的 state-of-the-art 的 mAP。模型的Decoder即简单的分类预测头和回归预测头，只是不同于一般的全连接层实现，而使用一个轻量级的1D卷积网络实现。...
2022-08-06 22:51:59
1403
1
原创 Learning salient boundary feature for anchor-free temporal action localization AFSD阅读笔记及代码复现
虽然目前的大多数TAL模型通过使用预定义的锚和大量的操作性获得了良好的结果，但这种方法可能会涉及到大量的输出和与不同锚对应的位置和大小的重量调整。相反，无锚的方法更轻，消除了冗余的超参数，但很少受到关注。在本文中，我们提出了第一种有效的纯无锚定时间定位方法。我们的模型包括(i)一个端到端可训练的基本预测器，(ii)一个基于显著性的细化模块，通过一个新的边界池为每个建议收集更有价值的边界特征，以及(iii)几个一致性约束，以确保我们的模型在给定任意建议时能够找到准确的边界。...
2022-08-06 18:58:45
813
1
原创 Gaussian Temporal Awareness Networks GTAN论文阅读笔记
基于图像帧的 TAL 的常规方法步骤为：通过 1D 的时序通道卷积来获得更大的感受野，然后在此基础上预测动作类别和时序边界。这种方法获得的 proposal 被分配了相同的感受野，然而不同的动作的时序长度是不同的。为了解决这个问题，2019 年，F. Long 等人提出了 GTAN(Gaussian Temporal Awareness Networks)，对每一个 proposal，通过学习一个高斯核来表达时序信息。...
2022-08-05 23:12:05
310
原创 A Pursuit of Temporal Accuracy in General Activity Detection TAG论文阅读笔记
关于activity classification，用了TSN的方法，proposal和gt的IOU大于0.7的被选为正样本，在选取负样本的时候，并不能选取IOU来判断，因为在一个动作片段中有一个小片段的proposal，它的IOU也很小，如果选为负样本，则在分类的时候会混淆。因为如果要对长的视频动作进行提名，需要更大的滑动窗口，因此产生的 prorosal 更多，而后续需要的卷积操作越多，时空开销都更大，而且也无法应对长度不一的视频动作。为了生成时间上的proposal，文章提出了TAG的网络结构。...
2022-08-05 22:42:47
156
原创 BMN: Boundary-Matching Network for Temporal Action Proposal Generation阅读笔记
论文链接：http://arxiv.org/abs/1907.09702论文代码：https://github.com/PaddlePaddle/…（PaddlePaddle）https://github.com/JJBOY/…（Pytorch）原作者知乎解析：https://zhuanlan.zhihu.com/p/75相比“自上而下”的方法，BSN生成的提名具有更加精确的时间边界和更加灵活的持续时间。优点：框架：提出了一种全新的且非常有效的时序提名生成框架，能够产生满足(1)时长灵活(2)边
2022-08-03 21:54:32
409
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人