试听分割-AVS-技术核心

计算机视觉-Archer

已于 2022-12-07 17:24:54 修改

阅读量110

点赞数

分类专栏：读论文（SOD-COD-图像分割-Diffusion）文章标签：算法

于 2022-11-30 23:00:48 首次发布

本文链接：https://blog.csdn.net/zjc910997316/article/details/128123922

版权

读论文（SOD-COD-图像分割-Diffusion）专栏收录该内容

38 篇文章 38 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了AVS技术在试听分割中的应用，涵盖了整体网络结构，视频与音频的交互方式，并展示了实验效果。通过使用作者提供的代码，实测了半监督（15epoch）和全监督（30epoch）两种不同数据集的训练设置。

摘要由CSDN通过智能技术生成

整体网络结构介绍

视频-音频交互方式

 def tpavi_va(self, x, audio, stage):
        # x: visual, [B*T, C=256, H, W]
        # audio: [B*T, 128]
        # ra_flag: return audio feature list or not
        tpavi_b = getattr(self, f'tpavi_b{stage+1}')
        audio = audio.view(-1, 5, audio.shape[-1]) # [B, T, 128]
        x = self.pre_reshape_for_tpavi(x) # [B, C, T, H, W]
        x, a = tpavi_b(x, audio) # [B, C, T, H, W], [B, T, C]
        x = self.post_reshape_for_tpavi(x) # [B*T, C, H, W]
        return x, a