高清沉浸式体验：基于 RTC 的全景 8K@120fps FoV 实践

VIP文章字节跳动视频云技术团队

已于 2022-09-06 14:14:41 修改

阅读量3.7k

点赞数 2

文章标签： vr 视频编解码实时音视频图像处理视频

于 2022-09-02 11:58:36 首次发布

本文链接：https://blog.csdn.net/zhaoxinyao9/article/details/126659729

版权

1. 行业现状和技术挑战

VR 眼镜的出现与快速发展让“赛博朋克”、“未来世界”不再遥远，通过手柄与音视频画面的互动，人们可以在娱乐、健身时体会到一种全面超越现有音视频的“沉浸式”体验。而在体验云游戏、大型全景赛事互动等应用时，如果想保持这种“身临其境”的“沉浸式”体验，还需要有超高清、高帧率的全景视频源、强劲的传输带宽和超低头动延时（MTP）。

视频源方面，因 VR 眼镜独有的 FOV（Field of View，视场角，VR 设备的重要指标之一，反映视野广度），4K 全景视频在 VR 眼镜上看起来也就只相当于 540P，所以 8K 分辨率视频的分发也仅仅是超高清画质体验的“入门级需求”。另外，一些游戏、体育赛事等内容的视频对帧率也有很高的要求，达到 120fps 才会有较好的体验；传输方面，要实现对这类「富媒体」的超低延时传输则是个很大的挑战，带宽需达到 150Mbps 以上。

VR 眼镜方面，最近两年 VR 一体机技术发展迅速，它 All-in-one 的设计脱离了外部设备的连线束缚，即开即用，受到了市场的广泛欢迎，有逐渐代替 VR 头显之势。不过，“便携”的优点也不可避免地会影响它在解码、渲染、带宽处理上的性能表现，在处理上述 8K@120fps / 150Mbps 的任务时需要进行特殊处理。

当前行业使用的一些解决方案在视频质量/帧率/延时/带宽等各方面做了取舍，导致最终用户体验不太理想：要么是无法忍受的图像质量（低画质），或者是低帧率带来的眩晕（低帧率），又或是无法忍受的延时（高延时），以及巨额的带宽成本（最后一公里全景下发）等，像业内采用的「直播转码」+ 「CDN 分发链路」方案，一方面它的延时较高，无法适用于一些互动性较高的场景；另一方面，由于在云端进行了一次转码，对画质会产生一定的损伤，也会影响用户的“沉浸式”体验。

利用 RTC 传输这类「富媒体」到 VR 一体机可以较好地解决高画质和低延时的问题，但也面临着一些难点。

1.1 8K 和 120 fps 难以兼得

上文已提到，在 VR 场景中，像云游戏、大型展会、赛事等内容的视频，「高分辨率」和「高帧率」缺一不可。然而我们发现，不管是 GPU 还是 VR 一体机的芯片，其编解码能力都无法兼顾到「8K」和「120 fps」性能体验。我们使用了 gpu-z 工具和 Nsight 工具分析了 Nvidia Tesla 硬件的编码能力，分析发现，当视频源达到 8K 分辨率时，单张 Nvidia Tesla 最高只能支持到 8K@60fps，且存在性能波动，一般单张显卡的性能稳定在 8K@50fps。

以下为测试数据：