FFmpeg 7.0预览

最新推荐文章于 2024-05-15 01:59:22 发布

音视频开发进阶

最新推荐文章于 2024-05-15 01:59:22 发布

阅读量363

点赞数

文章标签： ffmpeg

原文链接：https://mp.weixin.qq.com/s?__biz=MzA4MjU1MDk3Ng==&mid=2451533663&idx=1&sn=3b12218d3b71a127a26a129f6e86a9c1&chksm=89225c3d7cd9e8386b84b871d71e0c2649c7957c60e4daec6635726ab8020eea9459b2ef84db&scene=126&sessionid=0

版权

FFmpeg 7.0分支已经创建好了，预计4月份发布。我们来看下7.0的重大更新。

0、维护工作

对于任何成熟的软件，每个版本必然包含大量的bugfix、cleanup。维护工作不会出现在Changelog中，不是吸引眼球的东西，但是人力投入的占比最高，是一个项目长期稳定的保证。

维护工作必须得提两个人，Andreas Rheinhardt做了大量的cleanup和重构，Michael Niedermayer修复了大量的安全漏洞（不要被大量吓到，很多是整型溢出之类问题）以及非代码的维护工作。

1、C语言版本升级——C11

编译FFmpeg执行configure阶段，configure脚本会检查编译器对C语言版本的支持情况。FFmpeg 7.0把对C语言版本要求提高到了C11（注意不要和C++11混淆），如果编译器支持C17，默认使用C17。

如果还在使用陈旧的编译器版本，可能无法编译FFmpeg 7.0了。我不确定具体的编译器版本要求，大致情况是GCC 4.9有完整支持C11，Vistual Studio 2019对C11支持的比较全了。

2、H.266解码器

FFmpeg没有内置的AV1解码器，对FFmpeg项目来说是个沉重的打击，（虽然dav1d项目发展迅速，对AV1标准的推广起了很大作用）。

眼看着FFmpeg H.266又朝着AV1方向发展，只有第三方解码器封装，却不曾想柳暗花明，FFmpeg迎来了自己的H.266解码器，感谢Nuo Mi！

FFmpeg H.264解码器和H.264标准一样，是一代经典。

FFmpeg H.265解码器的实现过程很传奇，是GSOC（Google Summer of Code）项目带来的，但H.265解码器受H.265一滩浑水的专利问题纠缠，命途多舛，有开发、有停滞、有再次恢复生机，总体架构不甚理想。

FFmpeg H.266刚刚起步，还有很多工作要做。Nuo Mi搭建了高效的架构，FFmpeg作为音视频的hub，可以吸引更多资深专家一起完善H.266解码的功能——这是我的理想。现实可能是大厂藏着掖着卷到飞起也说不定

3、FFmpeg命令行多线程重构

FFmpeg命令行多线程重构的工作花了两年多的时间，在7.0版本终于完成了。关于这项工作，已经写过一篇文章《粗略解读FFmpeg cmd多线程重构》。多线程重构的好处就不多说了，最近逐渐发现了多线程重构带来的一些弊端，值得注意。

多线程重构为了提升吞吐量，增加了内存占用。如果纯CPU处理，后台服务器内存容量充足，影响很小。但是对于硬件编解码和filter，增加AVFrame的数量，可能导致GPU内存分配管理异常。这里还需要一些验证工作。

另外一个弊端是多线程重构过程中丢失了部分功能，比如另一篇文章里讲的视频预览功能。

4、ffplay支持硬件解码和渲染

这是我实现的功能，主要是方便开发测试，详见另一篇文档《为ffplay添加硬件解码和渲染》。

5、读写二维码

FFmpeg 7.0支持读写二维码，依赖两个第三方库：libqrencode和libquirc。

一些人可能觉得FFmpeg读写二维码的功能有些奇怪，但我知道QA同学早就在视频质量测试中用上了二维码，不过是用OpenCV来操作的。二维码抗压缩，可以用来检测视频有没有丢帧、重复、乱序等等，有很大发挥空间。当然，最简单的是插小广告……

下面是一个添加二维码的示例，给每一帧打上索引顺序、时间戳、gmtime：

./ffmpeg -hwaccel cuda \
  -i foo.mp4 \
  -fps_mode passthrough \
  -an \
  -c:v hevc_nvenc \
  -vf qrencode=qrcode_width=main_w/5:text="%{n} %{pts} %{gmtime}" \
  -t 60 \
  bar.mp4

效果：

再来识别视频中的二维码：

./ffmpeg -i bar.mp4 -vf quirc -frames 10 -f null -


Found QR code at position 0,0 - 0,384 with payload: 3 0.166000 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 4 0.199333 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 5 0.232667 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 6 0.266000 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 7 0.299333 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 8 0.332667 2024-03-31 14:45:00
Found QR code at position 0,0 - 0,384 with payload: 9 0.366000 2024-03-31 14:45:00

除了打印文字信息，还会把信息加到每一帧的metadata中，供程序处理。

6、avfilter AI框架新增了Libtorch后端

FFmpeg 7.0支持三个后端：TensorFlow、OpenVINO、Libtorch。新增的Libtorch后端是Intel贡献的。

7、FLV支持HDR

Zhu Pengfei实现了Enhanced RTMP标准中的PacketTypeMetadata，从而支持了HDR的能力。

8、Android content URIs protocol

主要是方便Android上文件访问的，见另一篇文章《FFmpeg在Android上读取文件的方法》。

9、D3D12VA硬件加速解码H264, HEVC, VP9, AV1, MPEG-2、VC1

这部分也是Intel贡献的（此处@Nvidia和@AMD）。Windows开发我不熟悉，此处略过。

10、showinfo bitstream filter

FFmpeg本来有个avfilter实现的showinfo，是查看解码后的AVFrame信息的。现在增加了一个bsf showinfo，查看码流packet信息，可以作为一个方便的小工具吧，示例：

./ffmpeg -i foo.mp4 \
  -an \
  -c copy \
  -bsf:v showinfo \
  -f null -


n:      0 size:  21691 pts:0 pt:0 dts:-3600 dt:-0.04 ds:3600 d:0.04 
n:      1 size:     35 pts:3600 pt:0.04 dts:0 dt:0 ds:3600 d:0.04 
n:      2 size:     49 pts:7200 pt:0.08 dts:3600 dt:0.04 ds:3600 d:0.04 
n:      3 size:   4568 pts:14400 pt:0.16 dts:7200 dt:0.08 ds:3600 d:0.04 
n:      4 size:    577 pts:10800 pt:0.12 dts:10800 dt:0.12 ds:3600 d:0.04 
n:      5 size:   5205 pts:21600 pt:0.24 dts:14400 dt:0.16 ds:3600 d:0.04 
n:      6 size:    532 pts:18000 pt:0.2 dts:18000 dt:0.2 ds:3600 d:0.04 
……

11、MPEG-5 Essential Video Coding (EVC)

EVC基本上是和H.266（VVC）一起出来的标准，但推广貌似不太理想。作为一个新标准，FFmpeg里也算是有了支持，是通过第三方库实现的，依赖xevd、xeve这两个库，主要是三星赞助的。发展如何有待时间验证。

12、Loopback decoder

loopback decoder是FFmpeg命令新增的一个功能，它允许将编码器的输出再传给解码器，再走一遍解码、filter等处理，例如：

ffmpeg -i INPUT                                        \
  -map 0:v:0 -c:v libx264 -crf 45 -f null -            \
  -dec 0:0 -filter_complex '[0:v][dec:0]hstack[stack]' \
  -map '[stack]' -c:v ffv1 OUTPUT

看起来可以实现编码后同时输出编码质量信息，对编码器开发同学比较有用。

13、其他

还有些新增的codec和filter等，就不一一介绍了。复制完整Changelog如下：

- DXV DXT1 encoder

- LEAD MCMP decoder

- EVC decoding using external library libxevd

- EVC encoding using external library libxeve

- QOA decoder and demuxer

- aap filter

- demuxing, decoding, filtering, encoding, and muxing in the

ffmpeg CLI now all run in parallel

- enable gdigrab device to grab a window using the hwnd=HANDLER syntax

- IAMF raw demuxer and muxer

- D3D12VA hardware accelerated H264, HEVC, VP9, AV1, MPEG-2 and VC1 decoding

- tiltandshift filter

- qrencode filter and qrencodesrc source

- quirc filter

- lavu/eval: introduce randomi() function in expressions

- VVC decoder

- fsync filter

- Raw Captions with Time (RCWT) closed caption muxer

- ffmpeg CLI -bsf option may now be used for input as well as output

- ffmpeg CLI options may now be used as -/opt <path>, which is equivalent

to -opt <contents of file <path>>

- showinfo bitstream filter

- a C11-compliant compiler is now required; note that this requirement

will be bumped to C17 in the near future, so consider updating your

build environment if it lacks C17 support

- Change the default bitrate control method from VBR to CQP for QSV encoders.

- removed deprecated ffmpeg CLI options -psnr and -map_channel

- DVD-Video demuxer, powered by libdvdnav and libdvdread

- ffprobe -show_stream_groups option

- ffprobe (with -export_side_data film_grain) now prints film grain metadata

- AEA muxer

- ffmpeg CLI loopback decoders

- Support PacketTypeMetadata of PacketType in enhanced flv format

- ffplay with hwaccel decoding support (depends on vulkan renderer via libplacebo)

- dnn filter libtorch backend

- Android content URIs protocol

音视频开发进阶

关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
FFmpeg 7.0预览

FFmpeg 7.0分支已经创建好了，预计4月份发布。我们来看下7.0的重大更新。0、维护工作对于任何成熟的软件，每个版本必然包含大量的bugfix、cleanup。维护工作不会出现在Changelog中，不是吸引眼球的东西，但是人力投入的占比最高，是一个项目长期稳定的保证。维护工作必须得提两个人，Andreas Rheinhardt做了大量的cleanup和重构，Michael Niederma...
复制链接

扫一扫