每个库的功能作用
在 FFmpeg 的编译中可以编译出了6个so动态库:
libavcodec.so
libavfilter.so
libavformat.so
libavutil.so
libswresample.so
libswscale.so
那么每个so库的作用是什么呢,都包含什么功能呢?
libavcodec.so 是一个包含音频/视频编解码器解码器和编码器的库。
libavfilter.so 是一个包含媒体过滤器的库
libavformat.so 是一个包含用于多媒体容器格式的解复用器和封装复用器的库。
libavutil.so 是一个包含简化编程功能的库,包括随机数生成器,数据结构,数学例程,核心多媒体实用程序等等。
libswresample.so 是一个用于执行高度优化的音频重采样,重新矩阵化和采样格式转换操作的库
libswscale.so 是一个执行高度优化的图像缩放和色彩空间/像素格式转换操作的库。
常见的数据结构
1、 AVFormatContext 封装格式上下文结构体,也是统领全局的结构体,保存了视频文件封装 格式相关信息。
iformat:输入视频的AVInputFormat
nb_streams :输入视频的AVStream 个数
streams :输入视频的AVStream []数组
duration :输入视频的时长(以微秒为单位)
bit_rate :输入视频的码率
2、 AVInputFormat 每种封装格式(例如FLV, MKV, MP4, AVI)对应一个该结构体。
name:封装格式名称
long_name:封装格式的长名称
extensions:封装格式的扩展名
id:封装格式ID
一些封装格式处理的接口函数
3、AVStream 视频文件中每个视频(音频)流对应一个该结构体。
id:序号
codec:该流对应的AVCodecContext
time_base:该流的时基
r_frame_rate:该流的帧率
AVCodecContext编码器上下文结构体,保存了视频(音频)编解码相关信息。
codec:编解码器的AVCodec
width, height:图像的宽高(只针对视频)
pix_fmt:像素格式(只针对视频)
sample_rate:采样率(只针对音频)
channels:声道数(只针对音频)
sample_fmt:采样格式(只针对音频)
4、AVCodec 每种视频(音频)编解码器(例如H.264解码器)对应一个该结构体。
name:编解码器名称
long_name:编解码器长名称
type:编解码器类型
id:编解码器ID
一些编解码的接口函数
5、 AVPacket 存储一帧压缩编码数据。
pts:显示时间戳
dts :解码时间戳
data :压缩编码数据
size :压缩编码数据大小
stream_index :所属的AVStream
6、 AVFrame存储一帧解码后像素(采样)数据。
data:解码后的图像像素数据(音频采样数据)。
linesize:对视频来说是图像中一行像素的大小;对音频来说是音频帧的大小。
width, height:图像的宽高(只针对视频)。
key_frame:是否为关键帧(只针对视频) 。
pict_type:帧类型(只针对视频) 。例如I,P,B。
常用的函数
1、libavformat
int avformat_network_init (void)
初始化网络,直播推流、拉流或者播放在线资源会用到。AVFormatContext * avformat_alloc_context (void)
初始化AVFormatContext结构体,解复用或者打开多媒体资源的时候用到。void avformat_free_context (AVFormatContext *s)
使用AVFormatContext,一般情况在调用了一个带有alloc
的函数,都会有一个带有free
的函数相对应。int avformat_open_input (AVFormatContext **ps, const char *url, AVInputFormat *fmt, AVDictionary **options)
打开多媒体资源int av_find_best_stream (AVFormatContext *ic, enum AVMediaType type, int wanted_stream_nb, int related_stream, AVCodec **decoder_ret, int flags)
查找特定类型的流索引。比如视频索引、音频索引等。int av_read_frame (AVFormatContext *s, AVPacket *pkt)
读取流中的下一帧数据void avformat_close_input (AVFormatContext **s)
关闭一个AVFormatContext,一般使用了一个带有open
字段的函数,也会有一个对应的带有close
的函数。
2、libavcodec
avcodec_register_all (void)
注册所有编码器也可以使用avcodec_register (AVCodec *codec)
注册单个编码器。AVCodecContext * avcodec_alloc_context3 (const AVCodec *codec)
初始化分配解码器void avcodec_free_context (AVCodecContext **avctx)
释放解码器int avcodec_open2 (AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options)
打开解码器int avcodec_close (AVCodecContext *avctx)
关闭解码器AVCodec * avcodec_find_decoder (enum AVCodecID id)
根据id查找解码器AVCodec * avcodec_find_decoder_by_name (const char *name)
根据名字查找解码器
结语
今天的内容比较空洞,都是些api的简单解说,有点空中阁楼的感觉。ffmpeg是一个功能强大的库,所以要学好它也不是一时半刻的事情,我们要先能学会用ffpemg做一些简单的编解码工作,大概理解了它的一些规律之后再在这个基础上做一些炫酷的功能。
ffmpeg API官方参考文档https://ffmpeg.org/doxygen/4.1/index.html
最后如果你对音视频开发感兴趣可扫码关注,后续我们共同探讨,共同进步。
技术交流,欢迎加我微信:ezglumes ,拉你入技术交流群。
推荐阅读:
觉得不错,点个在看呗~