FFmpeg关于nb_smples,frame_size以及profile的解释

最新推荐文章于 2025-10-27 22:04:10 发布
原创 最新推荐文章于 2025-10-27 22:04:10 发布 · 置顶 · 1.3w 阅读 · 22 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了FFmpeg中nb_samples、frame_size与profile的概念，特别是针对AAC和MP3编码的差异进行了解析。nb_samples在AVFrame中，frame_size在AVCodecContext中，两者的值可能因编码格式而异。同时，profile是指AVCodecContext中的编码配置。文章提供了一些关键计算示例，并邀请读者加入相关QQ群进行深入交流。

FFmpeg关于nb_smples,frame_size以及profile的解释


原来一直记得固定编码格式需要固定的sample,例如下面：

1) AAC:
nb_samples和frame_size = 1024
一帧数据量：1024*2*av_get_bytes_per_sample(s16) = 4096个字节。
会编码：88200/(1024*2*av_get_bytes_per_sample(s16)) = 21.5帧数据
2) MP3:
nb_samples和frame_size = 1152

最低0.47元/天 解锁文章
【FFmpeg】avcodec_send_frame函数
weixin_42877471的博客
07-03 2775
avcodec_send_frame函数的主要功能是将外部输入的frame送入到编码器中实现编码，函数的实现位于libavcodec\encode.c中，从代码看，主要进行的流程为： （1）输入信息avctx的检查 （2）如果输入的帧frame不存在，设置draining为1，随后将输入的frame存入avctx的buffer中，存入的过程使用encode_send_frame_internal实现 （3）将frame送入编码器进行编码，使用encode_receive_packet_internal实现
ffmpeg学习——音频源
成长之路
10-09 2149
缓冲音频帧，作为滤镜链图中有效的组成（起点）它主要编程使用，特别是通过中的接口进行调用。
FFmpeg总结（十一）用ffmpeg进行转格式，Android下播放网络音频流
欢迎关注公众号：【码农突围】，公号后台回复9999，可以获取一份500页的LeetCode刷题笔记。
05-07 6189
思路： 1、mp3转成pcm(音频数据)，ffmpeg做的事 2、OpenSL ES引擎创建AudioPlayer，实际调用了AudioTrack遇到的错误： Error #include nested too deeply 原因：c文件互相引用 解决方案： 1、将两个头文件共用的那一部分抽出来单独建一个头文件。 2、加预处理#ifndef.. #define…#endif x86平台没有
FFmpeg 基本数据结构 AVFrame分析
给大佬递杯卡布奇诺的博客
10-27 921
核心作用: AVFrame 是原始音视频数据的载体。data 和 linesize: 访问实际像素/样本的关键。理解格式（format）对于正确解释 data 至关重要。linesize 不等于 width * bytes_per_pixel 是常见情况！format: 必须始终检查以知晓如何处理 data。pts/dts/duration: 同步和处理流程的核心。引用计数 (buf): 现代 FFmpeg 内存管理的基石。
ffmpeg音视频编码入门：音频编码（pcm编码aac）
weixin_43796767的博客
05-11 2915
关于frame中nb_samples字段的解释： nb_samples表示一帧音频数据中采样的数量（次数），nb_samples与具体的码流类型和编码级别有关。nb_samples和AVCodecContext中的frame_size相同。 采样率44100Khz，采样格式s16，双声道时： 一秒44100个采样点，一个采样点2字节，总数据量为88200字节；一帧nb_samples次采样，数据量为nb_samples x 2 x 2；一秒有88200/（nb_sample x 4）帧音频。 编码类
FFmpeg音视频开发知识点（一）
流云落尘
04-14 3731
最近在做音视频编解码实时流项目【h323+ffmpeg+rtp】，特意记录一下开发中遇到的部分问题，以及现学现用的部分知识点，前期急急忙忙没认真看，直接拿过来用，用的不对，各种问题，真的一言难尽，最终还是要静下心来认真研究才行；温馨提示：我使用的ffmpeg版本是4.4，不同版本可能有所差异。
【FFmpeg】avformat_write_header函数
weixin_42877471的博客
06-28 2039
函数的功能：分配流私有数据并将流标头写入输出媒体文件;函数的定义位于libavformat\mux.c中，主要的工作流程为： （1）如果没有进行初始化，则进行初始化输出（avformat_init_output） （2）进行头信息的写入（write_header） （3）如果流还没有被初始化，则写入pts（init_pts）
FFmpeg video编码 yuv_h264 （多线程 和profile 定义）
qq_33329316的博客
03-07 1724
函数说明： avcodec_find_encoder_by_name：根据指定的编码器名称查找注册的编码器。 avcodec_alloc_context3：为AVCodecContext分配内存。 avcodec_open2：打开编解码器。 avcodec_send_frame：将AVFrame⾮压缩数据给编码器。。 avcodec_receive_packet：获取到编码后的AVPacket数据。 av_frame_get_buffer: 为⾳频或视频数据分配新的buffer。在调⽤这个函
ffmpeg av_dump_format 信息分析
hjjdebug的专栏
02-12 1093
编码一个文件, 用av_dump_format 打印出了如下信息, 到底是什么意思呢? Output #0, hls, to 'playlist.m3u8': Stream #0:0: Video: h264, yuv420p(tv, progressive), 640x480 [SAR 4:3 DAR 16:9], q=2-31, 2000 kb/s, 25 fps, 90k tbn Metadata: encoder : Lavc58.134.100 libx2...
ffmpeg学习——音频源_nb_samples
2401_86963467的博客
09-11 1208
null（空）音频源会产生未处理的音频帧。它一般用于分析/调试，或作为滤镜可忽略的输入源（例如合成滤镜）生成的流可以与过滤器一起用于过滤音频信号。以采样率48000 Hz ，单声道().使用频率采样方法生成 FIR 系数。使用libflite库合成声音话语。关于库的更多信息，确认。
FFmpeg关于nb_smples,frame_size以及profile的解释 FFmpeg关于nb_smples,frame_size以及profile的解释
xiaoxiaoniaoge的专栏
08-25 1594
ffmpeg关于音频的总结(一) http://blog.csdn.net/zhuweigangzwg/article/details/51499123 FFmpeg关于nb_smples,frame_size以及profile的解释
FFmpeg错误:frame_size (1024) was not respected for a non-last frame解决方法
Eu_king的博客
04-19 1566
该错误是由于传给mp4的音频编码器时帧内的采样点数量不对引起的（没有浅蓝色字符串的行是自行输出的；采样点数量不对是因为用变速滤镜进行了重采样），解决的方法很多，以我的解决方法为例，将滤镜输出的帧先不输入编码器，而是将帧内采样点放入队列，若。上述代码记得在输入编码器后将生成的帧用av_frame_free()释放空间。，而这里每帧只传入819，因此引发了错误。，依次输入编码器，没有引起以上错误且变速正常。
nb_samples(采样数)转换
隔壁老王呀的专栏
09-28 4560
可以参考：https://blog.csdn.net/Martin_chen2/article/details/100103655中的错误案例。 具体方法如下： #define AAC_ENCODE_SIZE 1024 // 定义重采样 SwrContext *swr = NULL; swr = swr_alloc(); av_opt_set_int(swr, "in_channel_layou...
FFMPEG more samples than frame size (avcodec_encode_audio2) 的解决方案
蓝色污点的专栏
11-21 1万+
在实际的项目中，从音频设备采集到的音频的类型和编码器类型(aac ,amr)通常是不一致的。 那么我们首先需要做重采样的过程。利用swr_convert 重新采样。 这时候我们可能会遇到另外一个问题。就是在encode_audio的时候遇到 more samples than frame size (avcodec_encode_audio2)  的问题。 问题的原因在
FFmpeg 音频相关专有名词详解
jeffasd的专栏
05-18 2796
音频相关内容sample:样本 采样SampleRate:采样频率 每秒采样的个数 如aac 44.1khz 每秒采样44.1k次(一秒采样44.1k个sample)BitsPerSample:采样位数 采样位数可以理解为采集卡处理声音的解析度。这个数值越大，解析度就越高，录制和回放的声音就越真实。我们首先要知道：电脑中的声音文件是用数字0和1来表示的。连续的模拟信号按一定的采样频率经数码脉冲取样后
学习FFmpeg简单Samples之音频编码
热门推荐
心流剑的博客
08-11 1万+
实例代码 int audio_Encoder() { int channels = 2; int sampleRate = 48000; int inSampleFmt = AV_SAMPLE_FMT_S16; ///4 初始化编码器 AV_CODEC_ID_AAC AVCodec* codec = avcodec_find_encoder(AV_CODEC_ID_AAC); if (!codec) { std::cout << "avcodec_find_encoder
FFmpeg sample 分析：muxing.c
dongkun152的专栏
12-15 928
FFmpeg sample 分析：muxing.c 本文通过分析ffmpeg中的sample梳理下ffmpeg中各结构的关系。 sample muxing.c /* * Copyright (c) 2003 Fabrice Bellard * * Permission is hereby granted, free of charge, to any person obtaining a copy * of this software and associated documentation fil
ffprobe -show_streams -show_format -print_format json h264_4K_60fps_fail.mp4 ffprobe version 7.0.2-essentials_build-www.gyan.dev Copyright (c) 2007-2024 the FFmpeg developers built with gcc 13.2.0 (Rev5, Built by MSYS2 project) configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-zlib --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-sdl2 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxvid --enable-libaom --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-libfreetype --enable-libfribidi --enable-libharfbuzz --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-dxva2 --enable-d3d11va --enable-d3d12va --enable-ffnvcodec --enable-libvpl --enable-nvdec --enable-nvenc --enable-vaapi --enable-libgme --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libtheora --enable-libvo-amrwbenc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-librubberband libavutil 59. 8.100 / 59. 8.100 libavcodec 61. 3.100 / 61. 3.100 libavformat 61. 1.100 / 61. 1.100 libavdevice 61. 1.100 / 61. 1.100 libavfilter 10. 1.100 / 10. 1.100 libswscale 8. 1.100 / 8. 1.100 libswresample 5. 1.100 / 5. 1.100 libpostproc 58. 1.100 / 58. 1.100 { Input #0, mov,mp4,m4a,3gp,3g2,mj2, from 'h264_4K_60fps_fail.mp4': Metadata: major_brand : isom minor_version : 512 compatible_brands: isomiso2avc1mp41 encoder : Lavf62.3.100 Duration: 00:00:35.52, start: 0.000000, bitrate: 28970 kb/s Stream #0:0[0x1](und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709, progressive), 3840x2160, 28829 kb/s, 59.96 fps, 59.96 tbr, 90k tbn (default) Metadata: handler_name : VideoHandler vendor_id : [0][0][0][0] encoder : Lavc62.11.100 libx264 Stream #0:1[0x2](und): Audio: aac (LC) (mp4a / 0x6134706D), 48000 Hz, stereo, fltp, 192 kb/s (default) Metadata: handler_name : SoundHandler vendor_id : [0][0][0][0] "streams": [ { "index": 0, "codec_name": "h264", "codec_long_name": "H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10", "profile": "High", "codec_type": "video", "codec_tag_string": "avc1", "codec_tag": "0x31637661", "width": 3840, "height": 2160, "coded_width": 3840, "coded_height": 2160, "closed_captions": 0, "film_grain": 0, "has_b_frames": 2, "pix_fmt": "yuv420p", "level": 52, "color_range": "tv", "color_space": "bt709", "color_transfer": "bt709", "color_primaries": "bt709", "chroma_location": "left", "field_order": "progressive", "refs": 1, "is_avc": "true", "nal_length_size": "4", "id": "0x1", "r_frame_rate": "90000/1501", "avg_frame_rate": "90000/1501", "time_base": "1/90000", "start_pts": 1440, "start_time": "0.016000", "duration_ts": 3189625, "duration": "35.440278", "bit_rate": "28829710", "bits_per_raw_sample": "8", "nb_frames": "2125", "extradata_size": 48, "disposition": { "default": 1, "dub": 0, "original": 0, "comment": 0, "lyrics": 0, "karaoke": 0, "forced": 0, "hearing_impaired": 0, "visual_impaired": 0, "clean_effects": 0, "attached_pic": 0, "timed_thumbnails": 0, "non_diegetic": 0, "captions": 0, "descriptions": 0, "metadata": 0, "dependent": 0, "still_image": 0 }, "tags": { "language": "und", "handler_name": "VideoHandler", "vendor_id": "[0][0][0][0]", "encoder": "Lavc62.11.100 libx264" } }, { "index": 1, "codec_name": "aac", "codec_long_name": "AAC (Advanced Audio Coding)", "profile": "LC", "codec_type": "audio", "codec_tag_string": "mp4a", "codec_tag": "0x6134706d", "sample_fmt": "fltp", "sample_rate": "48000", "channels": 2, "channel_layout": "stereo", "bits_per_sample": 0, "initial_padding": 0, "id": "0x2", "r_frame_rate": "0/0", "avg_frame_rate": "0/0", "time_base": "1/48000", "start_pts": 0, "start_time": "0.000000", "duration_ts": 1704960, "duration": "35.520000", "bit_rate": "192194", "nb_frames": "1665", "extradata_size": 2, "disposition": { "default": 1, "dub": 0, "original": 0, "comment": 0, "lyrics": 0, "karaoke": 0, "forced": 0, "hearing_impaired": 0, "visual_impaired": 0, "clean_effects": 0, "attached_pic": 0, "timed_thumbnails": 0, "non_diegetic": 0, "captions": 0, "descriptions": 0, "metadata": 0, "dependent": 0, "still_image": 0 }, "tags": { "language": "und", "handler_name": "SoundHandler", "vendor_id": "[0][0][0][0]" } } ], "format": { "filename": "h264_4K_60fps_fail.mp4", "nb_streams": 2, "nb_programs": 0, "nb_stream_groups": 0, "format_name": "mov,mp4,m4a,3gp,3g2,mj2", "format_long_name": "QuickTime / MOV", "start_time": "0.000000", "duration": "35.520000", "size": "128627770", "bit_rate": "28970218", "probe_score": 100, "tags": { "major_brand": "isom", "minor_version": "512", "compatible_brands": "isomiso2avc1mp41", "encoder": "Lavf62.3.100" } } }
最新发布
12-09
<think>我们分析用户提供的ffprobe输出，重点检查视频流的帧率相关字段： 关键字段分析： 1. `r_frame_rate`（真实帧率）: "90000/1501" ≈ 59.94 fps 2. `avg_frame_rate`（平均帧率）: "90000/1501" ≈ 59.94 fps 3. `duration_ts`（时间戳计数）: 3189625 4. `time_base`（时间基）: "1/90000" 秒 5. `duration`（时长）: 35.440278 秒 6. `nb_frames`（总帧数）: 2125 计算实际帧率： 根据引用[1]中的帧率计算公式： $$ \text{FPS} = \frac{\text{总帧数}}{\text{视频时长(秒)}} $$ 代入数据： $$ \text{FPS} = \frac{2125}{35.440278} \approx 59.94 \text{ fps} $$ 结论：视频本身编码帧率约为59.94fps（符合60fps标准）。 --- ### 播放仅30fps的可能原因分析 #### 1. 解码性能不足（最常见） - **4K分辨率+60fps+H.264 High Profile** 对解码器要求极高 - 关键指标：`has_b_frames=2`（存在B帧）且`refs=1`（参考帧数） - B帧需要双向预测，计算量是P帧的2-3倍 - 设备GPU/CPU无法实时解码 → 自动降帧至30fps播放 #### 2. 播放器设置问题 - 部分播放器默认开启"节能模式"（如VLC的`Skip frames`选项） - 硬件加速未启用（尤其Windows需DXVA2/Mac需VideoToolbox） #### 3. 容器元数据误导 - `format.duration=35.520000`与视频流`duration=35.440278`轻微不一致 - 音频流`duration=35.520000` - 可能导致播放器同步策略出错（丢视频帧保音频） #### 4. 色彩空间不兼容 - `color_space=bt709`（标准色域）无异常 - 但若显示器支持HDR而视频为SDR（无HDR元数据）可能引发兼容性问题 --- ### 解决方案 #### 快速验证方法 ```bash # 1. 使用ffplay强制60fps播放（跳过帧率自适应） ffplay -framedrop -sync video -fflags nobuffer h264_4K_60fps_fail.mp4 # 2. 启用GPU硬解（NVIDIA示例） ffplay -vcodec h264_cuvid h264_4K_60fps_fail.mp4 ``` #### 永久修复方案 | 问题类型 | 修复方案 | |----------------|--------------------------------------------------------------------------| | **性能不足** | 转码降低复杂度：<br>`ffmpeg -i input.mp4 -vf "scale=1920:-1" -r 60 output.mp4` | | **播放器设置** | VLC：工具→偏好设置→视频→跳过帧→选择"全部" | | **元数据修复** | 重封装：`ffmpeg -i input.mp4 -c copy -movflags +faststart fixed.mp4` | | **强制硬解** | Windows：安装LAV Filters配置DXVA2[^4] | --- ### 帧率验证脚本 ```bash #!/bin/bash # 计算实际播放帧率（需安装ffmpeg） ffmpeg -i "$1" -vf fps=fps=60 -f null - 2>&1 | \ awk '/frame=/ {print $2}' | \ tail -1 ``` 运行：`./check_fps.sh h264_4K_60fps_fail.mp4` 输出示例：`2125 frames`（实际解码帧数） --- §§ 相关问题 §§ 1. 如何检测视频解码过程中的GPU使用率？ 2. 为什么B帧会增加视频解码的计算复杂度？[^1] 3. 使用FFmpeg修复损坏的MP4容器有哪些高级参数？ 4. 4K 60fps视频对播放设备的硬件要求是什么？[^3] </think> ### 分析视频播放帧率仅30fps的原因（预期60fps） 根据您提供的 `ffprobe` 数据，以下是系统化的问题诊断： #### 1. **实际帧率验证（核心问题）** [^1] - **关键字段分析**： - `r_frame_rate`：90000/1501 ≈ **59.94 fps**（理论值） - `avg_frame_rate`：90000/1501 ≈ **59.94 fps** - `nb_frames`：2125（总帧数） - `duration`：35.440278 秒（视频流时长） - **帧率计算**： $$ \text{实际帧率} = \frac{\text{nb\_frames}}{\text{duration}} = \frac{2125}{35.440278} \approx 59.94 \text{ fps} $$ **结论**：视频本身是 **59.94fps（≈60fps）**，问题出在**播放环节**。 --- #### 2. 播放帧率下降的四大原因 ##### ① **解码性能不足**（最常见） - **证据**： - 4K分辨率（3840×2160） - H.264 High Profile（高压缩率） - `has_b_frames=2`（存在B帧，解码复杂度高） - **影响**： 设备无法实时解码60fps 4K视频 → **自动降帧至30fps** ##### ② **时间戳异常** - **异常点**： - 视频流 `start_pts=1440`（延迟0.016秒） - 音频流 `start_pts=0`（无延迟） - **后果**： 音视频不同步 → 播放器丢弃视频帧保同步 ##### ③ **容器元数据冲突** - **矛盾数据**： - 视频流 `duration=35.440278s` - 容器层 `format.duration=35.520000s`（差0.08s） - **影响**： 播放器按容器时长计算帧率 → 错误判定为： $$ \text{误算帧率} = \frac{2125}{35.52} \approx 59.82 \text{ fps} \xrightarrow{\text{取整}} 30 \text{ fps} $$ ##### ④ **播放器限制** - **硬件加速未启用**： 未调用DXVA2/NVDEC等硬件解码[^4] - **节能模式**： 部分播放器在4K下自动限帧 --- ### 解决方案 #### 方法1：启用硬件加速（首选） ```bash # NVIDIA GPU硬解 ffplay -hwaccel cuda -i h264_4K_60fps_fail.mp4 # Intel QuickSync硬解 ffplay -hwaccel qsv -i h264_4K_60fps_fail.mp4 ``` #### 方法2：修复容器元数据 ```bash ffmpeg -i h264_4K_60fps_fail.mp4 -c copy -movflags +faststart fixed.mp4 ``` #### 方法3：转码降复杂度 ```bash # 移除B帧（降低解码压力） ffmpeg -i input.mp4 -bf 0 -c:v libx264 -preset fast output.mp4 # 降分辨率保帧率（4K→1080p） ffmpeg -i input.mp4 -vf "scale=1920:-1" -r 60 output.mp4 ``` #### 方法4：播放器设置调整 - **VLC**： `工具 → 偏好设置 → 视频 → 跳过帧 → 选择"全部"` - **MPV**： 创建 `mpv.conf` 添加： ```ini vo=gpu hwdec=auto-safe ``` --- ### 验证工具 ```bash # 实时查看解码帧率 ffplay -stats -vf "fps=fps=60" h264_4K_60fps_fail.mp4 # 检查硬件解码状态（Windows） ffmpeg -hwaccel d3d11va -i input.mp4 -f null - ``` > **关键结论**： > 视频编码正常（59.94fps），问题源于 **解码性能不足+元数据冲突**，优先尝试硬件加速方案。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值