h264解码之自定义信息（SEI）

最新推荐文章于 2024-09-06 11:22:11 发布
最新推荐文章于 2024-09-06 11:22:11 发布
阅读量1k 收藏
点赞数
分类专栏： 音视频 文章标签： 音视频
原文链接：https://blog.csdn.net/y601500359/article/details/80943990
版权

    参考博客：https://www.jianshu.com/p/4d9120dfcd69

NAL header

起始码（暗红底色）"0x00000001"分割出来的比特流即是NAL unit，起始码紧跟的第一个字节(墨绿底色)是NAL header。上图“NAL header”一共出现了四个数值：

"0x06"，此时NRI为"00B"，NAL unit type为SEI类型。
“0x67”，此时NRI为“11B”，NAL unit type为SPS类型。
“0x68”，此时NRI为“11B”，NAL unit type为PPS类型。
“0x65”，此时NRI为“11B”，NAL unit type为IDR图像。
SEI payload type

"0x06"后一个字节为“0x05”（淡黄底色）是SEI payload type，即表征SEI payload分析遵循user_data_unregistered()语法。

在国标中。sei payload type为5，为自定义消息：如图    

 

SEI payload size

“0x05”后一个字节为“0x2F”（淡蓝底色）是SEI payload size，此时整个payload是47个字节。

SEI payload uuid

"0x2F"随后的16个字节即为uuid，此时uuid为：

dc45e9bde6d948b7962cd820d923eeef
SEI payload content

由于payload size是47个字节，除去16字节的uuid，剩下31个字节的content。由于content是字符串，所以有结束符"0x00"，有效的30个字符内容是

Zencoder Video Encoding System
 

rbsp trailing bits
47个payload字节后的"0x80"（灰底色）即是rbsp trailing bits，在user_data_unregistered()里面都是按字节写入的，所以此时的NAL unit结尾写入的字节一定是0x80。

下面开始解析一段含SEI信息的H264数据，数据中包含，坐标信息，人员信息，先把代码贴出来，再一一说明代码中的各个部分：

注：已经去除起始码00 00 00 01了

可参考：https://blog.csdn.net/ab7936573/article/details/74135909

unsigned char* data_buf = NULL;
if ((data[0] & 0x1F) == 6)//判断是否是SEI
{
    int nCount = 0;
 
    unsigned char buf[1602] = { 0 };
    int nType = 0;
    unsigned char * sei = (unsigned char *)(data + 1);
    nCount = size;
        //获取SEI信息：payload size、payload type、uuid
    int nsize = get_sei_buffer(sei, ((unsigned char*)data + size - sei), buf, &nCount, &nType);
    if (5 == nType)//判断为5，自定义消息user_data_unregistered()
    {
        int nSd_Type = buf[0];
 
        if (1 == nSd_Type)
        {
            unsigned int nSd_Num = buf[1];
            m_nNumSize = nSd_Num;
 
            //max 100
            if (m_nNumSize > 100)
            {
                m_nNumSize = 100;
            }
 
            if (nSd_Num > 0)
            {
                for (int i = 0; i < m_nNumSize; i++)
                {
                    BYTE buffer[8];
                    //解析人脸框坐标
                    buffer[0] = buf[i * 16 + 2];
                    buffer[1] = buf[i * 16 + 3];
                    unsigned short number = (buffer[0] << 8) + buffer[1];
                    m_pFaceInfo[i].face_x = number;
 
                    buffer[2] = buf[i * 16 + 4];
                    buffer[3] = buf[i * 16 + 5];
                    number = (buffer[2] << 8) + buffer[3];
                    m_pFaceInfo[i].face_y = number;
 
                    buffer[4] = buf[i * 16 + 6];
                    buffer[5] = buf[i * 16 + 7];
                    number = (buffer[4] << 8) + buffer[5];
                    m_pFaceInfo[i].face_w = number;
 
                    buffer[6] = buf[i * 16 + 8];
                    buffer[7] = buf[i * 16 + 9];
                    number = (buffer[6] << 8) + buffer[7];
                    m_pFaceInfo[i].face_h = number;
 
                    //解析人员信息
                    //buffer[8] = *buf++;
                    m_pFaceInfo[i].usrSex = buf[i * 16 + 10];
                    m_pFaceInfo[i].userAge = buf[i * 16 + 11];
                    m_pFaceInfo[i].userHairstyle = buf[i * 16 + 12];
                    m_pFaceInfo[i].userHat = buf[i * 16 + 13];
                    m_pFaceInfo[i].userBrow = buf[i * 16 + 16];
                    m_pFaceInfo[i].userGlasses = buf[i * 16 + 14];
                    m_pFaceInfo[i].userMask = buf[i * 16 + 17];
                    m_pFaceInfo[i].userRace = buf[i * 16 + 18];
                }    
            }
        }
    }
    
    return;
}
       
get_sei_buffer如下：

int get_sei_buffer(unsigned char * data, uint32_t size, unsigned char * buffer, int *count, int *nType)
{
    unsigned char * sei = data;
    int sei_type = 0;
    unsigned sei_size = 0;
    //payload type  
    do {
        sei_type += *sei;
        *nType = sei_type;
    } while (*sei++ == 255);
    //数据长度  
    do {
        sei_size += *sei;
    } while (*sei++ == 255);
 
    //检查UUID  
    static unsigned char uuid[] = { 0x73, 0x74, 0x64, 0x74, 0x73, 0x74, 0x64, 0x74, 0x73, 0x74, 0x64, 0x74, 0x73, 0x74, 0x64, 0x74 };
 
    if (sei_size >= UUID_SIZE && sei_size <= (data + size - sei) &&
        sei_type == 5 /*&& memcmp(sei, uuid, UUID_SIZE) == 0*/)
    {
        sei += UUID_SIZE;
        sei_size -= UUID_SIZE;
 
        if (buffer != NULL && count != NULL)
        {
            if (*count > (int)sei_size)
            {
                memcpy(buffer, sei, sei_size);
            }
        }
 
        *count = sei_size;
 
        return sei_size;
    }
    return -1;
}
 //获取SEI信息：payload size、payload type、uuid
    int nsize = get_sei_buffer(sei, ((unsigned char*)data + size - sei), buf, &nCount, &nType);
    if (5 == nType)//判断为5，自定义消息user_data_unregistered()
    {
        int nSd_Type = buf[0];
 
        if (1 == nSd_Type)
        {
            unsigned int nSd_Num = buf[1];
            m_nNumSize = nSd_Num;
 
            //max 100
            if (m_nNumSize > 100)
            {
                m_nNumSize = 100;
            }
 
            if (nSd_Num > 0)
            {
                for (int i = 0; i < m_nNumSize; i++)
                {
                    BYTE buffer[8];
                    //解析人脸框坐标
                    buffer[0] = buf[i * 16 + 2];
                    buffer[1] = buf[i * 16 + 3];
                    unsigned short number = (buffer[0] << 8) + buffer[1];
                    m_pFaceInfo[i].face_x = number;
 
                    buffer[2] = buf[i * 16 + 4];
                    buffer[3] = buf[i * 16 + 5];
                    number = (buffer[2] << 8) + buffer[3];
                    m_pFaceInfo[i].face_y = number;
 
                    buffer[4] = buf[i * 16 + 6];
                    buffer[5] = buf[i * 16 + 7];
                    number = (buffer[4] << 8) + buffer[5];
                    m_pFaceInfo[i].face_w = number;
 
                    buffer[6] = buf[i * 16 + 8];
                    buffer[7] = buf[i * 16 + 9];
                    number = (buffer[6] << 8) + buffer[7];
                    m_pFaceInfo[i].face_h = number;
 
                    //解析人员信息
                    //buffer[8] = *buf++;
                    m_pFaceInfo[i].usrSex = buf[i * 16 + 10];
                    m_pFaceInfo[i].userAge = buf[i * 16 + 11];
                    m_pFaceInfo[i].userHairstyle = buf[i * 16 + 12];
                    m_pFaceInfo[i].userHat = buf[i * 16 + 13];
                    m_pFaceInfo[i].userBrow = buf[i * 16 + 16];
                    m_pFaceInfo[i].userGlasses = buf[i * 16 + 14];
                    m_pFaceInfo[i].userMask = buf[i * 16 + 17];
                    m_pFaceInfo[i].userRace = buf[i * 16 + 18];
                }    
            }
        }
    }
    
    return;
}
 
————————————————
版权声明：本文为CSDN博主「SunkingYang」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/y601500359/article/details/80943990

460833359
关注
专栏目录
ffmpeg中如何设置不含SEI，如何自定义SEI
宝安小雨
12-29 2128
AV_CODEC_FLAG_GLOBAL_HEADER可以使得编码后的数据中包含编码器全局头部信息，而AV_CODEC_FLAG_BITEXACT可以使得编码后的数据与输入的数据完全一致，也就是不会包含SEI数据。需要注意的是，如果使用了AV_CODEC_FLAG_GLOBAL_HEADER标志，则在编码后的数据中会包含编码器的全局头部信息，而不是每个帧的头部信息。通常，在编码时向SEI信息中添加所需的信息，在解码时按照SEI信息的指示进行处理。4.如何设置自定义的SEI信息。ffmpeg5.0.2版本。
H264协议文档 T-REC-H.264-201704-I!!PDF-E.pdf
05-29
H264协议文档 2017 带书签 T-REC-H.264-201704-I!!PDF-E
H264/265 SEI 简介
qq_34999565的博客
03-17 2262
在音频和视频流中，补充增强信息（SEI）是插入到比特流中的附加数据，以传达额外的信息，这些信息可以与相关的音频和视频内容精确同步接收。在音视频内容的编码和传输过程中可以插入SEI。可以在SEI中添加各种类型的信息，例如相机或编码器的参数, 事件戳，隐藏式字幕，歌词，和版权信息。虽然标准定义了如何将 SEI 消息插入码流的语法和语义，但并不要求解码器能够处理此信息。因此，如果设备不支持 SEI 数据，则 SEI 数据可能会在内容分发链中的某个时间点被丢弃。
h264 视频流中添加目标检测的位置、类型信息到SEI帧
melonbo的专栏
09-06 699
在 H.264 视频编码中，SEI（Supplemental Enhancement Information）消息用于传输额外的、非编码的数据，例如目标检测的信息。SEI 数据可以嵌入到 H.264 流中，以在解码过程中传递这些附加信息。
【编解码】从零开始写H264解码器(7) SEI解析
YoYo的桃子树
05-08 2612
1. 引言 解析完了SPS和PPS，按照NAL type，下一个可以介绍SEI。 不过SEI在码流不是必须的，重要性并没有SPS，PPS，slice那么高。 解析方式也很简单，都没有用熵编码。 先开一章简单记录一下即可。 2. SEI 是什么？ SEI: 补充增强信息（Supplemental Enhancement Information） 个人感觉就是当用户： 想在码流里传输一些自己的数据流，属于自有协议，未在H264协议中明确规定协议的数据流， 或者是传输H264规定的一些增强信息但不是必须信息的数
SEI(Supplemental Enhancement Information)
snowsnowsnow1991的博客
10-24 4117
流媒体是采用流式传输方式在网络上播放的媒体格式，视频网站内容、短视频、在线直播这些视频形态，均属于流媒体的不同分支。流媒体大致包含三个层级：码流、封装和协议。从音视频编码器输出的码流，经过某种封装格式后，经过特定的协议传输、保存，构成了流媒体世界的基础功能。 在直播应用的开发过程中，如果把主播端消息事件传递到观众端，一般会以Instant Messaging（即时通讯）的方式传递过去，但因为消息...
h264 sei信息 解码_H264解码之读取本地H264文件
weixin_39813009的博客
12-21 374
读取本地文件，并逐帧读取：onReadThread()：void RtspVideo::onReadThread(){// 解码参数char *virInBuf = new char[MAX_DECODER_INPUT_BUFFER_SIZE];//初始化文件读入bufif (init_frame_parser() < 0) {fprintf(stderr, "Error: init fra...
FFmpeg - 推流rtsp/rtmp实时加入sei自定义信息，附添加发送与接收解析代码
02-08
本资源包含完整的Vs+Qt+FFmpeg代码。 资源介绍：https://blog.csdn.net/automoblie0/article/details/124830219 资源视频介绍：...【视频中展示的软件效果即是本资源的完整代码】
h264中插入自定义sei的代码
最新发布
11-01
在H.264中插入自定义SEI的具体代码会依赖于使用的编码库，例如FFmpeg或OpenH264等。这里提供一个基于FFmpeg的基本示例，假设我们有一个自定义SEI的数据结构`CustomSEIData`： ```cpp #include <ffplay.h> // 使用...
h264编码解码源代码
12-23
学习和理解H264编码解码源代码有助于深入掌握视频编解码原理，对于开发自定义的编解码器、优化视频处理应用或进行视频分析研究都至关重要。源代码分析通常涉及C或C++语言，以及对位操作、内存管理、多线程等编程技术...
H264编解码代码
07-05
学习H264编解码代码有助于开发者深入理解视频编码原理，优化编码算法，或者为自定义的编码器和解码器提供参考。在实际应用中，如视频会议、在线流媒体、监控系统等领域，H264的高效编码性能使其成为首选标准。通过...
H264中文协议
08-12
Draft ITU-T Recommendation and Final Draft International Standard of Joint Video Specification (ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC) 加了中文注释的
H.264里的SEI——自定义信息（SEI）
weixiao的博客
11-29 1506
参考： 笔记---H.264里的SEI - 简书 h264解码之自定义信息（SEI）_技术联盟-CSDN博客_h264 sei
【网络通信 -- 直播】视频流编码 -- H.264 SEI 简介 (可用于在 RTMP/RTSP 中传输自定义数据)
CopperSun 技术博客
01-10 3617
【网络通信 -- 直播】视频流编码 -- H.264 SEI 简介 (可用于在 RTMP/RTSP 中传输自定义数据) 【1】H264 中 SEI 基础知识点总结 SEI (Supplemental Enhancement Information)，NALU 单元类型为 6，用于提供与图像编解码无关的补充信息； SEI 数据包与 H264 码流序列的关系图示 SEI 的语法格式 【2】使用 SEI 传输数据的优势 1. 不依赖于相关协议，rtsp 和 rtmp 都可以传输 SEI 数.
FFmpeg在h264添加SEI
CoolYang666的博客
09-01 1794
h264头解析网上挺多的，要添加自定义sei数据还是需要先了解一下 作者：sun_cube https://www.bilibili.com/read/cv11534285/ 出处：bilibili
H264的NAL解析
weixin_49071468的博客
04-21 1450
H264的NAL解析 在H.264/AVC视频编码标准中，整个系统框架被分为了两个层面：视频编码层面（VCL）和网络抽象层面（NAL）。其中，前者负责有效表示视频数据的内容，而后者则负责格式化数据并提供头信息，以保证数据适合各种信道和存储介质上的传输。 一段h.264的码流通常是由多个GOP组成的，GOP内一般包含1sps+1pps+1sei+1I帧+若干p帧（加上B帧一共有6种单元结构）。
H264码流插入自定义数据（SEI字段）
梅梅梅的博客
06-14 6321
以H264码流为载体，在H264码流中插入自定义数据，改造后的H264码流保持原本的结构，可以在解码器中正常播放
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值