RTP介绍

一、简介

Real-time Transport Protocol(实时传输协议)  具体参考rfc3350介绍 

可负载H264、H265、G711A、AAC、PS、私有流等各种数据。

二、格式

RTP 固定头部格式如下

  

 

version   (V):  2bits RTP协议版本号 目前协议版本为2

padding (P):  1bit  填充位  设置成1，表示尾部有填充数据。最后一个字节表示 填充数据长度

extension (X): 1bit  扩展位，设置成1，表示固定头部后面有扩展头

CSRC count (CC): 4bits CSRC个数, 每个CSRC占4字节

marker (M): 1bit  不同的有效载荷有不同的含义，对于视频，标记一帧的结束；对于音频，标记会话的开始。

payload type (PT): 7bits 负载类型  可参考rfc35511 目前视频主要用96后表示

sequence number: 16bits 包序号 用于标识发送者所发送的RTP报文的序列号，每发送一个报文，序列号增1。接收者通过序列号来检测报文丢失情况，重新排序报文，恢复数据。

timestamp: 32bits 时间戳 同一帧数据时间戳相同

SSRC: 32bits 同步信源标识符 

CSRC list: 32bits  0-15个, 每个占32bits 由CC决定个数

RTP 扩展头部格式如下

 

第3~4字节表示扩展数据长度,后面跟扩展数据。

三、负载数据

RTP负载H264

参考rfc6184 rtp负载h264

packetization-mode(打包模式)  该字段在sdp中体现。其中RTSP是在 DESCRIBE响应中携带。

0或不存在  Single NAL unit mode 单一nalu单元模式

1-Non-interleaved mode 非交织模式 目前最常见

2-Interleaved mode  交织模式 

目前RTP库支持0和1模式

Nal Unit 如下

F : 1bit 禁止位

NRI: 2bits  nal_ref_idc nal 用于指示该 nalu 的重要性

Type: 5bits  nal_unit_type

不同打包模式支持的打包方式如下:

Single NAL unit mode 支持NAL unit

Non-interleaved mode 支持NAL unit、STAP-A、FU-A(最常见)

Single NAL unit Packet(单一打包)

当一帧数据小于MTU时候，可采用该方式打包, 去掉起始头(000001) 

FU-A分片模式

当一帧长度过长时候，可选择FU-A分片模式打包， RTP负载格式如下

 

H264 Nalu头和RTP FU indicator FU header关系如下

FU-A头部由2个字节组成, FU indicator和FU header各占一个字节

FU indicator如下

 

type=28 

FU header如下

S: 1bit   分片开始描述符  1-表示开始 0-不是开始

E: 1bit  分片结束描述符  1-表示结束 0-不是结束

R: 1bit  保留位

Type:  5bits  NAL Unit type  对应H264中的nalu type。

RTP负载H265

参考rfc7798 rtp负载h265 

NAL Unit Header如下

F: 1bit 禁止位
Tyep: 6bits nal unit type

LayerId:  6bits  表示NAL所在的Access unit所属的层，该字段是为了HEVC的继续扩展设置。也就是目前都是0

TID:  3bits 指定nal单元加1的时间标识符。时间id的值等于tid-1，tid的值为0是非法的，

Single NAL unit Packet(单一打包)

PayloadHer: 负载头  从H265 NAL unit复制过来  Type值为1~47

DONL(Decoding Order Number): 解码序列号

Fragmentation Units(分片包)

H265 Nalu头和RTP FU indicator FU header关系如下

PayloadHer 中Type=49

FU header如下

    S : 1bit 分片开始描述符  1-表示开始 0-不是开始

    E:  1bit 分片结束描述符  1-表示结束 0-不是结束

    FuType: 6bits 表示Nal Unit的类型 和h265中的nal_unit_type取值相同

RTP负载通用数据

包括负载G711A, G711U, PS等数据 可直接负载

RTP负载AAC

参考rfc3640rtp负载aac

需剥掉adts头。