H.264 - tag - 沐木https://oldletter.cn/tags/h.264/H.264 - tag - 沐木Hugo -- gohugo.iozh-cnSat, 11 Jul 2026 00:00:00 +0000实时视频（二）：RTP 解包、Access Unit 与关键帧等待https://oldletter.cn/posts/rtsp-browser-02-rtp-access-unit/Sat, 11 Jul 2026 00:00:00 +0000mumuhttps://oldletter.cn/posts/rtsp-browser-02-rtp-access-unit/

系列导航：8 | 9 | 10

RTP 一个包不等于一帧视频。H.264 和 H.265 都支持单 NAL、聚合和分片，网络还会产生乱序、重复、丢包和序列号回绕。播放器下游需要的是带时间戳、关键帧标记、参数集版本和完整性结果的 Access Unit，不能把 RTP 细节继续泄漏到渲染代码。

扩展序列号和乱序窗口

每个 SSRC 维护自己的序列号状态。RTP 序列号是 16 位，扩展序列号需要根据已记录的基准判断回绕方向。实现不应直接用普通整数比较，否则从 65535 到 0 会被当成大范围乱序。

乱序缓冲保存包、到达时间和期望序列号。窗口按包数或时间限制，窗口到期就记录缺口并决定丢弃当前 NAL。重复包不再次拼接，但计入重复指标。SSRC 变化时切换独立状态，不能把两路源的分片放进同一缓冲。

flowchart TD Packet[RTP 包] --> Header[校验 RTP 头与 SSRC] Header --> Order[扩展序列号与乱序窗口] Order --> Payload{负载类型} Payload --> Single[单 NAL] Payload --> Aggregate[聚合包拆分] Payload --> Fragment[分片重组] Single --> AU[按时间戳组 Access Unit] Aggregate --> AU Fragment --> AU AU --> Check[完整性与参数集检查] Check --> Key[关键帧等待或交付]

H.264 与 H.265 负载解析

H.264 常见单 NAL、STAP-A 和 FU-A。H.265 使用不同的 NAL 头以及聚合和分片类型，NAL 类型所在的位段不能直接复用 H.264 的掩码。聚合包每个单元带长度字段，解析前检查长度不超过剩余字节；一项越界，整个 RTP 包丢弃。

]]>