- 博客(30)
- 资源 (3)
- 收藏
- 关注
原创 字幕的解析、画布与上屏路,加三个真实事故
字幕看着是把字画到屏幕上,实际是三条完全不同的渲染路径:特效字幕自带排版语言,图形字幕是一摞带时间戳的位图,文本字幕才真的是「画字」。三条路的产物最后要汇到同一个地方、按同一套规矩上屏,汇不拢,后面的坑全在这上面。这篇拆这条链,外加三个修过的事故——换轨必崩、黄字变青、整行方框。这篇讲播放器字幕从文件到屏幕这条链:特效(ASS/SSA)、图形(PGS)、文本(SRT/mov_text/ASR)三类字幕三条渲染路,产物统一成一块按内容包围盒裁出的透明画布、以 sourceOver 叠到画面上;
2026-11-16 18:18:09
42
原创 RTSP 点播回放的包时间重写与首包锚定
本地文件拖进度条,是把读的位置挪一下;RTSP 点播不行,播放器手里没有索引,只能发一条带目标时间的命令,画面跳到哪里由服务器决定。麻烦在后面:画面跳对了,包上的时间戳却经常和画面对不上——它可能接着 seek 之前的位置继续涨,也可能跳了,但跳的量不等于真跳过的时长。时间在这里不是天然可信的输入。这篇讲脱钩怎么发生、怎么在包入口把它修回来。这篇讲 RTSP 点播(录像回放)的 seek 和本地文件为什么不是一回事:播放器手里没有索引,只能发一条带目标时间的播放命令,画面由服务器定位。
2026-11-15 19:33:55
277
原创 变速不变调与只解关键帧的 I 帧模式
用户手里的倍速是一条档位滑杆,引擎里接住的却不是一档参数:四倍是一条线,线两边各有一套跑法。四倍以内每帧都解,音频变速不变调,画面靠丢帧追节奏;四倍以上解码已经追不上播放速度,整条链换成 I 帧模式——非关键帧在进包处就丢掉,音频整条退出,进度条换判据。这篇讲两边的跑法,以及从一边切到另一边时撞上的时序问题。
2026-11-12 18:15:50
193
原创 seek 的落点三档、精确选项与换解码器的收尾
拖进度条,跳过去只是第一步;跳到之后从哪一帧开始解,才是这条路上真正费心的事。落点上可能压着一条真 IDR,可能只有 open-GOP 的恢复点,也可能落在 P、B 帧中间——三种落点三种起步方式,挑错了就是冻住的画面或者几秒黑屏。这篇讲落点的三档入口、默认关着的精确 seek 选项,还有播放中换软硬解时那一下怎么接。素材多来自高清修复版片源:超长的图像组,甚至整条流没有一个真 IDR。
2026-11-11 18:15:20
226
原创 WebRTC 推流侧的源、编码器适配器与入口
前几篇都是拉流这头:WebRTC 的流进来,解码渲染归播放器。这篇是推流那头:WebRTC 自带的源和编码器用不上项目已有的东西——各平台的硬编、截屏与摄像头这些采集源、滤镜水印那层图像处理。不改它的网络层,又要把这些用上,做法是在中间架四个适配器:两个把项目的源桥成它的轨道源,两个把项目的编码器桥成它的编码器接口,顶上一个统一入口把信令、数据流和渲染拼在一起。这篇讲四个适配器各接在哪、数据怎么走、码率谁说了算。
2026-11-10 18:16:21
267
原创 双向视频通话的五段链路与 annexb/avcc 互转
两台设备互看,一台拍一台看,方向反过来也一样。这条链拆开是五段:拉流、解码、图像处理、编码、推流,每段都留了不止一种做法——拉流推流可以在两套实现里挑,解码编码可以在软硬之间挑。真正麻烦的地方不在段内,在段与段的接缝上:同是 H264/H265,网络来的和文件里装的格式不一样,各平台编码器吐出来的也不一样,接错了缝画面就花。这篇讲五段各自的可换点,以及码流格式怎么判、怎么转、配置帧按什么顺序给。
2026-11-09 18:34:02
128
原创 WebRTC 拉流侧的解码工厂、帧形态与时间戳
这篇讲 WebRTC 拉流侧怎么把画面与声音接进自己的播放器:不动它的代码、只从工厂开口子;解码适配器进出的两次转换;时间戳为什么 pts 与 RTP 都要设;接管帧的两种形态;以及 AAC 怎么插进原有的音频工厂。
2026-11-08 18:16:32
439
原创 WebRTC 3A 的格式归一、重采样与两个接入点
这篇讲 WebRTC 的 3A 怎么接进录音链:回声消除、降噪、自动增益各是什么、为什么自己写不现实;进处理前的四条归一规则(44100 改 48000、非 S16 转 S16、超双声道收到双声道、任意长度切 10ms);重采样与分段为什么沉到基类、10ms 为什么是 1920 字节;以及音频源与音频渲染两处接入点各截在哪。
2026-11-07 18:15:32
346
原创 WebRTC 的环境准备、GN 参数与 Android 工具链
要在自己的工程里用 WebRTC 的音频处理和解码工厂,得先把 WebRTC 这个库编出来。它不走常规的 CMake:代码用 depot_tools 拉,构建用 GN 配、ninja 跑。这篇写编译前要备的东西、拉代码与补依赖、GN 的几条摸底命令、Android 上的 STL 命名空间那道坎,以及把库接进自己工程时运行库与 openssl 怎么对齐。
2026-11-06 18:17:20
319
原创 Apple 硬编的压缩会话、三条输入路与产物取回
Apple 平台的硬编是一个压缩会话包办:配六样属性、声明一次准备编码,输入收三种帧——带共享面的、系统原生像素缓冲的、内存里的平面数据。这篇写会话怎么配、三条输入路各走哪条,以及配置帧为什么要自己补。
2026-11-05 19:59:20
170
原创 Apple 采集会话的格式、方向与回调队列
Apple 平台上采画面与采声音走的是同一套采集会话:挂不同的输入设备、挂不同的输出,回调走同一种委托。所以这一侧的结构比另外两个平台更整齐——差别集中在格式与方向怎么定、以及设备失效之后谁负责恢复。这篇写这套会话怎么搭、格式白名单只有一种、以及关流为什么不停会话。这篇讲 Apple 这一侧的采集:相机与麦克风各建一套采集会话、怎么把会话与串行队列注入源对象、挂输入的固定顺序(开配置、摘光、建输入、能不能加、加、提交)、输出复用的判断、委托桥为什么单独一个类;
2026-11-04 18:15:29
393
原创 Apple 硬解帧进 Metal 与交给 Vulkan 这两条路
在 Apple 平台上,硬解帧天生就是能直接给 Metal 用的——带一个可以映射成纹理的面。所以这一侧不需要先拷一次:平面各取一张纹理、画成一张 RGBA,再由这张图决定往哪去。交给 Vulkan 时,交出去的是那张 RGBA 背后的面;反过来,Vulkan 合成完的结果也走同一个面回到 Metal。这篇写这条交接的两头,以及 MoltenVK 上几处会直接崩的地方。这篇讲 Apple 上硬解帧的两条去处:进 Metal 那一段怎么按平面各取一张纹理、纹理与缓冲谁持有到命令缓冲跑完、纹理缓存怎么退场;
2026-11-03 18:16:10
416
原创 Apple 硬解的 ObjC 边界、解压会话与像素格式
Apple 平台上的硬解接口是 C 的,但周边全是 Objective-C 与 CoreMedia 的对象。边界划得清不清,决定了这一层是「一个 C++ 类顺手调了几个系统函数」,还是「一半逻辑散在 ObjC 里」。这篇写这条边界怎么划、会话建起来要备哪些东西、输出格式怎么挑,以及那些看起来像渲染问题的黑屏花屏,根因其实在层与格式这一层。
2026-11-02 18:16:29
233
原创 Android 硬编的配置、两条输入路与产物取回
Android 这边硬编有两种给输入的方式:一种是把平面数据拷进队列,一种是让编码器拿出一个「能收纹理的面」,由渲染那一侧把帧画进去。前一种通用,后一种省一次拷贝,但要用较新的系统接口,而且画进去之后就不能再用入队那套调用。这篇写这个实现怎么选、画进去那一步要设什么、以及产物怎么取出关键帧与配置帧。
2026-11-01 18:15:38
281
原创 Android 的相机枚举、格式白名单与音频采集
Android 上采画面和采声音走两套东西:相机走 NDK 相机接口,声音落到 Java 侧录音类。这篇写枚举时只留一种格式、输出面为什么直接给纹理、帧怎么从系统回调走到自己的线程,以及两条路为什么不自动重连。
2026-10-31 18:18:45
181
原创 Android 硬解帧的两条去处与 GL 到 VK 的转换
Android 上硬解出来的是外部纹理,GL 能采样、VK 不能。这篇写它怎么先由平台渲染器转成一张 RGBA 纹理,再分两条去处:一条自建面直接上屏,一条经一块共享显存交给 VK 输入层,以及交接处为什么要连 GL 上下文一起判。
2026-10-30 21:11:25
192
原创 Android 上接硬解:JNI 边界、参数集分流与原地 flush 那一档
判断的依据在帧的持有方:这类解码器的实例与它那套 Surface 与上下文全在,路径上不需要拆图重建,旧的帧还能继续在屏上;AV1 的参数集本身是一段配置记录,原样送;这篇讲 Android 接硬解的整个流程:JNI 边界怎么划(类和方法的 ID 一次抓齐、反向回调留一个门)、打开解码器的三段(创建时 VP9 与 AV1 要排掉平台软实现、配置时送宽高与色彩格式、启动后还有一道车道守卫)、参数集为什么要从长度前缀转成起始码、为什么只改本地副本、按编码怎么分流,以及 Surface 的两条来路与失效重置链;
2026-10-29 18:26:48
234
原创 Windows 平台上硬编的编码器候选,以及输入为什么还走内存
纹理直喂那条编码路要用的是同一套东西:帧对象里的上下文与缓冲本来就是为这个留的——上下文的取纹理接口给出那张纹理,缓冲字段在硬解帧上装的就是平台纹理指针。Linux 上同类的那一支是接通的:它按硬件加速那套接口实现、注册进表,选型时的首选名就是它,走的是同一条候选链。输入这条路上,纹理直喂还停在设计,实际交出去的是内存里的 Y/U/V 三个平面。挑的部分与解码那侧同构,但这一版真正打开的是 FFmpeg 带的那几个硬件编码器,帧进去的形态是内存里的 NV12——也就是说渲染完的图要先回读一次。
2026-10-28 19:25:39
131
原创 Windows 采集这一层:WinRT 抓屏、Media Foundation 读摄像头、WASAPI 收声
帧到达不用回调,改成在自己的线程里按固定节拍问帧池要帧。原因是窗口采集这一族的枚举顺序是显示器在前窗口在后,而「取默认视频源」拿的是设备表里的第一个——所以不点名摄像头槽位的话,拿到的是屏幕。每一类下面挂的是实现,按槽位区分:屏幕与窗口走一个槽(窗口采集那套),摄像头走另一个槽(Media Foundation 那套),音频走 WASAPI 那一个槽。播放器要能把屏幕、摄像头、麦克风都当成一个源,但三者的来路完全不同:屏幕和窗口是抓出来的画面,摄像头是设备推来的码流,声音还要分麦克风与声卡回环两套。
2026-10-28 00:55:37
305
原创 Windows 硬解帧零拷贝进 VK 与直接贴窗口这两条路
输入那一侧的对应动作更靠前:每帧读一次外部纹理的尺寸,跟上一层比,变了就重建整张图——老写法不重检,新场进来的还是旧尺寸的输入槽,画面从第一帧起就是错的。共用的是一次 RGBA 转换和那张共享纹理,不同的地方是呈现那一步由谁做。转换在平台的像素处理层里做,Windows 上是一条计算着色器:平面纹理进,RGBA8 出,产物不回内存,而是一张自己建的共享纹理。而轨道跨媒体复用的时候,那个上下文可能还挂着上一场硬解留下的旧纹理,无条件喂进去,新场的输入槽就被翻成旧尺寸、旧格式,管线协商失败,整场黑屏。
2026-10-27 23:48:46
141
原创 Windows 硬解的 D3D11 设备、解码器握手与纹理数组处理
前面几章解出来的帧都躺在内存里,每帧还要再传一次才能上屏。硬解要做的就是把这步搬到显存里,让帧从解码器出来时本来就在 GPU 上。难点在每个平台都是自己那一套:Windows 是 D3D11 视频加速,Android 是 MediaCodec,Apple 是 VideoToolbox;这层封装是自己写还是借 FFmpeg,上层同样不该知道。我想让硬解只多两个洞:平台自己建解码设备、自己在出帧那一刻把原生纹理包成统一的那种帧。
2026-10-26 18:12:59
316
原创 播放器音画同步里的时钟、容差与纠偏
视频侧按帧率刷,音频侧的节拍归设备,两条链各自带着自己的时间戳往前走,把它们放到同一条时间线上是这一篇要解决的事。做法是给每条轨配一个时钟,把「现在播到哪」算成一个随时能读的值;再挑一条当主时钟,另一条照着它调。调的办法两不一样:视频改的是等待时间和丢帧,音频改的是这一次送出去多少数据。这篇把这一套讲完:时钟里存了什么、主时钟怎么定、偏差分几档处理、哪几种情况干脆关掉同步,以及积压太多时怎么自动提速。这篇讲播放器的音画同步:两条链的节奏为什么不同、为什么要有共同的参照物;时钟里存的三样与「现算」的进度;
2026-10-25 18:11:02
282
原创 播放器的音频链路、重采样与播放位置
视频那条链把帧画到屏幕上就算走完了,音频这条链还差最后一跳:数据得交给设备,由设备按自己的节奏放出去。这一跳带来的东西和前一条链几乎处处不同——节奏的源头从播放器挪到了设备那头,平台之间的差别也从「渲染器怎么建」换成了「数据怎么递、递之前要改成什么格式」。这篇把这一跳讲完:两条线程与两级队列怎么排、设备层抽象出哪几个动作、四条平台实现各自怎么交数据、交出去之前要过哪几道格式关,以及「现在播到哪」这个数是从哪里推出来的。这篇讲播放器的音频这一跳:数据的节奏为什么由设备决定;
2026-10-24 18:11:53
353
原创 播放器的渲染分层、出图路径与交换链
帧躺在视频轨的队列里,要画到屏幕上,先得决定这套渲染怎么分——分法不是照功能切的,是照着会变的地方切的。分层定下来,一帧有两条去处。这篇先讲清三个角色各管什么、一帧和节拍为什么往相反方向走、两条出图路各落到哪条链上,再跟着一帧走完走 Vulkan 那条:循环的节拍、上屏的几步、创面建链,以及窗口变了怎么重建。这篇讲播放器的渲染这一层为什么分三层:会变的地方有三处(窗口、帧、处理),分层不是照功能切、是照着会变的地方切;三个角色各管什么,数据和节拍为什么往相反方向走;
2026-10-23 18:12:39
131
原创 播放器的解码接口、候选表与帧的两种落点
接源篇把压缩码流喂进了队列,可队列里躺的是 H.264、H.265 的原样字节,屏幕还是黑的。这一步把包解成图像。接口只有一套:输入包、回调帧,谁来解都走这条线;唯一的分岔在出来的帧上——CPU 帧走一个回调,GPU 帧走另一个。先把 FFmpeg 的解码器接进来,把「包到帧」这条线跑通,再立起一张候选表:同一个编码下注册了多少实现,就按排好的次序逐条试,试不通换下一条。平台硬解留到下一章,但接口和这张表从第一天就只认一套。
2026-10-22 18:11:27
349
原创 播放器的包队列、帧队列与背压
框架和数据源都定下来,接着要定死的是数据在播放器里怎么走:io → 包队列 → 解码 → 帧队列 → 渲染。这条线看着是直的,跑起来两头都被拽着。链上有三个干活的角色,每一段都在干三件事:把上一条队列里的东西变成下一级、让两条队列的深度跟着变、以及出问题的时候把队列推成另一种样子。这篇就按这三段走一遍——IO、解码、渲染——最后落到一个问题上:帧队列空了,播放器凭什么判断是「真的没数据」还是「解码跟不上」。这篇讲播放器里数据从码流走到画面的那条链:io → 包队列 → 解码 → 帧队列 → 渲染。
2026-10-21 18:12:20
258
原创 播放器的数据源、解封装与码流包
数据源这一层对上只有打开、关闭与设速度,其余都是查询;解封装吃掉的容器与协议、包上带的字段、配置帧与关键帧标志,以及直播和点播差在哪。
2026-10-20 06:22:27
184
原创 播放器的命令队列、九个状态与迁移规则
所有控制动作都不直接改状态,打包成命令排进一条队列;九个状态各自怎么来、真正会走的迁移,以及 pause 与 seek 各自停在哪儿。
2026-10-19 18:46:45
160
原创 播放器的线程类、注册表与日志框架
空工程立起来,第一件往里放的东西不是解码器,也不是渲染,是骨架。音视频是一条流,读流、解码、出画面、出声音,每一段的快慢都不一样,挤在一条线程里就互相堵;而这条流上的每一段——取数据的腿、解码器、渲染器——将来都得能换。所以骨架是两半:线程怎么起,零件从哪来。这篇讲线程类为什么都继承同一个基类、可替换的实现挂在哪张表上,以及为什么日志必须第一天就有。
2026-10-19 01:59:23
148
原创 Unity5 GI与PBS渲染从用法到着色代码
首先声明,我的主博客在[博客园](http://www.cnblogs.com/zhouxin/),这是我转我博客上的一文,所以不要说是转载。本文主要介绍Untiy5以后的GI,PBS,以及光源探头,反射探头的用法以及在着色器代码中如何发挥作用,GI是如何影响渲染的,主要分成三个部分,最开始说明PBS需要的材质与相应概念,二是Unity 里相应GI的操作,三是对应着色器代码的理解。如果没有特殊声明,
2016-01-30 01:38:27
2449
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅