zhuchengcheng1992的博客

为什么webRtc使用H264会黑屏？WebRTC 自诞生之日起, 就代表了实时通信领域的最好的技术. 不过很长时间里, 它所支持的视频编码器只有VP8, 后来随着H265/VP9为代表的下一代视频编码器的诞生, WebRTC里出现了VP9 Codec. 而当前应用最广泛的H264 却一直不受待见. 一直到Cisco 宣布旗下的H264 Codec开源为OpenH264, 并且替所有OpenH264的使用者支付了H264的专利费， 以次为契机， 在IETF的WebRTC会议中， 把H264和VP8都列入

参见https://www.jianshu.com/p/0131ab02e0fe

安装：一、安装必要软件：git，yasmsudo apt-get install git yasm二、拉取源码：git clone https://github.com/Bilibili/ijkplayer.git ijkplayer-android三、初始化编译环境：# 进入到ijk目录cd ijkplayer-android# 检查一下版本，注意下面版本号，去ijk的github上看git checkout -B latest k0.8.8# 初始化环境，或拉取.

本系列将从下面几个专题，对之前的零散知识点进行串联，总结。本章没有干货，立个flag。ijkPlayer开源项目源码分析：1.编译项目2.ijkplayer初始化流程3.ijkplayer视频播放流程，音频，视频解析流程4.ijkplayer消息传递，播放器主要状态回调5.ijkplayer 音视频同步原理分析6.ijkplayer 音视频倍速实现分析7.setoption机制及直播首帧优化8.ijk常见问题分析...

视频采集到播放完整链路采集基本思路：视频采集：camera类预览：surfaceView音频采集：AudioRecored编码：mediaCodec 视频h264 音频 aac封装：mediaMuxer播放基本思路：mediacodec 解码 音频视频surfaceView 显示audioTrack音频播放...

音视频录制流程总结在前面我们学习和使用了AudioRecord、AudioTrack、Camera、MediaExtractor、MediaMuxer API、MediaCodec。 学习和使用了上述的API之后，相信对Android系统的音视频处理有一定的经验和心得了。本文及后面的几篇文章做的事情就是将这些知识串联起来，做一些稍微复杂的事情。一、流程分析1.1 需求说明我们需要做的事情就是：串联整个音视频录制流程，完成音视频的采集、编码、封包成 mp4 输出。1.2 实现方式An.

MediaCodec API 详解下面开始接触一个Android音视频中相当重要的一个API：MediaCodec。通过这个API，我们能够做很多Android音视频方面的工作，下面是我们学习这个API的时候，主要的方向：学习 MediaCodec API，完成音频 AAC 硬编、硬解 学习 MediaCodec API，完成视频 H.264 的硬编、硬解一、MediaCodec 介绍　　MediaCodec类可以用于使用一些基本的多媒体编解码器（音视频编解码组件），它是Android基本.

4月2日

4月2日

4月2日

4月2日

4月2日

sfaf

mahsnag

3月21日更新

3月20日更新

1、ijkplayer 编码IjkPlayer支持硬解码和软解码。 软解码时不会旋转视频角度这时需要你通过onInfo的what == IMediaPlayer.MEDIA_INFO_VIDEO_ROTATION_CHANGED去获取角度，自己旋转画面。或者开启硬解硬解码，不过硬解码容易造成黑屏无声（硬件兼容问题），下面是设置硬解码相关的代码mediaPlayer.setOption(IjkMediaPlayer.OPT_CATEGORY_PLAYER, "mediacodec", 1);

解决低延迟问题的核心思想：NO BUFFER低延迟：顾名思义，就是让播放端和推流端的时间差越小越好，那么如何做到低延迟呢，一个词概括：no buffer首先说明一下视频流的流向：推流端--->CDN服务器--->拉流端1. 推流端 nobuffer，也就是保证推流端缓存的buffer最小。这样基本上保证在推流端出现网络抖动或者突然变差的情况下，能够舍弃已经缓存的buffer，继续推新生成好的视频帧。这样保证了，在网络端开始传输的时候的视频内容是最新的。2. CDN nobuffe

音视频的直播系统是一个复杂的工程系统，要做到非常低延迟的直播，需要复杂的系统工程优化和对各组件非常熟悉的掌握。下面整理几个简单常用的调优技巧：编码优化1. 确保 Codec 开启了最低延迟的设置。Codec 一般都会有低延迟优化的开关，对于 H.264 来说其效果尤其明显。很多人可能不知道 H.264 的解码器正常情况下会在显示之前缓存一定的视频帧，对于QCIF 分辨率大小的视频（176 × 144）一般会缓存 16 帧，对于 720P 的视频则缓存 5 帧。对于第一帧的读取来说，这是一个很大的延.

[视频直播] 直播相关概念常用的几种视频协议是：RTMP、HTTP-FLV、HLS、RTP/RTCP协议。（1）视频直播协议直播类型分类：交互式直播，非交互式直播非交互式直播主要是单向性，如nba直播，用户不与主播发生交互行为，视频允许的延时时间较为宽松，特点是源较少，适合做多路转码。交互式直播：如抖音直播等，用户与主播之间的交互较为频繁，所以对延时性的要求比较严格，特点是源较多，不适合做多路转吗，中间服务器作为中转角色。直播内容传输的介质是网络，在网络中传输视频音频数据，需要.