anyRTC:iOS音视频学习入门

个人简介：

本人就职于anyRTC，一家专门做音视频解决方案的公司，公司网站：https://www.anyrtc.io/;今天给大家分享一下学音视频的步骤以及所遇到的问题。接触音视频应该在12年，自己毕业进入一家上市公司，该公司就是做传统视频会议的。公司要求在iOS上做视频的编解码（音频的编解吗，公司有大牛封装了一套，具有回声消除，抗丢包等优点的库），12年那会iOS还没有推出自己的硬件编解码，所以依赖ffmpge做了一套软硬编解吗的demo。该demo就是比葫芦画瓢整出来的。

---

音视频的基本流程：采集-》编码-〉传输-》解码-〉播放渲染

 

1:数据采集：

视频采集一般都是传统的h264,无需过多处理，在某些场景中可能需要滤镜：需要对视频做滤镜处理，该工作量非常大，需要专业的对opengle玩的很转，才能实施，否则建议使用第三方～

音频采集一般需要经过预处理，主要有滤除北京杂音，检测并消除回音等；音频处理一样是需要专门懂音频的人员进行处理，看完音频处理的算法，你会晕掉的～，所以还是建议如果不是专业人才，只需了解～。

2:数据压缩技术：

由于原始视频的数据量非常大，如果不经过压缩，会给传输和存储带来极大的压力，这就需要搞笑的视频编解码技术在传输带宽限制下尽可能的保持高质量。目前市面上用的压缩技术一般是H.264,个别VP8,H.265;同样掌握该技术也需要投入大量的时间去学习，去实践～

3:网络传输技术：

压缩后的数据需要根据合适的网络传输协议打包，再传输到接收端；自己需要根据业务类型选取不同的传输协议。最常用的两种协议是传输控制协议TCP和用户数据包协议UDP;TCP是面向连接的可靠传输协议，但是延迟较大；UDP是无连接、不可靠的传输协议，但是延迟相对较小。在一些大的公司中，有专职人员做数据传输的优化的～。

4:多媒体数据的解码播放

音画同步，不花屏是播放最基本的。在多人通信中，还要对多路音视频进行混音。

说完所需技术后，接下来，讲解该如何去学习～

1:了解基础概念：编码格式、传输协议、等等。

2:找开源音视频代码学习。

3:参照开源代码照搬写demo.

4:还是看不懂或者做不出东西，或者作出东西需要很长时间可以放弃了，专业知识确实太多。找专业做音视频的给予技术支持：anyRTC：一家专注于音视频领域，致力于让音视频交互更简单。公司网站：https://www.anyrtc.io/

---

如果在iOS音视频上有什么问题，可以Q我：984630262

专注领域：webRTC-iOS,直播