WebRTC音视频引擎研究(1)--整体架构分析

最新推荐文章于 2024-05-13 02:46:55 发布
最新推荐文章于 2024-05-13 02:46:55 发布
阅读量1.1k 收藏
点赞数

1、WebRTC目的

       
       WebRTC（Web Real-Time Communication）项目的最终目的主要是让Web开发者能够基于浏览器（Chrome\FireFox\...）轻易快捷开发出丰富的实时多媒体应用，而无需下载安装任何插件，Web开发者也无需关注多媒体的数字信号处理过程，只需编写简单的Javascript程序即可实现，W3C等组织正在制定Javascript 标准API，目前是WebRTC 1.0版本，Draft状态， 网址；另外WebRTC还希望能够建立一个多互联网浏览器间健壮的实时通信的平台，形成开发者与浏览器厂商良好的生态环境。同时，Google也希望和致力于让WebRTC的技术成为HTML5标准之一，可见Google布局之深远。


2、WebRTC架构图



架构图颜色标识说明：
（1）紫色部分是Web开发者API层；
（2）蓝色实线部分是面向浏览器厂商的API层（也就是红色框标内模块，也是本人专注研究的部分）
（3）蓝色虚线部分浏览器厂商可以自定义实现

3、WebRTC架构组件介绍


(1) Your Web App
Web开发者开发的程序，Web开发者可以基于集成WebRTC的浏览器提供的web API开发基于视频、音频的实时通信应用。

(2) Web API
面向第三方开发者的WebRTC标准API（Javascript），使开发者能够容易地开发出类似于网络视频聊天的web应用，最新的标准化进程可以查看 这里 。

(3) WebRTC Native C++ API
本地C++ API层，使浏览器厂商容易实现WebRTC标准的Web API，抽象地对数字信号过程进行处理。

(4) Transport / Session
传输/会话层
会话层组件采用了libjingle库的部分组件实现，无须使用xmpp/jingle协议

a.  RTP Stack协议栈
Real Time Protocol

b.  STUN/ICE
可以通过STUN和ICE组件来建立不同类型网络间的呼叫连接。

c.  Session Management
一个抽象的会话层，提供会话建立和管理功能。该层协议留给应用开发者自定义实现。

(5) VoiceEngine
音频引擎是包含一系列音频多媒体处理的框架，包括从视频采集卡到网络传输端等整个解决方案。
PS：VoiceEngine是WebRTC极具价值的技术之一，是Google收购GIPS公司后开源的。在VoIP上，技术业界领先，后面的文章会详细了解

a.  iSAC
Internet Speech Audio Codec
针对VoIP和音频流的宽带和超宽带音频编解码器，是WebRTC音频引擎的默认的编解码器
采样频率：16khz，24khz，32khz；（默认为16khz）
自适应速率为10kbit/s ~ 52kbit/；
自适应包大小：30~60ms；
算法延时：frame + 3ms

b.  iLBC
Internet Low Bitrate Codec
VoIP音频流的窄带语音编解码器
采样频率：8khz；
20ms帧比特率为15.2kbps
30ms帧比特率为13.33kbps
标准由IETF RFC3951和RFC3952定义

c.  NetEQ for Voice
针对音频软件实现的语音信号处理元件
NetEQ算法：自适应抖动控制算法以及语音包丢失隐藏算法。使其能够快速且高解析度地适应不断变化的网络环境，确保音质优美且缓冲延迟最小。
是GIPS公司独步天下的技术，能够有效的处理由于网络抖动和语音包丢失时候对语音质量产生的影响。
PS：NetEQ 也是WebRTC中一个极具价值的技术，对于提高VoIP质量有明显效果，加以AEC\NR\AGC等模块集成使用，效果更好。

d.  Acoustic Echo Canceler (AEC)
回声消除器是一个基于软件的信号处理元件，能实时的去除mic采集到的回声。

e.  Noise Reduction (NR)
噪声抑制也是一个基于软件的信号处理元件，用于消除与相关VoIP的某些类型的背景噪声（嘶嘶声，风扇噪音等等… …）

(6) VideoEngine
WebRTC视频处理引擎
VideoEngine是包含一系列视频处理的整体框架，从摄像头采集视频到视频信息网络传输再到视频显示整个完整过程的解决方案。

a.  VP8
视频图像编解码器，是WebRTC视频引擎的默认的编解码器
VP8适合实时通信应用场景，因为它主要是针对低延时而设计的编解码器。
PS:VPx编解码器是Google收购ON2公司后开源的，VPx现在是WebM项目的一部分，而WebM项目是Google致力于推动的HTML5标准之一

b.  Video Jitter Buffer
视频抖动缓冲器，可以降低由于视频抖动和视频信息包丢失带来的不良影响。

c.  Image enhancements
图像质量增强模块
对网络摄像头采集到的图像进行处理，包括明暗度检测、颜色增强、降噪处理等功能，用来提升视频质量。


4、WebRTC核心模块API


(1)、网络传输模块：libjingle
WebRTC重用了libjingle的一些组件，主要是network和transport组件，关于libjingle的文档资料可以查看 这里。

(2)、音频、视频图像处理的主要数据结构
常量\VideoEngine\VoiceEngine

注意：以下所有的方法、类、结构体、枚举常量等都在webrtc命名空间里   

类、结构体、枚举常量

头文件

说明

Structures

common_types.h

Lists the structures common to the VoiceEngine & VideoEngine

Enumerators

common_types.h

List the enumerators common to the  VoiceEngine & VideoEngine

Classes

common_types.h

List the classes common to VoiceEngine & VideoEngine

class VoiceEngine

voe_base.h

How to allocate and release resources for the VoiceEngine using factory methods in the VoiceEngine class. It also lists the APIs which are required to enable file tracing and/or traces as callback messages

class VideoEngine

vie_base.h

How to allocate and release resources for the VideoEngine using factory methods in the VideoEngine class. It also lists the APIs which are required to enable file tracing and/or traces as callback messages


(3)、音频引擎（VoiceEngine）模块 APIs
下表列的是目前在 VoiceEngine中可用的sub APIs
sub-API

头文件

说明

VoEAudioProcessing

voe_audio_processing.h

Adds support for Noise Suppression (NS), Automatic Gain Control (AGC) and Echo Control (EC). Receiving side VAD is also included.

VoEBase

voe_base.h

Enables full duplex VoIP using G.711.
NOTE: This API must always be created.

VoECallReport

voe_call_report.h

Adds support for call reports which contains number of dead-or-alive detections, RTT measurements, and Echo metrics.

VoECodec

voe_codec.h

Adds non-default codecs (e.g. iLBC, iSAC, G.722 etc.), Voice Activity Detection (VAD) support.

VoEDTMF

voe_dtmf.h

Adds telephone event transmission, DTMF tone generation and telephone event detection. (Telephone events include DTMF.)

VoEEncryption

voe_encryption.h

Adds external encryption/decryption support.

VoEErrors

voe_errors.h

Error Codes for the VoiceEngine

VoEExternalMedia

voe_external_media.h

Adds support for external media processing and enables utilization of an external audio resource.

VoEFile

voe_file.h

Adds file playback, file recording and file conversion functions.

VoEHardware

voe_hardware.h

Adds sound device handling, CPU load monitoring and device information functions.

VoENetEqStats

voe_neteq_stats.h

Adds buffer statistics functions.

VoENetwork

voe_network.h

Adds external transport, port and address filtering, Windows QoS support and packet timeout notifications.

VoERTP_RTCP

voe_rtp_rtcp.h

Adds support for RTCP sender reports, SSRC handling, RTP/RTCP statistics, Forward Error Correction (FEC), RTCP APP, RTP capturing and RTP keepalive.

VoEVideoSync

voe_video_sync.h

Adds RTP header modification support, playout-delay tuning and monitoring.

VoEVolumeControl

voe_volume_control.h

Adds speaker volume controls, microphone volume controls, mute support, and additional stereo scaling methods.



(4)、视频引擎（VideoEngine）模块 APIs
下表列的是目前在 VideoEngine中可用的sub APIs

sub-API

头文件

说明

ViEBase

vie_base.h

Basic functionality for creating a VideoEngine instance, channels and VoiceEngine interaction.

NOTE: This API must always be created.

ViECapture

vie_capture.h

Adds support for capture device allocation as well as capture device capabilities.

ViECodec

vie_codec.h

Adds non-default codecs, codec settings and packet loss functionality.

ViEEncryption

vie_encryption.h

Adds external encryption/decryption support.

ViEErrors

vie_errors.h

Error codes for the VideoEngine

ViEExternalCodec

vie_external_codec.h

Adds support for using external codecs.

ViEFile

vie_file.h

Adds support for file recording, file playout, background images and snapshot.

ViEImageProcess

vie_image_process.h

Adds effect filters, deflickering, denoising and color enhancement.

ViENetwork

vie_network.h

Adds send and receive functionality, external transport, port and address filtering, Windows QoS support, packet timeout notification and changes to network settings.

ViERender

vie_render.h

Adds rendering functionality.

ViERTP_RTCP

vie_rtp_rtcp.h

Adds support for RTCP reports, SSRS handling RTP/RTCP statistics, NACK/FEC, keep-alive functionality and key frame request methods.

zougangx
关注
WebRTC音视频引擎研究(2)--VoiceEngine音频编解码器数据结构以及参数设置
曾锡金
05-04 1万+
WebRTC技术交流群：234795279 1、VoiceEngine Codec数据结构        WebRTC中，用一个结构体struct CodecInst表示特定的音频编解码器对象： struct CodecInst { int pltype; //payload type负载类型 char plname[32]; //payload n
ZLMediaKit编译webrtc
最新发布
Elysion_Daniel的博客
08-14 808
ZLMediaKit编译webrtc的坑。
WebRTC Video/Voice Engine 音视频引擎
06-13
基于最新版本的WebRTC封装的High Level的音视频引擎SDK，支持如下功能： 提供一个简单的呼叫控制协议 音频： 支持729，711，iLBC，GSM，ISAC等多种Codec 支持RTP/RTCP 支持EC（Echo Control），VAD，NS等 支持WindowsWave和WindowsCore 视频： 支持VP8 支持Direct3D和DirectShow
webRTC的音频和视频引擎的使用
菩提树上的专栏
06-05 3313
webRTC的音频和视频引擎的使用   2013-05-09 13:27:33|  分类： webrtc |举报 |字号 订阅 应群里哥们的要求,现把怎么使用webrtc音频和视频的demo放出来.代码格式很烂,各位看客凑合的看吧,也懒得整理了. #include #include #include #include #include #includ
基于vue+html的Web网页音乐播放器设计
毕业作品网站
07-05 5014
本文还对开发过程中遇到的问题和解决方法进行了详细的讨论,该音乐播放器集播放、暂停、停止、快进、快退、下一曲、上一曲、音量调节等功能与一体,性能良好。B．展示最新歌单分类模块，分别有全部、华语、流行、摇滚、民谣、电子另类/独立轻音乐、综艺、影视原、ACG，点击分类列表切换歌单类别，点击某歌单模块跳转歌单详情界面。歌单详情界面分别展示了歌单详细信息：歌单名称、歌单作者、简介等和歌单的歌曲列表(点击某歌曲列表播放音乐)和歌单的评论。MV详情界面分别有播放MV视频的功能、展示了MV的详情信息(Mv名称。
WebRTC学习进阶之路 --- 一、概述、原理、源码目录结构与整体架构介绍
SmallBottle-CGWLMX的博客
11-23 3522
片头语：在学习WebRTC首先最好具备一定的音视频相关基础知识，可以参考https://blog.csdn.net/xiaomucgwlmx/article/details/102838490，里边有很详细的介绍总结以供参考，接下来让我们一起来认识一下WebRTC。 WebRTC学习进阶之路系列总目录：https://blog.csdn.net/xiaomucgwlmx/article/deta...
音频断句/语音端点检测(android-webrtc-vad).zip
12-28
2. **WebRTC架构**：WebRTC包含一系列组件，如音频引擎、视频引擎、信令、数据通道等。VAD是音频引擎的一部分，负责音频流的预处理。在Android上，VAD通常是作为C++库实现，需要通过JNI接口与Java层交互。 3. **...
WebRTC入门与实战 --- WebRTC原理与架构
SmallBottle-CGWLMX的博客
11-07 2190
上一篇我们对WebRTC进行了整体的介绍和学习，作为技术人员，我们学习过程中是要了解一个技术的原理的，接下来我们就来学习一下WebRTC的原理与架构，下边是官网的架构图： 架构图颜色标识说明： （1）应用层：紫色部分是Web开发者API层； （2）核心层：蓝色实线部分是面向浏览器厂商的API层（也就是红色框标内模块，也是本人专注研...
electron-react-webrtc:electron+react+webrtc 音视频等通信
05-25
Web Preview 在 web 浏览器中预览效果图，通过 About Electron ...整体架构 C++ api 对点连接 上下文管理层 音频引擎 视频引擎 音频的采集与渲染 浏览器的采集与渲染 资料 官网 谷歌提供的演练 demo About
构建实时音视频引擎WebRTC：从零开始
UnhcTransforms的博客
09-24 73
本文将指导您从零开始构建一个基本的实时音视频引擎，使用WebRTC技术实现浏览器之间的音视频通信。WebRTC是由Google、Mozilla和Opera共同推动的开放标准，它使用了一系列的API和协议，使开发者能够在浏览器中实现实时音视频通信。在代码中的TODO部分，您需要使用适当的方法将。在实际应用中，您需要处理更多的事件和状态，并实现信令交换等功能来建立完整的实时音视频通信系统。您了解了WebRTC的基本概念，并编写了一个简单的应用程序，实现了本地和远程视频流的显示以及连接的建立。
webrtc 音视频库 头文件
03-21
对应静态库版本https://download.csdn.net/download/liu1675/89008637?spm=1001.2014.3001.5503
音视频常用的开源库
dengfuma的专栏
08-16 1070
1.音频变速： SONIC 2 FLAC FLAC是一种针对声音文件的无损压缩算法。压缩比略低于AAC，但是压缩和解压的速度很理想。使用FLAC压缩的无损音乐，体积将比没有经过压缩的无损音乐小很多（取决于音乐的平均音量。通常体积能减少到原文件的50%左右）。 相比较MP3有损压缩格式而言，FLAC能保留100%的音质。对于广大音乐爱好者而言，相对于MP3，FLAC是更好的选择。 libFLAC的源码请大家到libFLAC的官网下载。点此进入官方下载页面。 ...
音视频开发，WebRTC音频引擎实现分析
yinshipin007的博客
03-14 503
Channel是对一路音频数据及其处理过程的抽象，是VoiceEngineImpl中最重要的底层实现类，其继承并实现RtpData、RtpFeedback、FileCallback、Transport、PacketizationCallback、ACMVADCallback、MixerParticipant等多个接口，分别负责音频数据编码后回掉、发送到网络、接收后存储到NetEq缓冲区、播放前混音等一些列重要操作。AudioDeviceModule模块负责音频数据的采集和播放，是音频数据的发源地和目的地。
webrtc QOS笔记一 Neteq直方图算法浅读
靑い空゛
02-16 755
webrtc qos of neteq histogram
使用CMAKE编译webRTC中的AGC、NS、AEC代码
李江龙的博客
06-11 4442
首先，了解一下CMAKE的基本语法其次，了解一下代码的基本结构然后，写一个CMAKE文件最后，测试一下编译的结果
webrtc 支持H265(二) ZLMediaKit通过datachannel通道转发视频流
mo4776的博客
06-28 3555
ZLMediaKit中的datachannel的实现也是基于usrsctp库，所以首先需要编译安装usrsctp，步骤比较简单这里就不列举。usrsctp的IO模式被设置成非阻塞IO，默认的发送缓存的大小为262144。中缓存的GOP大小可能远远大于262144，在一开始转流时就填满了发送缓冲区，造成图像卡顿。rtp包的长度不会大于mute，一般是在1500个字节一下，远远小于这个大小。，在offer的sdp中有一个表示可以发送最大发送消息长度的属性行。在只有datachannel通道时，才从src的。
2024年C C++最全当前开源WebRTC项目技术选型_webrtc开源框架对比，2024年最新如何保证高可用
2401_84975923的博客
05-13 1426
Licode 不仅仅是一个流媒体通信服务器，而且还是一个包括了媒体通信层、业务层、用户管理等功能的完整系统，并且该系统还支持分布式部署。Licode 是由 C++ 和 Node.js 语言实现。其中，媒体通信部分由 C++ 语言实现，而信令控制、用户管理、房间管理用 Node.js 实现。它的源码地址为： https://github.com/lynckia/licode。
深入理解WebRTC
weixin_34202952的博客
09-28 253
Web Real-Time Communication（Web实时通信，WebRTC）由一组标准、协议和JavaScript API组成，用于实现浏览器之间（端到端）的音频、视频及数据共享。 WebRTC使得实时通信变成一种标准功能，任何Web应用都无需借助第三方插件和专有软件，而是通过简单地JavaScript API即可完成。 在We...
WebRTC音视频开发调试指南：Android与iOS平台
- `chrome://webrtc-internals/`：Chrome浏览器内的WebRTC内部页面，可以查看实时的WebRTC会话信息。 - `adb logcat`：Android设备上的日志收集工具，用于查看应用和系统日志。 - `ios-webkit-debug-proxy`：配合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值