WebRTC客户端主要流程分析

1.通信过程

因为WebRTC规范里没有包含信令协议,所以像OWT、mediasoup等支持WebRTC的开源项目,其通信两端建立连接的过程中的信令逻辑各不相同。但是,总体上来说,其通信过程必然会包括以下过程。

  1. 发起端创建本地的PeerConnection,并且创建Offer。
  2. 发起端通过信令服务器将Offer发送给应答端。
  3. 应答端创建本地的PeerConnection,把发起端的Offer设置到PeerConnection中,并且获取到Answer。
  4. 应答端通过信令服务器将Answer发送给发起端。
  5. 发起端把应答端的Answer设置到PeerConnection中。
  6. 两端都收集本地PeerConnection的ICE Candidate,通过信令服务器发送给对方,对方收到ICE Candidate后设置给本地的PeerConnection。
  7. 两端成功建立音视频通道,开始收发音视频数据。

这个过程如果是在局域网中,可以通过某种方式与对端直接建立好信令通道,则可以不需要信令服务器,直接建立P2P的音视频通道。

这个过程中有些概念可以了解一下。

音视频免费学习资料获取:后台私信扣1

PeerConnection:WebRTC最初设计师用于浏览器的P2P媒体通信,所以其核心接口类就是PeerConnection,简称PC。

Offer、Answer:都属于SDP。SDP是一种描述会话协议,用于描述一次会话的多媒体数据格式等配置信息。通信双方交换SDP就是为了协商一个双方都支持的会话配置。

ICE:一种NAT穿透协议,利用STUN、TURN协议完成工作。ICE会在SDP中增加传输地址信息,然后对其进行连通性测试,测试成功后就可以用于传输媒体数据了。

ICE Candidate:即ICE的传输地址信息,包括host、srflx、relayed和prflx。

2.核心流程

WebRTC支持的客户端系统有iOS、Mac、Android、Windows和Linux。各端的代码各不相同,但是,其核心API的调用过程是类似的。所以,只要把握了总体的调用过程就能顺藤摸瓜的去查看各端的详细代码。这里总结下调用的关键步骤:

全局初始化。

创建PeerConnectionFactory。

通过PeerConnectionFactory接口创建PeerConnection。

创建Capturer。

通过PeerConnectionFactory接口创建Source、Track。

通过PeerConnection接口创建Transceiver。

创建Offer、Answer,设置给PeerConnection,并相互交换。

相互交换ICE Candidate,通过ICE Candidate回调接受对端ICE Candidate,设置给PeerConnection。

P2P连接的状态可以通过监听PeerConnection的状态回调函数(Windows端是OnIceConnectionChange)。

其中,几个重要的WebRTC中的概念可以了解一下:

  1. Capturer:视频数据采集,包括相机、屏幕、视频文件等。
  2. Source:数据源,数据来自Capturer或其他,然后将数据传给Track。
  3. Track:媒体数据交换的载体。
  4. Sink:Track数据的消费者,本地预览和渲染远端视频都是Sink。
  5. Transceiver:负责收发媒体数据。

以视频数据收发为例,发送端的Capturer采集到视频数据,交给Source,再由Source交给本地的Track,然后本地Track中数据分为2路,一路给本地Sink做预览,一路由Transceiver发送给接收端。接收端的Track收到数据后交给接收端的Sink进行渲染。

作者:caesar1228

原文链接:https://blog.csdn.net/caesar1228/article/details/127198711?spm=1001.2101.3001.6650.3&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EYuanLiJiHua%7EPosition-3-127198711-blog-78008769.pc_relevant_3mothn_strategy_recovery&utm_relevant_index=6

展开阅读全文

页面更新:2024-06-05

标签:两端   收发   客户端   接口   流程   协议   过程   通信   服务器   媒体   数据   视频

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top