RTC 月度小报 7 月| WebRTC M76 更新、Google 云游戏也用到了 WebRTC与 QUIC

本月亮点速览

技术资讯:

  • WebRTC M76 Release

应用创新:

  • 谷歌云游戏也用WebRTC 、QUIC与BBR?
  • iOS 13 将提供FaceTime 视线纠正功能

RTC 社区动态:

  • AI in RTC 创新挑战赛正式开启
  • 声网Agora云端录制服务上线

技术资讯

WebRTC M76 更新

7 月 1 日,WebRTC 的分支版本 M76 更新了。本次更新包含3 个新特性,以及超过 50 个 bug 修复与优化。更重要的是,在这个版本中增加 23 个标准化的 getStats() metrics

新特性一: RTCRtpTransceiver.setCodecPreferences()

这个新特性允许开发者选择通话中应用哪个编解码器,可能可以替换掉默认编解码器,或更改编解码器的优先级。这个接口也可用于关闭 RTX、RED 或 FEC。

新特性二: RTCSctpTransport

可用于监控 DataChannel 的传输状态。

新特性三: RTCRtpSender.setStreams

支持设定与sender 关联的 MediaStreams。

更多详情,请见 WebRTC官方发版说明:http://1t.click/zJB

应用创新

Google云游戏也用 WebRTC?

近期 IEEE Spectrum 上有人撰文分析了 Google 云游戏平台 Stadia 可能采用的技术,其中就包括了 RTC 行业比较熟悉的 WebRTC、QUIC 和 BBR 等。其实云游戏一直都是 RTC 技术的一个典型应用。原因很简单,通过 Stadia 对用户端的要求就能看出:

Stadia 的用户,网络下载速度不低于 10Mbps,以便可以感受 720p 每秒 60 帧的游戏体验。35Mbps 则可以享受 4K HDR、5.1 环绕音效及每秒 60 帧的游戏体验。这项服务最低的网络下行要求为 1.5Mbps。

是不是与常见的一些实时视频通话场景很像?根据文章的分析,Google 会选择采用现有的一些技术组合来实现云游戏在实时、高清方面的要求。例如利用QUIC 和 WebRTC现有的协议,来保证可靠、高速的双向传输(用户输入的数据与游戏视频数据)。同时,还会用到 Google 的拥塞控制算法 BBR。“Stadia的实时自适应流技术可以实时调整网络质量,”Stadia 的技术 VP Majd Bakar说, “除了像BBR这样的技术之外,我们能够在发生网损之前检测到,提前进行优化,以保证实时的游戏体验。”

iOS 13 将提供FaceTime 视线纠正功能

当我们在打视频电话的时候,一般人都会盯着屏幕看,而不是摄像头,这会让双方都感到对方并没有“看着自己”,从视觉上感到很不自然。7 月 4 日,有一位名叫 Mike Rundle 的用户透露,苹果将在 iOS 13 的 FaceTime 中提供视线纠正功能。这项功能主要是利用增强现实技术来实现的,不过仅适用于 iPhone XS 和 XS Max两个机型,而且最初上线的是 beta 版。

RTC 社区

AI in RTC 创新挑战赛正式开启

7 月 1 日,由声网 Agora 发起的 AI in RTC 创新挑战赛正式开启。本届大赛包含了两个挑战主题,“超分辨率算法挑战”与“编程挑战”,其中“超分辨率算法挑战”又分为两个赛题,开发者可以在 3 个挑战赛题中任选其一或参加多项挑战。大赛从 7 月 1 日持续到 9 月 30,并在 10 月举行线下颁奖礼。我们为优胜者准备了 25 万元的总奖金池,并且有机会加入声网合作伙伴计划及声网 Offer 快车道。目前已经有超过 500 支队伍报名了超分辨率算法挑战,有近 100 人报名了编程挑战赛。

现在比赛仍可报名:https://challenge.rtcdeveloper.com/ai-in-rtc/

声网 Agora 云端录制服务上线

声网云端录制服务正式上线。它为开发者提供了一套 RESTful API,可以无需部署、运维 Linux 服务器,调用 3 个 API,30分钟即可完成集成、测试和部署。同时,支持录制文件自动缓存,保障用户的录制文件即使遇到网络故障也可以完整保存下来。

从功能上来讲,云端录制服务目前已经支持了录制必备的一些主要功能,近几个月还将有一大波新功能陆续上线。云端录制服务现已支持:

  • Agora Native SDK 和Agora Web SDK 的高清音视频通话的录制
  • 频道内所有用户的音视频合流录制,录制成一个完整的文件
  • 支持实时录制,录制完成后可立即回看
  • 支持自定义合流布局,并在预设中提供了悬浮、自适应、垂直三种布局样式
  • 支持录制视频与白板课件同步播放
  • 支持自定义合流的画布背景色
  • 支持录制时间戳,方便开发者获取精准的录制开始时间
  • 支持与课件同步回放,满足教学、培训、会议等场景同步播放需求