2020.05 RTC 月度小报 | WebRTC M83、SOLO 源码解读、实时美声……

本月亮点速览

​RTC开发者社区:

  • CSDN专访RTC编程大赛获奖者
  • 如何高效实现PSTN/SIP接入实时音视频网络
  • 在线教育的创新模式及AI应用实践

开源与技术科普:

  • WebRTC M83 Release
  • 开源音频编解码器SOLO源码解读(二)
  • 科普动画:网络协议那点事儿
  • 实时美声背后的技术原理

声网动态:

  • Agora Unreal SDK beta版上线
  • 声网助力Kumu实现玩法创新

RTC开发者社区

CSDN 专访 RTC 编程大赛获奖选手

由声网 Agora 举办的 RTC 2020编程挑战赛春季赛在 4 月底正式结束。这次的比赛吸引了来自 70+高校及开发团队的 300+名开发者的报名参赛,他们组成了 100+队伍,其中有 18 支入围决赛,最终 9 个团队获奖。

就在近期,技术社区 CSDN 对其中他们最感兴趣的两个团队——Syncit 和竹辩的三位 90 后、00 后进行了采访。我们也从中了解到了他们身为开发者以外的一面,航拍高手、吉他十级高手、6500+Star 开源项目作者。想了解关于他们更多的故事,可以阅读今天的另一篇推送。

这次包括获奖作品在内,所有入围决赛的项目,都已在 Github 开源:

https://github.com/AgoraIO-Community/RTC-Hackathon

我们后续还将邀请参赛团队们线上分享他们的开发实践,敬请关注「声网Agora开发者」微信公众号 。同时,我们将在 7 月开启秋季赛 ,会有更具挑战性的赛题与更丰厚的奖励,敬请期待。

如何高效实现PSTN/SIP接入实时音视频网络

在本月的 Agora Talk 直播课,我们请到了来自启智的高级开发工程师王良,他拥有 12 年企业通讯服务从业经验,对 SIP 协议、WebRTC 协议、FreeSWITCH 系统、高并发通讯集群框架有非常深入的了解和实践。主导开发公司的大规模 SIP 音视频集群通信系统,该系统当前支撑 4 万并发实时 SIP 语音呼叫能力。

他在这期 Agora Talk 中为我们分享了如何高效实现 PSTN/SIP 接入实时音视频网络的经验。大家可以扫码观看回放。

在线教育的创新模式及AI的应用实践

在线教育成为现在保障学生学业的重要途径。在这一期 Agora Talk 直播课,我们邀请到了学点云创始人蒋利兵,他从事音视频通信及在线教育行业超过15年。他曾任华为 WeLink 视频会议负责人,此前在新浪负责视频聊天室产品视频 CODEC 算法优化,对视频直播、在线教育有深刻理解。服务过的客户包括达内教育、四中网校、VIPKID、一起作业、说客英语等众多在线教育头部机构。

他为我们分享了在线教育直播的教学模式创新,以及 AI 在教育场景中的应用。大家可以扫码观看回放。

开源与技术科普

WebRTC M83 Release

WebRTC M83, 其中包含10多项新功能和35多项错误修复,增强功能以及稳定性/性能改进,包括Insertable Streams、RTCPeerConnection.canTrickleIceCandidates,以及对 ice-ufrag 和 ice-pwd 语法的新限制等特性和改进。更多详情,请查询 Google 官方论坛。

开源音频编解码器 SOLO 源码解读(二)

声网 Agora 在 2019 年 10 月 24 日,正式对所有开发者开源自研的抗丢包音频编解码器 SOLO。该编解码器适用于所有需要实时音频交互的场景,特别针对弱网对抗进行了优化,并且在相同弱网环境下 MOS 分优于 Opus。SOLO 可应用于各类 RTC 应用,并且可不与 Agora SDK 绑定。

上一期 SOLO 源码解析分析了 SOLO 的带宽扩展系统,本期 SOLO 源码解析将会介绍一下 SOLO 的窄带编码流程。因为 SOLO 的编码框架是基于 Silk 修改而成,所以本文对于 Silk 原生代码的介绍会比较简略。点击这里可以浏览第二篇源码解读

SOLO 源码:https://github.com/AgoraIO-Community/Solo

技术科普:网络协议那点事儿

看过我们前两期视频的小伙伴应该都了解了互联网的发展简史,以及直播网课背后的技术原理。但不论是最初的互联网,还是现在的直播、视频通话,设备之间的网络连接、数据传输都是建立在一系列网络协议之上的。所以,这一期,我们简单讲讲其中几个最常见的网络协议,以及他们之间的区别。

实时美声背后的技术原理

在歌唱场景、语聊等场景中,用户已经不在满足于被听见、被听清、能互动,以及拥有高清的音质体验。他们有了更进一步的需求,希望不仅能有最佳的音质,还想要让自己的声音变得更动听、更有磁性。

就像我们看高清视频、高清照时,第一感受是震撼,所有细节都能看清了,但皮肤的纹理、瑕疵也会暴露出来。所以会增加红润、磨皮、美颜等,让自己更好看。同样道理,高音质场景下,会使用高采样率(44.1kHz - 48kHz)的软件驱动采集,然后使用音频损伤较小的前处理算法(降噪、回声消除、自动增益等)对信号进行处理,并使用保真性能较好的 Codec 进行编码,使得远端接收到的音频达到高保真效果。这样一来声音细节会更丰富,也更接近真实的听感。但是,声音中的瑕疵也变得更加明显,所以我们需要为声音“加了一层裸妆”,让声音更动听、完美,又不失本色。这就是RTC 场景下的实时美声功能。

不过你知道什么才是一般人认为的“好听的声音”?如何将这些好声音数据化?又怎样通过算法来“制造”好声音?设计算法时应该注意哪些问题?点击这里,阅读关于实时美声的技术科普

声网动态

Agora Unreal SDK Beta 版上线

Epic 公布了他们为次时代游戏准备的 Unreal 5 游戏引擎,以及一份效果惊艳的 Demo。据称,游戏中的每个资源有一百万个绘制三角面,每一帧有超过十亿个绘制三角面。也就是说,开发者构建的游戏场景,能获得电影特效场景般的视觉体验。

事实上,声网也有许多采用 Unreal 的开发者。为了能让开发者可以在游戏中快速实现实时音视频对话,声网 Agora Unreal SDK Beta 版也已上线。

由于 Unreal 为开发者提供了两种开发方式,一种是 Blueprint,即可视化编程,另一种是基于 C++开发。所以 Agora Unreal SDK 也提供了两个版本—— Blueprint 和 C++,两个版本均已上传至 Agora Community 的 Github :

Blueprint版本:https://github.com/AgoraIO-Community/Agora-Unreal-SDK-Blueprint

C++版本:https://github.com/AgoraIO-Community/Agora-Unreal-SDK-CPP

声网助力Kumu实现多种直播玩法创新

一直以来,东南亚直播市场主要由中国出海企业主导,比如BIGO LIVE、MICO等头部玩家,而菲律宾本土直播 App Kumu 的成长将有可能打破这一局面,在东南亚市场的竞争中占据一席之地。据白鲸出海报道,近期,Kumu不仅获得近500万美元的A轮融资,用户日均使用时长也在赶超头部玩家BIGO LIVE。Similar Web数据显示 ,Kumu 2020年Q1在菲律宾市场的用户日均使用时长近1小时,已接近BIGO LIVE 的2倍。

拥有这么高的用户粘性,一方面是受到新冠肺炎疫情的影响,大量用户居家隔离,促使社交直播、游戏类应用成为海外线上实时互动的主流场景。作为Kumu背后的实时音视频技术服务商,声网Agora透露,2020年新冠肺炎疫情期间,Kumu在声网的实时音视频用量增长了3.5倍;而另一方面,Kumu自身丰富多样的直播玩法,才是其能够长时间留住用户的关键因素。

多种直播模式,提升内容丰富性

Kumu是一个集才艺直播、电商直播、直播答题、朋友圈以及聊天室于一体的App。

从2018年9月开始,依托于声网Agora实时音视频技术的支持,Kumu先后上线了视频直播、连麦直播、直播答题(HQ)、语音直播、电商直播、直播PK等多种场景功能。

值得一提的是,随着电商直播在国内的日益火爆,Kumu作为一款东南亚本土直播app,也率先涉足电商直播这一热门场景,并于2019年10月上线电商直播玩法,这背后的实时音视频技术同样由声网提供服务支持。

声网目前已上线完整的互动直播电商解决方案,既能实现传统电商直播,也可实现互动电商直播场景,企业和开发者可快速复用,并基于灵活的接口组合,实现主播与用户、与嘉宾连麦以及带货主播PK连麦等更多玩法。小于800ms的超低延时为电商直播场景创造了更多的可能性,主播可以实时接收用户的信息、反馈,提升直播间互动及时性和积极性,增加转化率。

目前,Gravy.Live、Bulbul. tv、Kumu 等海外一线电商社交平台已经完成了声网互动直播电商解决方案的部署上线,同时还有更多知名电商平台正在集成中。

Kumu相关业务负责人称,使用声网的实时音视频服务,在保障直播质量稳定、可靠的前提下,还大大降低了公司在技术开发上的时间成本、人力成本以及带宽的使用成本,提升效率。