高清视频体验大幅提升,来数数我们应用了哪些新算法

就像追求高音质一样,用户同样希望在视频上得到高清的体验,尤其是在社交直播场景下。近期,我们在原有的视频高清、超分等功能上,进一步优化了算法,并融合多种先进编码技术如 PVC、PRIME 等,不仅有效增强了画质、提供高清体验,同时还降低了码率与 QP 值,节省对带宽、存储资源的占用。

这些在视频体验上的优化,已经为一些内测用户带来了实际的数据增长!

北美某知名社交直播平台(为了保护用户隐私,就不透露名字和实际数据了),在集成了这些优化特性后,过去一个月的日均直播时长增长了 14.9% ,主播与观众的日均活跃数也增长了 13.8% 。项目负责人表示,优化后的视频高清体验,让平台利润至少增长了 10%

01 视频高清体验,做了哪些优化?

这次,我们主要是围绕娱乐社交场景,对视频高清体验进行的优化,可以总结为四方面:

领先技术多

这次我们在体验、视频功能和算法层面应用了多项领先技术。

为了优化体验,我们针对开发者的场景特点,自研并应用了两个算法。首先是感 知差错控制 PEC(Perception Error Control )算法 。它可以通过细化 FEC 冗余等级,降低 FEC 码率,提升弱网下有效编码带宽,提升视频质量。在数值上的表现就是帧率增加、卡顿率降低、QP值降低(QP 即 Quantizer Parameter,量化参数,反映了空间细节压缩情况。值越小,量化越精细,图像质量越高,产生的码流也越长,画面质量越高)。另一个算法就是视觉感知渲染 VPR(Visual Perception Rendering)算法。它可通过窗口 QoS 和全局 QoS 统计,动态规划 BUFFSIZE,结合人眼视觉停留特性,小范围内平滑出帧间隔,用最小的时延换取最大视频流畅度提升。经过我们的实测,在开启 VPR 算法后,不同传输延时下的卡顿率得到了明显下降。

与此同时,我们还应用、优化了多项算法。首先就是 感知编码 PVC (Perceptual video coding) 。传统视频编码的目标是尽量逼近原始图像质量,通常会采用 PSNR 指标( Peak Signal to Noise Ratio 的缩写,即峰值信噪比)来衡量图像画质,但 PSNR 是一种评价图像的客观标准,并不能很好地反映出人眼系统的体验。所以我们移动设备端上引入了 PVC,它利用人眼视觉系统特性,结合人眼对时间频率、空间频率、边缘信息等感知能力,过滤人眼不敏感的信息,而过滤掉了这些不敏感信息,可以为我们节省码率,但又不会影响画质。

我们可以根据下面两张图看出 PVC 处理效果。左边是原图,右边是处理后的。原图经过PVC处理前后人眼主观感受并无明显差别,但右图PSNR只有不到37dB*(PSNR 越大,图像质量越高),可以明显降低处理后的图像在编码时的所需码率。


另一方面,我们在去年就在移动端实现了 实时视频超分辨率 。在这次的优化中,我们利用超分特性实现主播发送 360P,观众端观看到 720P的高清体验。

同时,我们还应用了 PRIME 算法 。PRIME 可在软件编码器上开启,编码期间为高参考帧权重多分配码率,减少低参考帧权重码率。在低复杂度场景下,可有效节省码率。经过我们的测试,低码率处理后的视频可以节省 43%的码率,并且几乎不会损失画质。

不仅如此,我们还有一项自研算法,那就是 暗光增强 。由于在一些连麦、视频通话的场景下,有的用户可能会在一些光线较差的环境下。通过暗光增强算法,应用可自适应调整光照过暗区域的亮度值,恢复和凸显图像的细节信息,提升视频图像的视觉效果。这个功能适用于整体亮度偏低、背光、阴天、光照不均匀等场景。

一个字:快

都说天下武功,唯快不破。对于实时互动场景来讲,用户心中的“快”=“流畅”。有很多指标会影响用户对视频流畅度判断。首先,当用户加入频道后,如果首帧出图时间过长,用户就需要等待,这直接影响了他们的观看体验。在用户切换频道(直播间)后,出图的时间也会影响观看体验。另外,用户所处的网络环境各有不同,当处于弱网环境下时,我们需要提供弱网对抗策略。而当用户从较差的网络切换到较好的网络后,比如从 3G/4G 网络切换到 Wi-Fi ,码流会爬升,画质也会得到优化。但是码流的爬升需要经过一定时间,而这个时间越短,用户得到的体验则会越好。所以我们还需要尽量提高码流爬升速度。

基于以上这些体验问题,声网Agora SDK 结合人工智能算法,同时利用先进的编码技术和传输算法,整体优化 Agora SD-RTN™ 的传输策略和 Last Mile 传输策略,尤其针对东南亚、印度、印尼和埃及等地区进行网络优化,进一步降低首帧出图时间和切频道出图时间,并且有效提升码流爬升速度,优化用户体验。

02 明显的体验提升与码率节省

目前集成以上这些视频高清体验优化的产品分布在东南亚、印度、北美、中东北非、中国、欧洲、南美和东亚。如果我们以 QP 值作为清晰度指标,那么 QP<35 的视频互动时长占到了 70%以上,这还是包含了印度这样网络环境较差的地区。600ms 延时下,卡顿率<3% 的视频互动时长占比达到 90% 以上。另外,在所有互动直播场景的观众端与主播端,首帧出图<1s 的占比达到了 60%以上。

我们目前已进一步增强了服务的弱网对抗能力,利用 PEC 算法实现丢包弱网场景下,提高清晰度、帧率的同时降低端到端时延10%-20%,并码率节省10%。

03 也想体验这些视频高清优化?

这些更新与优化,主要是针对社交直播中需要高清画质,又希望能节省码率的场景。目前集成的应用涉及电商直播、视频群聊、体育直播、户外直播、1v1 视频连麦等场景。如果你也感兴趣,可以拨打官方客服详询:400 6326626。

声网Agora SDK 会为开发者每个月提供 10000 分钟免费通话时长。同时,开发者还可以在 Agora 控制台(Console.agora.io)的「套餐包管理」中购买套餐包,享受更多折扣。7 月 10 日起,访问 www.agora.io,注册声网Agora账号。在 Agora 后台,通过抵扣码“API”,即可对指定的分钟数套餐包抵扣 1000 元人民币,仅需8元购买价值1008元套餐包。