想K歌,上云端!疫情常态化推动了线上娱乐的蓬勃发展,线下KTV长时间的“闭麦”让线上云K歌更加火热。
从本地录唱到多人KTV,再到实时合唱,线上KTV的实时性与互动性越来越强。线上K歌娱乐不断迭代升级,背后折射的是用户“以歌会友”的需求,对真实的、实时的“陪伴感”的追求。
即构ZEGO 全网首创在线KTV实时合唱方案,打破行业技术限制,把线下KTV场景更完整的“复制”到线上,让实时陪伴的感知最大化。
目前行业内普遍采用的合唱方案为“串行合唱”。在“串行合唱”方案中,合唱各方串行加入,伴奏由主唱端混入。从本质上来说,这是一种“伪实时合唱”——
·主唱体验缺失:副唱、听众合唱同步效果良好,但主唱无法实时听到副唱的歌声
·合唱人数有限制:三人或以上的合唱实现复杂,延迟高,难以真正落地
▲串行合唱方案(点击查看大图)
为了突破这两个限制,同时不影响副唱和听众端的体验,即构对方案架构进行了重构,克服了多个技术挑战,实现了合唱者之间的实时互动,也满足了三人及以上的合唱需求。
▲即构实时合唱方案(点击查看大图)
即构凭借在音视频领域多年的技术积累,克服了多个挑战,完成了实时合唱方案的落地。
端到端的感官延迟低至70ms
本质上,实时合唱效果可以通过极低延迟的RTC技术实现,我们需要将一端的歌声用最小的耗时传送到对端。
我们将整个过程进行拆解,针对每个环节做以降低延迟为首要目标的优化,包括采集渲染延迟优化、音频前后处理算法优化、应用超低延迟编码方案、调整流控策略等。
通过对每个环节的“压榨”,即构在保障的合唱体验效果的前提下,将端到端的感官延迟降低至70ms。
多端精准同步播放伴奏
为了实现线下KTV歌房的合唱效果,让伴奏音乐在各自端播放,各方演唱者由伴奏音乐驱动演唱,不必等待对方。这里引入另一个挑战:如何让各方同步播放伴奏音乐?
为此,我们做了各端精准的时钟对齐,让各端在同一时刻启动伴奏播放。同时,结合播放器资源预加载,实现各端伴奏同时播放特性。
服务端多演唱流同步混流
在满足演唱各方实时合唱的同时,我们还需要考虑观众端的体验。即构采用了服务端精准混流的方案,各方演唱者的声音和伴奏混音成一路流,混音的同时通过NTP时间精准对齐各方演唱进度。
听众端只需拉一路流就能听到良好的合唱效果,且这一方案对听众的网络要求很低。
3人以上合唱拓展
基于以上即构“实时合唱”方案的架构,每一端的合唱的加入是独立的,不相互依赖,合唱人数的拓展变得十分简单,对合唱的人数没有限制。同时,观众通过混流收听不会受到多方合唱的影响。
基于不同K歌业务的场景需求,选择更适配的合唱方案,才能为用户带来最佳的体验。
付费点歌合唱
专业主播在直播间开播,观众通过付费等方式获得与主播连麦合唱的机会。
核心需求:优先保障付费连麦用户(即副唱)的体验,其次保障直播间中观众的体验。
方案适配:串行合唱方案
在此方案下副唱的拉流中主唱歌声与伴奏同步,副唱合唱后发起混流,观众端听到主副唱歌声与伴奏同步,副唱和观众的体验得到较好的保障。
在线KTV实时合唱
多个用户在“歌房”中连麦互动,体验虚拟KTV的乐趣,社交属性更强。
核心需求:实现连麦几方多人实时合唱。
方案适配:实时合唱方案
即构超低感官延迟连麦技术,保障了合唱者之间无障碍实时互动;接入成本低,扩展容易,支持3人及以上的合唱,复刻更贴近线下KTV的互动体验。
OMO歌房连麦
线下传统KTV歌房与mini-KTV欢唱室打通,线上线下融合(Online Merge Offline),实现线下不同场景连麦合唱。
核心需求:连麦双方实时互动合唱。
方案适配:实时合唱方案
即构超低感官延迟连麦技术,打破空间壁垒,让陪伴和互动更加真实。
“即构最愿意做的事就是对变化迅速反应,对新场景主动开拓,不断创新解决方案,驱动核心技术落地,适应各类场景需要,真正让音视频技术深入各行各业,融于无形。”即构科技CEO林友尧表示。
基于对在线K歌的发展趋势和用户需求的洞察,即构发挥核心的音视频技术能力,创新场景解决方案,进一步打破空间壁垒,把线下的欢乐无缝的、完整的复制到线上,给用户带来更实时的陪伴和互动体验。
版权声明:
本文来源网络,所有图片文章版权属于原作者,如有侵权,联系删除。
本文网址:https://www.mushiming.com/mjsbk/10499.html