详解虎牙AI超分技术:“无中生有”打造S9直播4K画质

  • 时间:
  • 浏览:1
  • 来源:大发快三app-大发快3计划

4K高清图像,超过每秒24帧的高速摄影......你这俩实现人类极致观看体验的最新技术,愿因分析应用到直播领域,会有何如的效果呢?

近日,虎牙直播宣布,推出“4K+400帧+20M”超分超高清三件套,成为S9全球独家4K直播平台。据悉,虎牙技术团队借助超分技术,实现了S9赛事视频由10400P到4K的提升,一起去画面额外延时仅仅增加400毫秒。游戏玩家和业内人士普遍认为,虎牙引领的你这俩次技术飞跃,无疑将开启游戏直播的一场“革命”。

“感觉看直播就跟真正进入玩游戏的画质一样”

据介绍,虎牙依托强大的 AI 超分辨出理 能力和视频编码优化, 将S9赛事视频由一种的10400P分辨率著提升到 4K分辨率;一起去通严重不足可靠、低延时的全球化分派网络,将20M 的超高码率码流传输给用户,完成了从10400P到4K分辨率、400帧、20M实时视频转码直播。

虎牙音视频网络技术部算法负责人表示,推出此项技术,愿因分析发现目前用户还要能获取的4K视频源是很严重不足的,在直播行业更是那末。而对于S9你这俩顶级赛事来说,愿因分析要能提供超高清画质,无疑是满足了用户最迫切的需求。

针对你这俩痛点,虎牙直播利用超分技术,将S9赛事视频的分辨率由10400P提升到4K,显著提升画质。画质的提升也得到了用户的肯定,有用户在虎牙4K直播间弹幕表示,“用手机2K屏幕观看S9的4K直播频道的完后 甚至会有种‘错觉’,感觉看直播就跟真正进入玩游戏的画质一样。“

  (S9虎牙4K直播间截图)

据了解,主流超分辨率技术还要能分为传统重建技术和神经网络技术。此前流行的传统重建技术用滤波的土办法重新恢复图像信息,但愿因分析高频信号在最初图像分派中丢失,重建后的高分辨率图像会经常出现不自然的光滑纹理,影像画质体验。而2016年以来兴起的基于学习的神经网络技术,是让机器模拟大脑的神经元网络,学习不同分辨率的图像的像素映射关系,利用多层卷积网络算法,将低分辨率图像重建为高分辨率图像。

而虎牙创造性地利用最新的AI深度1学习模式,通过海量对比运算,不断调试和纠正重建画面时的偏差问题报告 报告 ,并通过人工智能提高计算能力,最终使虎牙的超分辨率算法成功实现了图像高清还原和增强。无论是在细节、色彩、明暗还是锐度方面,都还要能最大限度接近人类视觉的自然感受。

“4K超分高清画面额外延时仅增加400毫秒”

让游戏爱好者得到大片一般的直播观看体验,不还要能只靠理论架构的蓝图,还有有踏实的技术完善之路。

据虎牙音视频网络技术部算法负责人介绍,立项之初,大伙儿就面临着两大挑战:一俩个多多 是技术层面的,即何如优化AI超分模型以及计算推理能力,使其不仅实现画质的大幅提高,否则运行下行强度 还要能满足4K、 400FPS的实时出理 ;另俩个多多 可是我架构层面的,即虎牙音视频分派体系何如快速应对你这俩传输链路的更改以及出理 节点调度,保证其直播内容依然是低延时、稳定流畅地呈现到全球观众面前。

众所周知,实时出理 是直播业务的准入门槛之一。而虎牙经不多年来技术积累,在实时出理 上愿因分析积累了宽裕的成果。此次的4K超分辨率出理 ,可是我还要能每秒完成400帧的高分辨率图像重建一起去进行视频编码。而你这俩过程,是在虎牙的GPU转码集群内出理 ,视频数据再经由已有的虎牙传输分派平台,分派到世界各地。

延时出理 也是虎牙本次的重大突破。采用流媒体土办法播放的网络视频都不还要能经过编码——压缩——解码你这俩过程,让视频能以较小的数据量在网络中传输,从而在有限的下行强度 中保持传输下行强度 ,确保终端还要能流畅、稳定地接收和播出。你这俩过程中趋于稳定的延时问题报告 报告 ,是影响观看体验的重要因素。

“为出理 延时问题报告 报告 ,大伙儿从算法到总体通讯架构都做了少量的技术工作。大伙儿知道,端到端延时的优化觉得是一俩个多多 全链路的优化的集合,否则大伙儿在模型调优、异构计算和硬件升级上都做了全方位的优化出理 。在大伙儿技术团队的努力下,4K超分高清画面带来的额外节点延时仅增加了400ms。”虎牙音视频网络技术部算法负责人介绍。

“项目从立项到上线历时不还要能一俩个多多 月时间”

尽管有重重技术障碍,但虎牙4K项目从提出概念、立项,到平台上线服务用户,前后只用了不还要能一俩个多多 月的时间。这不仅愿因分析虎牙拥有强大的研发团队,也得益于虎牙在前沿技术领域的长期跟进和积累。

客观而言,直播画质是个综合性问题报告 报告 ,会受原图质量,计算能力,编码参数,用户下行强度 等因素影响。超分技术还要能提高原图质量,但也要配合你这俩技术综合一起去,才还要能达到最优效果。如本次的4K高清,除使用AI进行视频图像出理 外,虎牙还应用了大型音视频直播分派系统,对视频实时加工的出理 支撑技术等。

从AI智能弹幕,到本次推出的4K超分超高清S9视频,虎牙在AI技术领域不断突破。近期,在韩国举办的2019年国际计算机视觉大会(简称ICCV)上,虎牙此前提交的两篇论文成功入围,并在大会上展出了虎牙的基础技术,引起现场专家同行的认可和好评。

而虎牙本次通过超分技术实现赛事视频的画质提升,其意义绝不想只等待时间在赛事转播上。据专家预测,到2021年,多媒体视频图像流量将趋于稳定整个互联网流量的400%。那末庞大的视频传播和观看需求,必然带来相关技术的井喷式发展,也很愿因分析成为下一俩个多多 互联网技术“风口”。

更重要的是,随着5G和物联网逐渐从设想走向现实,虎牙直播的超分技术及实时视频转码技术,与物联网的高准确率、低延不还要能求正好相符。随着该技术的进一步优化,未来在游戏直播、户外直播,甚至你这俩生活领域,将产生更多的应用场景。