天富平台官网:张国荣演唱会修复:“修旧如旧”分辨率提升6倍,眼神有特别算法

官网天富平台:张国荣演唱会修复:修旧如旧分辨率提高6倍,眼睛有特殊算法

张国荣演唱会修复:“修旧如旧”分辨率提升6倍,眼神有特别算法

   

41月1日是张国荣去世19周年纪念日。每年的这一天,世界各地的无数粉丝和粉丝都会以自己的方式纪念兄弟张国荣。今年,在腾讯云多媒体实验室智能图像修复技术的支持下,腾讯音乐娱乐集团与全球音乐品牌宝丽金携手合作,与腾讯云、微信视频号、腾讯视频等团队共同呈现2000年张国荣·情》演唱会超清修复版”全球首播。

4K修复演唱会预告片。

《热·演唱会是张国荣生前的经典绝唱,由他亲自担任艺术总监,著名时尚设计师让-保罗·高蒂耶负责服装设计。今年,得益于数字修复技术的加持,这个被尘封21多年的时代符号首次解锁。·基于腾讯云多媒体实验室多年的多媒体通信和处理研发经验,高清修复利用引擎智能分析、图像质量修复、图像质量增强、智能编码四个模块,解决时间跨度大造成的划痕、噪声等问题。但音乐会整体环境暗,细节不够丰富,场景切换快,照明环境复杂,色彩丰富,给算法带来挑战,面对缺乏清晰度,不能准确建模,需要尝试不同算法达到最佳修复效果等技术困难,在接受官方网站采访时,腾讯云多媒体实验室主任李松南、腾讯云多媒体实验室专家研究员夏珍介绍。

每个人心中都有一个标准

天富官网:2000年张国荣热播·《爱》演唱会超清修复版的想法是什么时候产生的?

夏珍:我们也偶然接触到环球音乐的宝丽金唱片,得知他们恰好有张国荣的《热》·爱情演唱会的母带,觉得很符合我们的技术,就达成了合作的意向。三月初,我们正式开始做这项修复工作。

天富官网:在张国荣众多演唱会中,为什么选择热·情》?

李松南:因为热·爱情是哥哥去世前的最后一场音乐会。当时,宝丽金唱片公司也想看看张国荣之前的一些音乐会或片段是否可以修复。因为我们的实验室以前一直在修复智能图像,双方很快就达成了合作意愿。

事实上,很荣幸在4月1日的特殊日子推出修复版本。每年的这一天,每个人都会用电影片段或其他方式来纪念他。当我们这次通过修复音乐会来做这件事时,我们也会感到特别有意义和有价值。

从对比图可以看出修复前后画质的差异。

天府官网:演唱会修复版直接版

播出会涉及版权等相关问题吗?

李松南:与宝丽金的合作是基于对张国荣先生的记忆,所以没有商业上的东西。此外,我们在许多平台上直播音乐会。虽然这些直播渠道过去为明星艺术家提供奖励功能,但张国荣的直播已经关闭。

天富官网:此次修复的过程花费了多长时间,哪部分修复是耗时比较久的?

夏珍:就算法而言,整个智能修复算法时间不长,但我们仍然想让音乐会像旧一样旧,保持整个音乐会的艺术效果,尝试不同的算法和效果,所以我们花了很多时间来平衡。

天富官网:在整个修复过程中,你认为有哪些挑战?

夏珍:借助实验室维修引擎等技术积累,可以大大恢复音乐会视频的清晰度,但对于音乐会视频颜色、图片切换快,加上视频材料清晰度不高,如何做旧,给观众带来身临其境的体验,对团队来说是一个巨大的挑战。

修复版的音乐会可以呈现从母带画质(上图)到修复后(下图)的效果,经历了行、噪音去除、压缩失真、增强和超分。

天府官网:在演唱会修复领域,修旧如旧的旧应该达到什么标准?

李松南:修旧如旧是我们过去修复旧经典图像时想要实现的目标。这种理解应该因人而异,业内没有人提出标准。音乐会的修旧如旧只是我们想要表达的目的。

首先,我们的团队将有一个一般的判断,首先了解和计划音乐会的艺术,如何遵循整个舞台想要表达的氛围,我们将尝试调整算法。修复后,我们还将与旧版本进行比较,看看整个艺术的表达和整体感官是否能达到旧的感觉,因为每个人都会对旧有自己的看法。

技术亮点:分辨率提高6倍,场景降噪

天府官网:这次提到的数据比电影和电视剧少。这个数据是什么意思,为什么少?

夏珍:我们谈论的数据。在修复电视剧之前,如《世界人民》和《康熙王朝》,电影和电视剧的场景相对固定,镜头的运动和整个画面相对稳定。从头到尾的艺术表达形式和整体色彩风格相似。然而,音乐会是不同的。音乐会中的灯光和图片镜头之间会有很多切换。在以前的修复中,我们很少遇到如此复杂的场景。我们说数据更少,通常指我们以前很少遇到的场景。

音乐会现场的灯光变化给修复带来了挑战。

天府官网:这次修复会提高多少画质,比如修复前后的分辨率,修复后有没有看到一些以前没见过的细节?

李松南:从整体画面的主观感受来看,修复后会比以前的画面更清晰、更真实。例如,我们可以看到张国荣的面部清晰度非常高,包括他的面部轮廓、毛孔和胡子,这将比旧版本清晰得多。以前版权公司给的母带分辨率很低,可能只有720×480现在修复后的分辨率接近4K分辨率和分辨率提高了6倍左右,整个画面的流畅度也提高了。我们还优化了帧率。

夏珍:当我们做面部修复时,有一张大脸,只是整个音乐会的照明设计也是红色的,当光打在张国荣的脸上,他的整个脸颜色不同于我们正常的脸颜色,导致面部模型和修复结果不是很好,所以我们会特别针对这些问题进行优化。

天府官网:从观众的角度来看,高清修复更注重人脸修复。如何达到最佳效果?

李松南:现在行业基本上很难找到基于视频的人脸修复。大多数人脸修复只是基于图片或单张照片。如果你想使用视频,你会遇到更复杂的问题。例如,脸的角度是不同的。如果是侧脸或小脸和大脸,各种角度和姿势的脸都需要在算法处理中解决。

音乐会修复有一个困难,是音乐会有很多灯光,灯光的颜色会变化,如红色、蓝色、绿色等,在脸上,我们目前的算法会有一些问题无法处理,也为我们以后的工作或优化提供了很多宝贵的经验。

天富官网:修复构建了哪些具体场景?

李松南:比如人脸,我们会修复一些场景的人脸,我们会用大场景。GAN(生成对抗网络)技术,因为以前的母带里有很多大场景,当镜头被拉到远处时,会变得非常模糊,通过GAN经过技术,场景的清晰度和纹理将特别清晰。此外,我们还将在不同的场景中使用一些不同的算法。例如,整个音乐会的场景有很大的噪音,我们也降低了这个场景的噪音。

与传统的人工修复相比,这一技术有哪些优势?

李松南:整个音乐会持续了两个小时。与传统的手动修复相比,它可能需要一两个月的时间。从算法的角度来看,我们的算法处理得更快。首先,使用各种智能评价算法的智能分析模块将对视频内容进行全面、多维的分析,主要是评价视频的运动和纹理复杂性、压缩失真程度等。在获得不同维度的分析结果后,图像质量修复模块可以使用各种智能算法来有针对性地修复破坏图像质量的各种主要因素,包括但不限于划痕、垂直线、雪点、噪声、压缩失真、抖动等问题。这些算法基本上是由腾讯开发的,如划痕算法。说实话,它还没有在公共服务中遇到过。

夏珍:划痕和雪花点的表面积累和数量与观看体验成反比。面积越大,体验就越差,反之亦然。与此同时,划痕修复也存在许多困难。一方面,划痕修复是不可逆转的,成本高;另一方面,目前缺乏巨大的划痕披露数据库,算法难以调整,施工成本也非常昂贵。为此,实验室专门设计了有针对性的多方向数据推广方案。该方案包括划痕切割合并、随机尺寸、随机模糊、局部和全球随机亮度调整、随机透明度调整等。

然后,图像质量增强模块将选择最佳的视频增强算法来提高图像的多维图像质量,提高视频在空间和时间上的分辨率和帧率,提高细节的清晰度和空域中的色彩丰富度。需要更好的控制和平衡CNN(卷积神经网络)和GAN两种智能算法(生成对抗网络)。

修复前后异同的视频对比。

天府官网:为了营造直播演唱会的面对面效果,还有哪些技术尝试和努力?

夏珍:实验室团队还对张国荣演唱会的眼睛细节进行了特殊的算法调整。从修复后的视频中截取了张国荣在舞台中央的静态图片。放大后,你似乎可以通过它的眼睛看到舞台反射的图像轮廓。

天府官网:这项技术未来会更接近大众吗?

夏珍:超清沉浸式修复引擎主要分为四个部分:智能分析、图像质量修复、图像质量增强和智能编码。其中,图像质量修复是为了修复这个旧视频,主要是为了去除一些丢失的帧。图像质量的提高是为了进一步提高现有视频的质量,包括提高分辨率、帧率、动态范围,甚至式的方向发展,并在现有视频的基础上进行一些维度转换。我不认为这里的应用前景很小,因为我们以前接触过很多业务,无论是媒体、泛娱乐还是电影和电视行业,都积累了大量的旧材料,特别是电视,仍然有一个很大的市场。

除了这些专业技术,观众在感官上需要注意哪些体验?

李松南:感官因人而异,因为在整个音乐会过程中,我们不会有修复前后的比较,如果让观众感觉效果好,觉得这是一场伟大的音乐会,所以整个音乐会的一些细节,如兄弟状态,可以让你感觉接近现在的音乐会,即使达到预期。

由于母带的质量相对较差,从我们的角度来看,我们可以清楚地感觉到修复后的一些细节,包括兄弟的脸,他的眼睛,眼睛,以及他在整个音乐会上戴的假长发,清晰度将比以前好得多。我们希望你能通过当前的技术清楚地回顾音乐会的整个过程。

天府官网资深记者刘珍

高级编辑田校对刘军

未经允许不得转载:天富平台官网-天富会员注册登录 » 天富平台官网:张国荣演唱会修复:“修旧如旧”分辨率提升6倍,眼神有特别算法

赞 (0) 打赏

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏