夏珍&＃xff0c;腾讯多媒体实验室视频处理技术负责人&＃xff0c;张国荣《热·情》演唱会修复技术负责人。14年入职腾讯&＃xff0c;负责QQ音视频通话的画质优化&＃xff0c;业界首推低码率的实时视频美颜&＃xff0c;在toC上服务QQ、QQ空间、QQ音乐、微视、全民K歌等产品&＃xff0c;18年后负责视频处理技术包括画质修复和画质增强等算法的探索、研发、应用和落地&＃xff0c;重点服务腾讯云音视频、媒体AI中台、数据万象、腾讯会议、腾讯视频、腾讯影业等业务。
吴洪声&＃xff0c;人称奶罩&＃xff0c;腾讯云中小企业中心总经理&＃xff0c;DNSPod创始人&＃xff0c;洋葱令牌创始人&＃xff0c;网络安全专家&＃xff0c;域名及DNS技术专家&＃xff0c;知名个人站长&＃xff0c;中欧国际工商学院EMBA。
1
吴洪声&＃xff1a;你自从加入腾讯以来一直都在做视频处理相关的工作&＃xff0c;从早期负责QQ视频美颜&＃xff0c;到后来的腾讯会议的降噪&＃xff0c;再到现在的腾讯多媒体实验室&＃xff0c;以及腾讯云音视频、媒体AI中台等等&＃xff0c;当初是什么契机让你选择了视频领域并一直深耕下去&＃xff1f;这么多年里有没有哪段经历让你印象最深刻&＃xff1f;
夏珍&＃xff1a;因为热爱吧。
14年进鹅厂时做的第一个项目是QQ视频美颜&＃xff0c;在当时应该是业界首推低码率下的实时视频美颜&＃xff0c;虽然过程有非常多的挑战&＃xff0c;但能感受到给用户带来的全新体验。
其实中间经历了非常多有趣也有挑战的项目&＃xff0c;但4月1日张国荣《热·情》演唱会还是印象最深刻的一段。因为最开始做的QQ是一款toC的产品&＃xff0c;后来随着公司战略的转移&＃xff0c;我们的重心也从toC移到了toB&＃xff0c;而这次演唱会仿佛是一种toC和toB的结合&＃xff0c;有点意思。
2
吴洪声&＃xff1a;4月1号的张国荣《热·情》演唱会修复视频吸引了3000多万人观看&＃xff0c;当时我的朋友圈几乎都在刷屏。你们当初做这个项目的契机是什么&＃xff1f;演唱会好评如潮&＃xff0c;这个项目大功告成后你们有没有什么心得体会&＃xff1f;
夏珍&＃xff1a;当时也是一次偶然的机会接触到宝丽金&＃xff0c;他们正在找修复张国荣演唱会的技术&＃xff0c;于是一拍即合&＃xff0c;开始了整个项目。整个项目取得甚至超出了预期的效果&＃xff0c;没想到哥哥去世这么多年&＃xff0c;依然有非常非常多的粉丝在纪念他&＃xff0c;让我们团队认为老片修复在C端原来也非常有价值。
微信视频号《热·情》演唱会
3
吴洪声&＃xff1a;在《热·情》演唱会视频修复过程中&＃xff0c;对你们来说最大的挑战是什么&＃xff1f;你们这次视频修复的主要“杀手锏”是什么&＃xff1f;
夏珍&＃xff1a;在整个修复过程中&＃xff0c;最大的挑战有两个&＃xff0c;一个是能修复的时间非常短。春节前后因为疫情的原因&＃xff0c;香港和深圳相继有严重疫情&＃xff0c;母带也不能从香港寄到深圳&＃xff0c;耽误了很多时间&＃xff0c;我们拿到母带时已经是3月10日左右&＃xff0c;离上线只有20天不到&＃xff0c;压力还是很大的。
另一个是第一次修复演唱会的场景&＃xff0c;和之前的影视剧修复还是有非常多的区别。我们这次修复的“杀手锏”主要是有人脸修复和GAN&＃xff08;生成对抗网络&＃xff09;超分&＃xff0c;人脸修复其实在视频领域依旧是一个比较难的问题&＃xff0c;相比图像的人脸修复&＃xff0c;视频里有多人脸、前后景、运动、遮挡、角度、噪声等非常多影响效果的问题。GAN超分则需要在修复视频画质的同时又能把握生成更多细节&＃xff0c;还需要把握细节生成的真实性。
超清修复后的版本&＃xff0c;张国荣的脸部细节清晰可见
张国荣《热·情》演唱会修复前后对比&＃xff08;受截图软件影响&＃xff0c;画面有损失&＃xff09;
4
吴洪声&＃xff1a;听说你们在修复哥哥演唱会视频中进行了多次算法升级和优化&＃xff0c;为的就是给观众带来更好的体验。你作为这个项目的操盘手&＃xff0c;能介绍一下你们做了哪些工作吗&＃xff1f;
夏珍&＃xff1a;首先我们的修复流程其实是自动化的&＃xff0c;主要包括智能分析、画质修复、画质增强和智能编码四个主要模块。
智能分析&＃xff1a;首先对视频进行不同维度的分析&＃xff0c;包括帧级别的运动复杂度、画面复杂度、噪声强度的分析&＃xff0c;场景级别的亮度、饱和度等的分析&＃xff0c;整体视频的细节、失真程度分析等。
画质修复、画质增强&＃xff1a;得到分析结果后&＃xff0c;指导进行画质修复和画质增强&＃xff0c;画质修复包括去划痕、降噪、去压缩失真等去除破坏画质的一些因素。画质增强则是对画面进行分辨率提升、色彩增强、倍帧等处理。
智能编码&＃xff1a;最后一步是利用编码技术对视频进行智能压缩&＃xff0c;在保证画质的前提下尽量压缩视频大小。
夏珍在修复张国荣《热·情》演唱会视频
哥哥演唱会其实不仅仅是一场演唱会&＃xff0c;而且是一场艺术盛宴&＃xff0c;每个环节都体现了哥哥想表达的艺术性&＃xff0c;比如朦胧感、天使的白色和热情的红色等&＃xff0c;如果基于算法在某些场景下视觉效果可能会更好&＃xff0c;但对艺术性可能会有一些丢失&＃xff0c;所以我们也会尝试不同算法去尽量保持艺术性。另外就是前面也有提到的人脸修复我们也是经过很多个版本优化。
5
吴洪声&＃xff1a;在视频修复技术里&＃xff0c;去划痕/雪花能力是非常重要的。老视频里经常有划痕和雪花点&＃xff0c;极其影响观看体验。现在市面上其实已经有很多自动修复软件如Phoenix、Pfclean、MIT DRS Nova等&＃xff0c;多媒体实验室的去划痕技术属于业界领先&＃xff0c;那么你们的技术亮点和优势在哪里&＃xff1f;
夏珍&＃xff1a;其实老片修复在国外已经有非常多年的历史&＃xff0c;博洛尼亚修复实验室从上世纪90年代就已经开始修复胶片电影&＃xff0c;但在中国也是最近几年才开始关注到老片修复的领域&＃xff0c;而对于胶片而言&＃xff0c;其实很严重的一个问题是胶片会因为各种问题导致胶片上留下划痕、霉斑、雪花点等等问题&＃xff0c;所以去划痕是一个非常重要的工作。
相比于市面上的软件其实去划痕还是很大程度依赖于人工处理&＃xff0c;多媒体实验室研发的去划痕算法是基于深度学习的自动去划痕&＃xff0c;利用算法对划痕进行识别和去除&＃xff0c;一个是我们团队基于视频场景去做的模型&＃xff0c;另一个我们自己建立了一个划痕的数据集。
张国荣《热·情》演唱会视频前后修复对比&＃xff08;受截图软件影响&＃xff0c;画面有损失&＃xff09;
6
吴洪声&＃xff1a;在《热·情》演唱会视频之前&＃xff0c;多媒体实验室就已经在视频修复领域积累了比较丰富的经验&＃xff0c;之前曾深度参与了包括《康熙王朝》、《天下人家》等多部经典影视剧高清修复工作。虽然都是修复视频&＃xff0c;其实两者区别并不小。你们认为演唱会和影视类的视频修复的主要区别在哪里&＃xff1f;
夏珍&＃xff1a;其实《热·情》演唱会也是我们第一次修复演唱会&＃xff0c;相比影视剧还是有非常大的不同&＃xff0c;比如演唱会灯光、画面、运动切换、不同场景噪声程度、损失、模糊等也有非常大的区别&＃xff0c;而在之前修复的影视剧大部分时候整个视频都是统一的风格、运动、灯光都会比较统一。
比如在演唱会场景下人脸修复会遇到很多问题&＃xff0c;因为《热·情》演唱会是一场非常有艺术性的演唱会&＃xff0c;从某个角度来看已经高于演唱会的形式&＃xff0c;所以在整个过程中为了表现张国荣先生的艺术理念&＃xff0c;会有各种颜色的灯光&＃xff0c;在灯光打在脸上时会出现蓝色的脸、红色的脸等通常没见过的问题都需要单独去处理。
7
吴洪声&＃xff1a;你也反复提到&＃xff0c;视频修复并不是单纯修复瑕疵&＃xff0c;还要讲求修出艺术效果&＃xff0c;那么在色彩方面可能还得需要艺术专业人员进行把控。我很好奇&＃xff0c;AI能够取代专业电影修复师吗&＃xff1f;技术和艺术之间如何“鱼与熊掌都能兼得”&＃xff1f;
夏珍&＃xff1a;正如前面也提到的&＃xff0c;《热·情》演唱会不仅仅是一场演唱会&＃xff0c;而是凝聚了哥哥对人生对艺术的理念表达&＃xff0c;在不同章节色彩的表达不一样&＃xff0c;确实需要艺术专业人员的把控&＃xff0c;AI技术做的不是取代专业电影修复师&＃xff0c;AI技术能解决两个问题&＃xff1a;
一是AI技术能解决不同专业人员对艺术的偏差&＃xff0c;比如不同专业人员对色彩的感知是会有差异的&＃xff0c;甚至同一位专业人员不同的心情也会影响对色彩的认知&＃xff0c;但AI是能做到非常好的统一&＃xff0c;任何时候处理的效果都是统一的&＃xff1b;
另一个是AI能大幅提升修复的效率&＃xff0c;以前需要一帧一帧进行修复的视频&＃xff0c;现在通过算法能自动化解决大部分的问题。在通过AI修复后&＃xff0c;再结合电影修复师的专业精修&＃xff0c;希望能做到“鱼与熊掌兼得”。
《热·情》演唱会超清修复片段&＃xff08;受截图软件影响&＃xff0c;画面有损失&＃xff09;
8
吴洪声&＃xff1a;这个4K演唱会的背后&＃xff0c;可能很多人都忽视了一个幕后功臣&＃xff0c;就是视频编解码技术。我们都知道越高清的视频占据的存储空间越大&＃xff0c;很容易引起播放卡顿。多媒体实验室在视频编解码方面的研究也很深&＃xff0c;你能介绍一下你们的这项技术吗&＃xff1f;
夏珍&＃xff1a;它所解决的问题可以用一句话总结&＃xff1a;在不改变视频主观质量的前提下&＃xff0c;压缩视频的大小&＃xff0c;以更顺畅、高质地在各个平台播放。
谈及至此&＃xff0c;不得不提实验室的一项“王牌技术”&＃xff1a;新一代国际编解码标准。该标准于2020年7月正式发布&＃xff0c;在业内广受关注&＃xff0c;成为视频产业跨时代的里程碑&＃xff0c;相比上一代标准&＃xff0c;其压缩性能显著提高&＃xff0c;可在视频主观质量不变的条件下减少50%的数据大小&＃xff0c;大大减少视频传输带来的流量、带宽成本&＃xff0c;推动整个视频产业进化。
腾讯多媒体实验室正是这项标准制定的主要贡献者之一&＃xff0c;提交的技术提案被国际和国内标准采纳&＃xff0c;数量全球领先。同时&＃xff0c;实验室专家们还在标准组织中担任包括新一代国际编解码标准联合主编、参考软件联席主席等重要席位。腾讯是中国最早参与并致力于开发视频信息压缩和解码标准的公司之一&＃xff0c;现已在视频编解码技术上处于全球领先的地位。
9
吴洪声&＃xff1a;在视频领域这么多年的从业经验里&＃xff0c;若从现在回望过去&＃xff0c;你认为视频处理技术实现了哪些重要突破&＃xff1f;用户/观众对视频的需求又有哪些重要变化&＃xff1f;
夏珍&＃xff1a;我个人观点感觉最重要的是视频处理技术已经从以前基于传统信号处理的方式逐步扩展到基于深度学习来完成算法开发&＃xff0c;而且还在快速的迭代中。一个是深度学习和算力的支持&＃xff0c;另外也有更多的人才进入到视频技术领域。
用户/观众对视频的需求也在近十年发生了很大的变化&＃xff0c;对分辨率、清晰度都要求非常高了。十年前下载一部200M的电影&＃xff0c;画质是640x480可能会觉得效果还不错&＃xff0c;但现在如果视频没有1080p甚至4K&＃xff0c;你可能都不太想去看。
腾讯多媒体实验室视频处理技术负责人 夏珍
10
吴洪声&＃xff1a;现在你们的视频修复主要还是处理2D视频&＃xff0c;随着3D技术的发展&＃xff0c;甚至是pony说的“全真互联网”、现在大火的“元宇宙”的到来&＃xff0c;未来视频修复技术会往什么方向发展&＃xff1f;会诞生哪些新的应用场景&＃xff1f;
夏珍&＃xff1a;目前的视频修复技术是基于2D视频来处理的&＃xff0c;未来希望可以结合3D&＃xff0c;在全真互联网或元宇宙里结合视频技术做出更多有创意和价值的探索。比如设想下以后是否可以在一个虚拟场景下感受演唱会现场的震撼感&＃xff0c;相信这样的体验会更沉浸式更真实。
全球有非常多的诸如演唱会、电视剧、电影、纪录片等经典影像&＃xff0c;腾讯多媒体实验室目前已经形成了较为完整的智能老片修复技术矩阵&＃xff0c;未来希望通过超清沉浸感修复引擎&＃xff0c;帮助更多的时代经典高质、高效地重现于观众面前。
未来&＃xff0c;腾讯多媒体实验室将在多媒体技术领域中持续深耕&＃xff0c;推动多媒体技术在多个产业领域中落地应用的同时&＃xff0c;践行腾讯可持续社会价值创新&＃xff0c;借助数字化技术助力传统文化和经典作品传承&＃xff0c;也是腾讯技术价值外溢、科技向善的又一体现。
* 图片来源&＃xff1a;腾讯多媒体实验室、视频号、哔哩哔哩&＃64;腾讯云与智慧产业
END
栏目统筹 | 赵九州
责任编辑 | 黄绮婷 庄雅捷 张洁
你有看张国荣的《热·情》演唱会吗&＃xff1f;你认为视频修复的价值在哪里&＃xff1f;欢迎在评论区分享你的看法~点亮“在看”&＃43;评论区留言&＃xff0c;阿D将在4月27日&＃xff08;周三&＃xff09;下午15:00随机抽取1位粉丝&＃xff0c;送出DNSPod定制口罩~
《DNSPod十问》是由腾讯云企业中心推出的一档深度谈话栏目&＃xff0c;通过每期向嘉宾提出十个问题&＃xff0c;带着广大读者站在产业互联网、科技领域精英的肩膀上&＃xff0c;俯瞰各大行业发展趋势和前沿技术革新。
栏目嘉宾的领域在逐渐扩大&＃xff0c;从最初的域名圈、站长圈到程序员圈、创业者圈、投资圈。腾讯副总裁丁珂、CSDN董事长蒋涛、Discuz!创始人戴志康、知识星球吴鲁加、腾讯安全学院副院长杨卿等技术大咖和行业领军人物都在这个栏目留下了他们的真知灼见。
《DNSPod十问》在腾讯云生态圈也极具影响力和活跃度。我们在腾讯内部平台——DNSPod公众号、腾讯中小企业服务公众号、腾讯云公众号、腾讯云主机公众号、腾讯云服务器公众号、腾讯云助手、腾讯乐问、腾讯码客圈、腾讯KM平台、腾讯云&＃43;社区、腾讯云&＃43;大学等平台累计关注度高达数十万&＃xff0c;同时我们积极开拓与外部媒体的合作&＃xff0c;如腾讯科技、腾讯新闻、新浪微博机构号、CSDN社区技术专栏、知乎机构号、企鹅号、搜狐号、头条号、开源中国技术社区、IT之家、InfoQ社区资讯站点、Twitter机构号、Facebook机构号等媒体阅读总量逾百万。
未来&＃xff0c;我们希望这个栏目的影响力会覆盖更加多元的受众&＃xff0c;把更多正确的理念对外传递出去。欢迎各位读者在评论区留下你想看到的嘉宾和想问的问题&＃xff0c;我们邀请你共同成为《DNSPod十问》栏目的提问者与发声者。
合作联系&＃xff1a;
qitinghuang&＃64;tencent.com
▼点击直达DNSPod官方社区
▼扫码加入DNSPod官方用户群
京公网安备 11010802041100号