趣约会视频超分辨率技术初体

自从GeForce 8800系列第一次引入CUDA以及它所代表的GPU计算以来，AI逐渐从科幻小说的幻想中走向现实世界。无论是在棋盘上干碎柯洁的围棋AI AlphaGo还是这几天不断占据互联网热榜的ChatGPT，背后都是各种AI算法作为支撑。

　　而对于游戏玩家来说，AI进步带来的最大变化可能就是NVIDIA随着RTX 20系Turing架构GPU引入的DLSS技术。通过使用预训练的AI，DLSS允许用户渲染一个较低分辨率的画面并将它上采样到设定的输出分辨率，通过降低显卡硬性负载的方式来提升游戏帧数。而随着时代的发展，DLSS技术的效果表现也不断得到打磨，甚至随着RTX 40系Ada架构GPU的发布我们还得到了能够进一步无中生有提升帧数表现的DLSS帧生成功能，无论是性能表现还是画面表现都得到了显著提高。

　　DLSS的目的是提升帧数+画质，但如果我们反其道而行之呢？不去提升帧率，而是通过AI将视频本身进行超采样呢？这就要提到我们这期视频的主角-RTX视频超分辨率（下文简称RTX VSR技术）了。

　　“RTX 视频超分辨率 (RTX Video Super Resolution) ”是AI图像处理放大技术，允许GeForce用户在1440p或4K以AI增强的清晰度观看更高分辨率的视频。GeForce RTX 30和40系列GPU将处理Chrome或Edge浏览器上的低分辨率视频，以提升视频质量。

原理

　　RTX VSR技术最大的应用场景是流媒体领域，也就是我们平时在各种网络平台观看的直播与视频。无论是视频上传时的标准化的转码还是对所有视频统一进行存储、管理直到最后分发到用户的设备上，这全套流程的成本都十分昂贵，因此几乎所有流媒体平台都选择了压缩码率的方式来节约算力、带宽与成本。这个过程中由于视频码率降低，最终的视频上可能会呈现一些肉眼可见的伪影、残像或噪点，这就是信息丢失。尽管这些信息丢失大概率并不影响观众去完整理解视频，但它们仍然是十分影响观看体验的。

　　除了有损压缩外，另外一个问题是低分辨率，这一点尤其在直播中最为明显。在线直播不仅需要将主播电脑发出的视频流实时复制到多个观众的设备中，还需要让所有参与者都能看到其他观众发出的弹幕与礼物，因此对直播平台也提出了更高的要求。为了为更多用户提供服务，直播平台一般只会提供相对较低分辨率的视频流，例如1080P甚至更低，这在高分辨率显示器上的观看体验显然是不佳的。

　　对于这两项常见的问题，RTX VSR技术都可以通过GeForce 30系或40系显卡中的RTX Tensor Cores与AI算法来尝试修复这些信息，并为用户提供更高分辨率且高清的画面。通过将NVIDIA Tensor Core与最先进的AI图像处理技术相结合，智能锐化和强化特征和边缘，同时消除恼人的压缩伪影。RTX VSR将适用于大多数在浏览器中播放的视频，无论是通过斗鱼，虎牙，哔哩哔哩等平台观看您喜爱的主播的直播，还是观看他们其它的视频内容。

　　只需要使用RTX 30系或RTX 40系GPU安装Game Ready驱动 531.14或以上版本，并在NVIDIA控制面板中调整视频图像设置功能里启用RTX VSR技术，就可以在Google Chrome（110.0.5481.105以上）或Microsoft Edge（110.0.1587.56以上）中体验AI加持下的高清画面。不过，由于需要使用显卡中的Tensor Cores，RTX VSR技术会增大看视频时的GPU占用。针对不同性能的显卡，NVIDIA控制面板里提供了四种不同的预设，第4档性能要求最高，但画面效果也最好；第1档性能要求最低，但画面提升也没有那么显著，用户可以综合自己的需求选择。