近些年消费级CPU和GPU的性能飞速发展,如今的笔记本电脑性能已非常强大,并且对于绝大部分人来说,用笔记本电脑已经足够胜任几乎所有需要个人电脑的应用需求。
对于直播行业来说,目前互联网越来越讲究“移动化”,不论身处何处,可以永远在线。而早年的直播行业,由于网络和计算性能的瓶颈,对于有较高质量的直播工作,大部分是采用台式机电脑进行直播,并且对于游戏主播来说,还需要使用两台台式机电脑同时工作——其中一台用来运行游戏,另外一台专门用来直播推流,这其实是相当不便的工作环境。
而随着如今PC性能的快速进步,计算性能方面已经不是问题,如今笔记本其实也足够用来进行高质量的直播,同时网络环境方面,目前我们的网络带宽也是越来越大,在这样的环境下,笔记本电脑自带的“移动”属性,非常契合直播的发展趋势,同时能提供相比手机直播更高的直播质量,而且对于游戏主播来说,更是一个不可或缺的解决方案。
说起PC端的直播,不得不提的一个软件是NVIDIA Broadcast,这是NVIDIA利用如今芯片的AI计算性能打造的一款多功能直播辅助软件,可以实现噪音消除、虚拟背景、人像跟踪等功能。在最新的NVIDIA Broadcast 1.3.0版本中,还改进了音频背景消除的质量,改善了对情绪化语音(例如直播恐怖游戏时惊叫)的支持,并且在同时运行音频和视频效果时,进行显存优化,显存的使用减少了40%,大大降低了对资源的占用。
测试平台
NVIDIA Broadcast实现这些功能的原理是利用NVIDIA RTX GPU中Tensor Core(张量计算单元)的高效AI性能来处理计算的, NVIDIA RTX GPU中的Tensor Core是专门针对深度学习而设计的特殊计算核心,它尤其适合深度学习训练和深度学习推理,而在噪音消除、虚拟背景、人像跟踪这样的应用中,正是深度学习大展拳脚的领域,拥有Tensor Core和NVIDIA RTX显卡可以很好的实现这些功能。
如今的NVIDIA RTX GPU已经进化到第二代,采用NVIDIA Ampere架构和全新的8nm制程的GeForce RTX 30系列,多方面的进步使得即使在笔记本电脑上NVIDIA RTX GPU如今也可以提供强劲的性能,本次笔者用来体验NVIDIA Broadcast的测试环境就是一台GeForce RTX 3060笔记本,规格如下:
NVIDIA Broadcast功能体验
噪音消除
噪音消除可以说是NVIDIA Broadcast的起点所在,因为在NVIDIA Broadcast之前的Turing显卡时代NVIDIA推过一款RTX Voice软件,RTX Voice也是利用AI识别来对音频进行处理,实现降噪的效果。之所以从音频方面开始做起,笔者个人觉得应该是相比于视频而言,音频的信息量更少,更容易进行计算处理。而随着后面AI计算能力的增强,NVIDIA RTX GPU也可以足够处理视频信息了,于是NVIDIA推出了NVIDIA Broadcast,整合了音频处理功能与视频处理功能,丰富了辅助直播的多项功能。
NVIDIA Broadcast的噪音消除功能也是随着版本更迭越来越丰富的,在NVIDIA Broadcast 1.1.0.20版本中增加了宠物叫声的噪音配置文件,可以更加准确的识别出宠物叫声,而在NVIDIA Broadcast 1.2.0版本中又增加了房间回声消除功能,可以减少房间的混响效果,使通话更清晰。而现在最新的NVIDIA Broadcast 1.3.0版本中,还增强了对情绪化语音(例如直播恐怖游戏时惊叫)的支持。
就笔者的体验来说,NVIDIA Broadcast的各项噪声消除功能效果是很明显的,并且你可以自由调整强度来找到适合自己的平衡点,在目前最新的版本中还支持效果叠加,也就说噪音消除和房间回声消除可以同时应用,而且不管是声音收录输出的麦克风端还是播放声音的扬声器端都可以进行这种效果叠加。
背景模糊、背景更换、背景删除
未开启背景模糊
最大模糊强度
背景模糊、背景更换、背景删除这三个功能其实实现原理差不多,这里就放一起说了,这三个功能也是利用显卡的AI计算,用来识别人物,识别出人物之后,对于背景的处理就很简单了。背景删除就是将识别出的人物之外的画面给去除掉,背景模糊则是将识别出的人物之外的画面进行模糊处理,这样的好处是能突出主体,类似摄影中的背景虚化,提升画面美感。
背景更换就是将识别出的人物之外的画面替换成用户设置的图片,比如我用一张环境很好的室内图片就可以模拟自己在这个环境优美的地方直播,而不用管真实所处的环境是否杂乱。
对于背景模糊效果用户也是可以自定义强度的,强度越大模糊的效果越明显,并且背景模糊、背景更换、背景删除这三个功能都有性能选项和质量,质量选项会增大投入的AI算力,提升识别的效果,而性能选项则减少AI算力的投入,在用户打游戏的时候可以从质量切换到性能模式提高游戏帧率。
自动聚焦
自动聚焦就是人像跟踪,它是基于自动裁剪和缩放来实现的,也就是说在摄像头的视野覆盖区域内,它会首先识别出主播头部,然后仅显示出头部周围的局部画面,这样你移动头部,但是只要不超出摄像头的视野覆盖范围,它会重新识别你的头部位置,然后显示出新位置下的周围画面,这样画面中就看起来是摄像头在跟随头部在转动一样。
自动聚焦效果是可以自定义缩放比例的,最小缩放比例的时候画面几乎就是摄像头实际捕获到的最大画面,这时的人像跟踪效果就几乎没有了,而最大缩放比例的时候也就是画面经过了许多裁剪,这样的情况下人像跟踪效果是最明显的,不过用户也应该根据自己的需要选择合适的显示范围,默认的那个幅度还不错,可以较多的显示人物本体,同时具有不错的人像跟踪效果。
消除视频干扰
消除视频干扰就是视频去噪功能,这也是不久前的1.2.0版本中新加入的功能。对于在光线不足的环境中开启摄像头的话,摄像头输出的画面是噪点很多的,而NVIDIA Broadcast可以利用AI技术对噪点进行一定程度的消除,提升画面质量。
与对于音频的效果一样,视频的这几项效果也可以两两叠加使用,即背景模糊、背景更换、背景删除这三个功能中的任何一个可以与自动聚焦或者消除视频干扰组合使用,或者将自动聚焦与消除视频干扰它们两个组合使用。
总结
通过软硬结合,硬件方面的GeForce RTX 30系列GPU与软件方面的NVIDIA Broadcast形成的化学反应可以让如今的PC端直播越来越简单,并且GeForce RTX 30系列GPU在性能方面相比上代的巨大进步让如今只需一台当下主流配置的笔记本也可以做到高质量的PC端直播,让直播变得随时随地触手可及。
往大的说,NVIDIA Broadcast其实是NVIDIA STUDIO生态环境的一员,尽管如今的GPU还是有分游戏显卡产品线与专业显卡产品线,但是作为GPU领域的领军者,NVIDIA算是给了游戏用户或者说普通用户很多福利,通过将创作者的资源也免费分享给游戏显卡产品线使用,使得其搭载GeForce RTX 30系列笔记本电脑GPU的产品具有相当超值的性价比,购买笔记本的话,还是认准搭载GeForce RTX 30系列笔记本电脑GPU的产品更加合适。