小科普 | Broadcast工具,免费给麦克风摄像头升个级?

百家 作者:极客湾 2020-11-25 23:54:36
在9月初30系显卡发布的同时,官方推出了一个NVIDIA Broadcast整合工具箱,其中包含了之前的RTX Voice降噪,以及新出的实时抠像/虚化/跟踪工具,算是比较实用的AI使用场景了,


从官网(nvidia.cn/geforce/broadcasting/broadcast-app)可以直接下载,虽然工具箱定位是给主播用的,显然又是个小众需求,但实用性真的很不错,某种意义上也是省了买更好的音视频器材的钱


▌安装Broadcast

安装后,Broadcast会接管麦克风、扬声器、摄像头的输出,你可以在系统中看到同名的虚拟设备,


虽然会自动设为默认设备,但还是建议沿用原来的设备,因为可以在各种你要用到的软件中,在音频设置中选择Broadcast作为输出,


专项专用,不必全局。也不会影响其他软件的收音、播放,以防BUG。打开后,软件界面还是很简洁的,


测试硬件:
显卡:影驰 HOF RTX2060SUPER
麦克风:罗技 C930e自带
摄像头:罗技C930e
 
选择好你正在用的设备,下面选择对应的效果就行了。简单的讲,这回在原本的输出过程中间,接入了显卡的一环,


延迟会有不同程度的增加,尤其是加了一些效果进去,延迟会取决于显卡对应核心性能,但语音方面延迟还是很低的。


▌麦克风设置
 
这边就对比一下降噪效果,微信版可以戳声音试听对比,或者下载音频文件(share.weiyun.com/5Mn6emuP)

当然,也可以直接看可视的波形对比(左不开降噪,右开降噪)
 
 
这是在环境声音非常大的情况下,伴随着大量的低频和音乐人声,其实自己说话都很费力了,比较极端,但前后差异依然肉眼可见的大,后面的波形只有自己说话的声音,连歌中的人声也能剥离掉,比较意外。这是提取出来的极低频噪音部分:
 
 
开启降噪后,这部分噪音直接就没有了,效果很不错。但有一个问题,在这种已经听不清说话收音的条件下,人声因为降噪,音量可能会时大时小,可以调整降噪强度改善,不需要100%。
 
但摄像头自带的收音质量,确实不太行,能降噪,大幅提高信噪比,但并不能提升本身收音的音质。下面在环境声音比较小的情况下,分别开关50%、100%降噪:

 
其实波形上看不出什么明显差别,其实房间的低频混响、环境底噪,都被过滤掉了,效果还算比较明显。

总结:用了之后,能大幅度改善队友和你交流的态度。
如果手头不宽裕,只是为了开黑时候不爆麦和电流麦,那么很建议使用,开50%足矣。
 
 
▌喇叭设置
 
你开了降噪,但你的队友还是爆炸麦怎么办?他还不开降噪怎么办?只要你在语音软件里设备也选择Broadcast,那么你就能听到降噪后的他们的声音了。
 
 
这边操作部分和上面是一模一样的,左边是开关,右边有样本,可以自己对比效果:

 
从波形上可以看到,本身存在比较明显的底噪,但开了之后,几乎就是一条直线了,降噪效果很不错,肉耳可感的差异。
 
总结:如果你有一个报复社会的爆麦队友,那么除了解决掉这个队友外,自己开一个Broadcast可能是更好的方案。
 
 
▌摄像头设置
 
这个摄像头的抠像和背景替换功能,可能很多驱动都自带了,但另外两个功能却比较少见。以OBS为例,先在左下角添加[摄像头]采集源,
 
 
在设备里,选择[Camera(NVIDIA Broadcast)]即可。这里有一个骚操作,C930e在全CMOS采样下,只有十多帧,卡成PPT,基本没法用的(左)。宣称的1080P30,是在“标准”裁切画面的前提下实现的(右)
 
 
BUT,在Broadcast中,是可以实现100%全尺寸采样下的1080P30,绕过官方驱动的限制...
 

不知道罗技是不是为了卖高端型号,所以有这么一刀软阉割...其他厂商的摄像头或许也能实现这种操作。
 
电脑摄像头市场,中高端的价格贵的离谱,2020年了还这么多厂商买1080P30的东西...参数真的不咋地,所以哪怕不开RTX专属特效,Broadcast也很值得开一下,因为不吃GPU资源就能给你的摄像头白白升级。
 
 
接下来是实时虚化部分,和抠像一样,是动态跟踪的,虽然边缘也可能有穿帮的地方,但整体虚化效果真不错,边缘扣的比较干净,还能把环境中的噪点都给抹没了,观感好很多。(画面偏粉只是因为我开了LUT...)
 
 
弥补摄像头小底高感差的不足,但主要的缺点在于这玩意儿特别吃显存...
 
 
画面帧率大幅下降,也是PPT级别,同时延迟还很高,不太实用,可能只有旗舰级的卡撑得住。但另一个[人像追踪]倒是不吃资源,
 
 
他可以通过裁切+头部跟踪,始终让你的头处于画面的中间,周围环境会随之变化,
 

 
实现一个简单的运镜效果,你可能在一些ASMR或者少数主播的视频中看到这种效果,还蛮有意思的。


▌总结

目前Broadcast适配的软件也蛮多了,主流的OBS、哔哩哔哩直播姬、斗鱼直播伴侣、虎牙直播,以及TS、YY、Discord等语音软件都可以用,甚至少数游戏内置语音也可以选择虚拟设备。


但软件的唯一硬件要求是RTX显卡,官方建议RTX2060以上,这个福利老卡和A卡用户未必用的上,如果只是为了音频降噪,也可以选择破解后的RTX Voice。不知道非RTX卡能不能安装Broadcast,能装哪怕部分功能限制,只用几个不吃资源的功能,那也是赚到了,大家有兴趣可以试一下。


目前功能比较少,比方说:

1、没有画面降噪选项
2、不支持白平衡、LUT等画面调整功能
3、不能设置动态跟踪灵敏度

毕竟这才刚出,视频功能还只是beta阶段,有些实用的工具因为冷门、胎死腹中的事情也不少,希望这次工具集能延续下去吧。
 


戳图片传送至往期精彩

喜欢我们的推送别忘了点一个

向亲朋好友推荐一下我们的文章

或者赞赏一下

我们下期再见啦!

关注公众号:拾黑(shiheibook)了解更多

[广告]赞助链接:

四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接
百度热搜榜
排名 热点 搜索指数