背景:消费类场景的嵌入式设备。在这几年工作中,经常会遇到从项目立项到最后快结项时,帧率需求发生改变。项目/产品经理等觉得这只是视频的一个流畅问题。往往忽略了对图像、带宽等的影响。
a.动态场景的流畅性
流畅度是帧率最直观的影响,核心是人眼视觉的暂留效应(约1/24秒),所以超过25fps人眼很难感知高/低帧率之分(如30/25fps)。再高的帧率(60fps)动态画面丝滑,主要适用于体育赛事、汽车碰撞测试、游戏等。
b.对低照场景的画质
帧率决定sensor max shutter,正常照度(100lux以上)可能感知不到其重要性。到了低照(3lux以下)的场景,这时sensor已经起了很高的增益,如果还追求画面的高亮度、无噪点的效果,isp可能“江郎才尽”了。这就孕育出,现在卷的一个方向——夜视全彩黑光。极黑的环境下要看清画面,有两条路可走:一是ISP带AI,通过深度学习把增益拉高引起的噪声抹去,又尽可能不影响细节;另外一条路就是降低帧率,从25fps到15fps,再到8fps,甚至3fps(这种基本上是伪AI-ISP为了成本,宣传自己带AI做的方式)。
为了体现帧率对低照的重要性。举个例子来说明下,设备1:25fps+F1.6;设备2:15fps+F2.0,sensor gain相同。设备2的Max shutter相对设备1是 0.066/0.04=1.65,设备1使用的镜头进光量相对设备2,(2.0/1.6)2 =1.56 。画面亮度=相对曝光相对光圈增益,
设备1:相对数值=1.01.56gain;
设备2:相对数值=1.651.0gain;
简单计算,使用“小光圈”F2.0的设备2画面亮度还比设备1的高,得益于曝光时间的延长。当然,这种“软件上的优化”劣势也很明显,直接影响运动清晰度、拖影和AE收敛速度等。
c.带宽
帧率与数据量是直接线性正相关的,数据量(bps)=分辨率×位深×帧率×通道数。
所以,低帧率就意味着低带宽 / 低存储压力适用于带宽受限的场景(如无线安防摄像头、低功耗 IoT 设备),通过牺牲流畅度换取更低的传输和存储成本。毕竟现在企业口号是“降本增效”。
d.频闪/flicker问题
~~随着国内照明条件改善,flicker问题渐渐弱化,有时都不太关注了;但是国外家庭各类照明都有,老式的钨丝灯、白炽灯、卤素灯等。
~ ~想要解决频闪问题(曝光时间大于10ms的情况,ps小于10ms的固定条纹现象后续再讲),就要求曝光时间是10ms(国内50hz的光源)/8.333ms(海外60hz的光源)的倍数。所以反推帧率,如果在国内50hz光源下使用15fps,是必滚动的(当然要是15fps,曝光只跑60ms的情况除外)。
~对于isp工程师来说,一方面希望尽可能利用最大曝光时间,另一方面要避免频闪。一般国内民用设备使用25fps、20fps等;海外设置成30fps、24fps等。如果可支持小数帧率国内有用16.67fps、14.28fps这些。如果要求国内海外帧率统一的情况,帧率可设置成20fps(或者其他100和120的公约数)。
总之,帧率的高低不仅关系视频的流畅度,还对画质有重要影响。此文档作了一些简单的科普,面向初学者isp、设置帧率的视频工程师和项目/产品经理。希望能多一份理解~~~