一、Evaluation of Sharpness Measures and Search Algorithms for the Auto-Focusing of High Magnification Images
这篇论文关于自动聚焦,主要对不同种类清晰度评价函数做了仿真对比、不同方案清晰度峰值搜索方案进行仿真对比,虽然发表于2006年,但其建立的评估框架和结论至今仍有重要参考价值,是理解被动式自动对焦技术的必读文献
二、清晰度评价函数
1. 基于梯度的方法 (Gradient-based)
相邻像素间的灰度级差异可合理表征图像的锐度。通过差分法或高通滤波器获取的图像梯度在文献中较为常见
1.1 Brenner Gradient
∑ x , y ( I ( x + 2 , y ) − I ( x , y ) ) 2 \sum_{x,y}(I(x+2,y)-I(x,y))^2x,y∑(I(x+2,y)−I(x,y))2
计算简单,但是对噪声敏感
1.2 Tenengrad函数
S = ∑ x , y ( I x 2 + I y 2 ) S = \sum_{x,y}(I_x^2 + I_y^2)S=x,y∑(Ix2+Iy2)
1.3 Squared梯度
S = ∑ m ∑ n ∣ I ( x , y + m ) − I ( x , y ) ∣ 2 + ∣ I ( x + n , y ) − I ( x , y ) ∣ 2 S = \sum_m\sum_n\sqrt{|I(x,y+m)-I(x,y)|^2 +|I(x+n,y)-I(x,y)|^2}S=m∑n∑∣I(x,y+m)−I(x,y)∣2+∣I(x+n,y)−I(x,y)∣2
1.4 Max梯度
S = ∑ m ∑ n m a x ( ∣ I ( x , y + m ) − I ( x , y ) ∣ 2 , ∣ I ( x + n , y ) − I ( x , y ) ∣ 2 ) S = \sum_m\sum_n max(|I(x,y+m)-I(x,y)|^2 ,|I(x+n,y)-I(x,y)|^2)S=m∑n∑max(∣I(x,y+m)−I(x,y)∣2,∣I(x+n,y)−I(x,y)∣2)
求方向差值绝对值最大值
1.5 Laplacian 滤波+阈值,引入阈值抑制噪声
S = ∑ M , N ∣ L ∣ ,且 ∣ L ∣ > T S = \sum_{M,N}|L|,且|L|>TS=M,N∑∣L∣,且∣L∣>T
L是原始图卷积滤波窗的结果,滤波窗如下
[ 1 4 1 4 − 20 4 1 4 1 ] \begin{bmatrix} 1 & 4 &1 \\ 4 & -20 & 4 \\ 1 & 4 &1 \end{bmatrix}1414−204141
也有人用加权中值滤波计算
2. 基于相关性的方法(Correlation based measures)
基于相关性评估邻近像素间的依赖关系,这为量化图像锐度提供了另一种实用方法
S = ∑ x = 1 M − 1 ∑ y = 1 N I ( x , y ) ∗ I ( x + 1 , y ) − ∑ x = 1 M − 2 ∑ y = 1 N I ( x , y ) ∗ I ( x + 2 , y ) S = \sum_{x=1}^{M-1}\sum_{y=1}^{N} I(x,y)*I(x+1,y)-\sum_{x=1}^{M-2}\sum_{y=1}^{N} I(x,y)*I(x+2,y)S=x=1∑M−1y=1∑NI(x,y)∗I(x+1,y)−x=1∑M−2y=1∑NI(x,y)∗I(x+2,y)
3. 基于统计的方法 (Statistics-based)
锐利图像通常包含大动态范围内的离散灰度级,表明存在较大方差。两种广泛认可的基于方差的锐度度量方法是灰度级幅度和方差
3.1 ACM
S = 1 M N ∑ M ∑ N ∣ I ( x , y ) − I 均值 ∣ S = \frac{1}{MN}\sum_{M}\sum_{N}| I(x,y)-I均值|S=MN1M∑N∑∣I(x,y)−I均值∣
3.2 grey level variance 灰度方差
S = 1 M N ∑ M ∑ N ( I ( x , y ) − I 均值 ) 2 S = \frac{1}{MN}\sum_{M}\sum_{N}(I(x,y)-I均值)^2S=MN1M∑N∑(I(x,y)−I均值)2
图像直方图衍生出多种锐度度量方法。最直接的定义是最大灰度值与最小灰度值之间的差值。另一种常用选择是图像灰度熵
对于基于频域的锐度测量,图像首先通常通过傅里叶变换(FT)或离散余弦变换(DCT)转换至频域。
4. 基于频域的方法 (Transform based measures)
对于基于频域的锐度测量,首先通常通过傅里叶变换(FT)或离散余弦变换(DCT)将图像转换至频域。随后根据这些变换后的系数或其分布计算锐度度量。
fast Fourier transform (FFT)
S = ∑ ∣ M a g ( u , v ) ∗ A n g l e ( u , v ) S = \sum|Mag(u,v)*Angle(u,v)S=∑∣Mag(u,v)∗Angle(u,v)
频率分量振幅的总和也可以做为指标
S = ∑ M a g ( u , v ) S = \sum Mag(u,v)S=∑Mag(u,v)
Kristan等人证明频域中的最大熵与图像空间锐度最大值一致,并提出基于熵的度量方法
Wang等人发现,图像边缘会在小波域产生强烈的局部相位相干性,而模糊的局部结构会导致这种相干性丧失。
5. 基于边缘的方法 (Edge based measures)
基于边缘的测量方法利用了边缘成分,这些成分主要负责图像锐度的视觉感知。
Caviedes等人提出了一种基于检测边缘的局部峰度锐度度量。与其他基于边缘的算法相比,该局部峰度度量以相同方式处理不同类型边缘,并避免了区分阶跃边缘与线性边缘的困难
三、清晰度指标的评价指标
用低倍相机拍摄与高倍序列对多种锐度测量指标的性能进行评估,低倍是光学3X拍摄,高倍是系统可实现的放大倍数范围为50×至1800×。
| 指标 | 定义 | 意义 |
|---|---|---|
| 单峰性 (Unimodality) | 聚焦曲线是否只有一个峰值 | 避免局部极值干扰 |
| 准确性 (Accuracy) | 估计峰值与真实峰值偏差 | 对焦精度 |
| 重现性 (Reproducibility) | 多次实验结果一致性 | 算法稳定性 |
| 有效范围 (Range) | 能产生有效响应的离焦范围 | 捕获能力 |
| 通用性 (Generality) | 跨场景适应能力 | 鲁棒性 |
当应用于高倍率序列时,基于边缘的测量方法性能会显著下降,这是由于空气湍流和光学细节限制导致的降质,使得无法获取足够的强边缘
高倍率成像系统会因空气湍流、细节采集受限及物镜光束收集不足等问题而产生成像劣化。这导致最终图像常出现模糊且对比度不足的情况,进而显著提升锐度测量指标中的噪声水平。随着系统放大倍率的增加,图像模糊现象愈发严重,噪声水平也随之攀升。此外,在这种情况下,部分锐度测量指标难以维持所需的单峰形态,反而会观测到多个局部最大值。当系统放大倍率超过1500倍时,针对我们测试的序列,仅有三种锐度测量指标(SMD、Tenengrad和FE)能生成形态合理的响应。
四、清晰度评价函数总结
基于梯度的 Tenengrad 函数和基于相关的滑动自相关差值法综合性能最优,在精度、速度和响应特性上更适配高倍率场景;基于统计的方差法抗噪性好但精度稍逊,基于频域的方法计算开销大,适用于对精度要求极高但算力充足的场景。
(1)基于梯度的评估方法能获得最接近理想响应的性能表现,更重要的是其对高倍放大造成的图像退化具有鲁棒性。但当焦点偏离最佳位置时,其输出会迅速下降并趋于饱和,导致大部分区域呈现平坦响应,完全忽略相机焦距的变化。当初始焦点处于饱和区域时,很难判断哪个方向能有效提升图像锐度
(2) 基于相关性的测量方法与基于梯度的测量方法性能相当。通过选择不同窗口尺寸可调节下降/上升斜率。较小窗口尺寸下,响应曲线相对尖锐且狭窄,与基于梯度的测量方法相似;而较大窗口尺寸则会产生宽峰和缓坡。
(3)基于统计量的图像处理方法在进行全局运算时,如计算图像的方差和直方图,忽略了图像边缘周围的局部信息,不再考虑
(4)变换域的度量方法的性能介于基于梯度和基于统计的度量方法之间,其计算量取决于变换的类型,而基于傅立叶变换和基于离散余弦变换的度量方法的计算量与基于相关函数的度量方法相当。
(5) 基于边缘的测量方法与基于变换的测量方法具有可比性能。然而,其计算复杂度显著削弱了其优势