日拱一卒之Wirtinger 导数
Wirtinger 导数(Wirtinger derivatives),也称为Wirtinger 微积分(Wirtinger calculus)或CR-微积分(Cauchy-Riemann calculus),是一套用于处理复变函数的偏导数工具。
简单来说,它允许将一个复数变量zzz和它的共轭zˉ\bar{z}zˉ视为两个相互独立的变量来进行求导。
这在复数域的优化问题(如信号处理、通信工程、深度学习中的复数神经网络)中非常重要,特别是当目标函数是实数值(例如损失函数)但变量是复数时。
1. 为什么我们需要它?(背景)
在工程应用中,经常遇到这样的函数:
f(z)=∣z∣2=z⋅zˉ f(z) = |z|^2 = z \cdot \bar{z}f(z)=∣z∣2=z⋅zˉ
这是一个实数值函数(通常作为代价函数或能量函数)。
这个函数在经典的复变函数意义下是不可导的(因为它不满足柯西-黎曼条件,除非z=0z=0z=0)。
如果把zzz分解成实部xxx和虚部yyy,即z=x+iyz = x + iyz=x+iy,可以分别对xxx和yyy求偏导。但这样做非常繁琐,公式也不优雅。
Wirtinger 的方法:直接定义针对zzz和zˉ\bar{z}zˉ的导数,使得可以像做多项式求导一样简单地处理∣z∣2|z|^2∣z∣2。
2. 数学定义
假设z=x+iyz = x + iyz=x+iy,且f(z)=u(x,y)+iv(x,y)f(z) = u(x, y) + i v(x, y)f(z)=u(x,y)+iv(x,y)。
Wirtinger 导数定义如下:
对zzz的 Wirtinger 导数:
∂∂z=12(∂∂x−i∂∂y) \frac{\partial}{\partial z} = \frac{1}{2} \left( \frac{\partial}{\partial x} - i \frac{\partial}{\partial y} \right)∂z∂=21(∂x∂−i∂y∂)
对zˉ\bar{z}zˉ的 Wirtinger 导数(共轭导数):
∂∂zˉ=12(∂∂x+i∂∂y) \frac{\partial}{\partial \bar{z}} = \frac{1}{2} \left( \frac{\partial}{\partial x} + i \frac{\partial}{\partial y} \right)∂zˉ∂=21(∂x∂+i∂y∂)
最核心的技巧是:可以假设zzz和zˉ\bar{z}zˉ是两个完全无关的变量。
当求∂f∂z\frac{\partial f}{\partial z}∂z∂f时,把zˉ\bar{z}zˉ看作常数。当求∂f∂zˉ\frac{\partial f}{\partial \bar{z}}∂zˉ∂f时,把zzz看作常数。
3. 举个例子
假设有一个函数f(z)=∣z∣2=zzˉf(z) = |z|^2 = z \bar{z}f(z)=∣z∣2=zzˉ。
方法 A:用实数坐标(笨办法)
f(z)=x2+y2 f(z) = x^2 + y^2f(z)=x2+y2
∂f∂x=2x,∂f∂y=2y \frac{\partial f}{\partial x} = 2x, \quad \frac{\partial f}{\partial y} = 2y∂x∂f=2x,∂y∂f=2y
这给出了实数域的梯度,但并没有直接告诉复数方向的变化。
方法 B:用 Wirtinger 导数(聪明办法)
把zzz和zˉ\bar{z}zˉ看作独立变量。
f(z,zˉ)=z⋅zˉ f(z, \bar{z}) = z \cdot \bar{z}f(z,zˉ)=z⋅zˉ
对zzz求导(把zˉ\bar{z}zˉ当常数):
∂f∂z=zˉ \frac{\partial f}{\partial z} = \bar{z}∂z∂f=zˉ
对zˉ\bar{z}zˉ求导(把zzz当常数):
∂f∂zˉ=z \frac{\partial f}{\partial \bar{z}} = z∂zˉ∂f=z
这个结果非常简洁,而且在推导复杂算法(如维纳滤波、复数反向传播)时极大地简化了代数运算。
特殊用法:
在求极值的时候,对zzz和zˉ\bar{z}zˉ在数学上是等价的!
对于实数值函数JJJ(例如图中的误差平方和),有以下关系:
∂J∂α=(∂J∂α∗)‾ \frac{\partial J}{\partial \alpha} = \overline{\left( \frac{\partial J}{\partial \alpha^*} \right)}∂α∂J=(∂α∗∂J)
这两个导数互为共轭。
这就导致了一个非常有用的性质:
如果一个数为 0,那么它的共轭也一定是 0。
∂J∂α∗=0 ⟺ ∂J∂α=0 \frac{\partial J}{\partial \alpha^*} = 0 \iff \frac{\partial J}{\partial \alpha} = 0∂α∗∂J=0⟺∂α∂J=0