深度学习中的正则化方法：ℓ1与ℓ2正则化详解
1. 复杂度概念
复杂度（并非特指网络复杂度）源于信息论。例如，非零权重的数量会随着训练轮数、优化算法等因素显著变化，这意味着复杂度这一模糊直观的概念还依赖于模型的训练时长。理论上，网络复杂度是一个极难精确定义的概念，只能在直观层面使用该术语。
2. ℓp范数
在研究ℓ1和ℓ2正则化之前，需要引入ℓp范数的概念。对于具有xi分量的向量x，其ℓp范数定义为：
[ |x|p = \left(\sum{i\in\mathbb{R}} |x_i|^p\right)^{\frac{1}{p}} ]
这里的求和是对向量x的所有分量进行的。下面先从最具启发性的ℓ2范数开始介绍。
3. ℓ2正则化
ℓ2正则化是最常见的正则化方法之一，它通过在成本函数中添加一个项，有效降低网络对复杂数据集的适应能力。
3.1 ℓ2正则化的理论
在进行普通回归时，成本函数通常是均方误差（MSE）：
[ J(\mathbf{w}) = \frac{1}{m} \sum_{i=1}^{m} (y_i - \hat{y}_i)^2 ]
其中，$y_i$ 是测量的目标变量，$\hat{y}_i$ 是预测值，$\mathbf{w}$ 是网络所有权重（包括偏置）的向量，$m$ 是观测值的数量。
现在定义一个新的成本函数 $\tilde{J}(\mathbf{w})$：
[ \tilde{J}(\mathbf{w}) = J(\mathbf{w}) + \frac{\lambda}{2m} |\mathbf{w}|_2
