[机器学习-从入门到入土] 拓展-范数
个人导航
知乎：https://www.zhihu.com/people/byzh_rc
CSDN：https://blog.csdn.net/qq_54636039
注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码
参考文章：各方资料
文章目录
- [机器学习-从入门到入土] 拓展-范数
- 个人导航
- 范数
范数
设向量
x = ( x 1 , x 2 , … , x d ) ∈ R d x=(x_1,x_2,\dots,x_d)\in\mathbb{R}^dx=(x1,x2,…,xd)∈Rd
L 0 L_0L0范数 (严格来说不是范数)
非零元素的个数:
∥ x ∥ 0 = # { i ∣ x i ≠ 0 } \|x\|_0 = \#\{i \mid x_i \neq 0\}∥x∥0=#{i∣xi=0}
# ( 某个集合 ) \#(\text{某个集合})#(某个集合): 表示集合中元素的个数
- 直接度量稀疏性-> 理论上的“理想稀疏约束”
- 不关心数值大小，只关心“是不是 0”
优化性质:
- ❌ 非凸
- ❌ 非连续
- ❌ NP-hard（组合优化）
L 1 L_1L1范数
稀疏性的凸替身
∥ x ∥ 1 = ∑ i = 1 d ∣ x i ∣ \|x\|_1=\sum_{i=1}^d |x_i|∥x∥1=i=1∑d∣xi∣
优化性质:
- ✅ 凸
- ❌ 不光滑（0 点不可导）
典型用途:
Lasso 回归
min w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 1 \min_w \|y-Xw\|_2^2+\lambda\|w\|_1minw∥y−Xw∥22+λ∥w∥1
L 2 L_2L2范数
能量与稳定性
∥ x ∥ 2 = ( ∑ i = 1 d x i 2 ) 1 / 2 \|x\|_2=\left(\sum_{i=1}^d x_i^2\right)^{1/2}∥x∥2=(i=1∑dxi2)1/2
优化性质:
- ✅ 凸
- ✅ 光滑
- ✅ 强凸（数值稳定）
典型用途:
Ridge 回归 (岭回归)
min w ∥ y − X w ∥ 2 2 + λ ∥ w ∥ 2 2 w \min_w \|y-Xw\|_2^2+\lambda\|w\|_2^2wminw∥y−Xw∥22+λ∥w∥22w
L p L_pLp范数
∥ x ∥ p = ( ∑ i = 1 d ∣ x i ∣ p ) 1 / p , p ≥ 1 \|x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p},\quad p\ge 1∥x∥p=(i=1∑d∣xi∣p)1/p,p≥1
- p pp越小 → 越稀疏，但越难优化
- p pp越大 → 越平滑，但越不稀疏
严格意义上，只有p ≥ 1 p\ge 1p≥1时才是“范数”
| p | 几何形状 | 性质 |
|---|---|---|
| p = 1 p=1p=1 | 菱形 | 强稀疏 |
| 1 < p < 2 1<p<21<p<2 | 圆角菱形 | 稀疏 + 稳定 |
| p = 2 p=2p=2 | 圆 | 平滑、稳定 |
| p → ∞ p\to\inftyp→∞ | 正方形 | 控制最大分量 |
极限情形:
- p → 0 p\to 0p→0：趋近L 0 L_0L0
- p → ∞ p\to\inftyp→∞：∥ x ∥ ∞ = max i ∣ x i ∣ \|x\|_\infty=\max_i |x_i|∥x∥∞=maxi∣xi∣
| 范数 | 是否凸 | 是否光滑 | 是否产生稀疏 | 典型角色 |
|---|---|---|---|---|
| L 0 L_0L0 | ❌ | ❌ | ⭐⭐⭐⭐⭐ | 理想目标 |
| L 1 L_1L1 | ✅ | ❌ | ⭐⭐⭐⭐ | 稀疏替代 |
| L 2 L_2L2 | ✅ | ✅ | ⭐ | 稳定正则 |
| L n L_nLn | n > 1 n>1n>1✅ | n > 1 n>1n>1✅ | 递减 | 折中方案 |
范数的等值线
在二维情况下:x = ( x 1 , x 2 ) ∈ R 2 x=(x_1,x_2)\in\mathbb{R}^2x=(x1,x2)∈R2
范数的等值线:
- ∥ x ∥ p = 1 \|x\|_p = 1∥x∥p=1：一条曲线
- ∥ x ∥ p ≤ 1 \|x\|_p \le 1∥x∥p≤1：这条曲线围成的区域
各范数的情况:
- L 0 L_0L0: x轴与y轴
(当y有值时x=0, 当x有值时y=0) - L 1 L_1L1: 菱形
(顶点是( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1)(−1,0),(1,0),(0,1),(0,−1)) - L 2 L_2L2: 圆
(经过( − 1 , 0 ) , ( 1 , 0 ) , ( 0 , 1 ) , ( 0 , − 1 ) (-1,0),(1,0),(0,1),(0,-1)(−1,0),(1,0),(0,1),(0,−1))
