[机器学习-从入门到入土] 基础知识

[机器学习-从入门到入土] 基础知识

个人导航

知乎：https://www.zhihu.com/people/byzh_rc

CSDN：https://blog.csdn.net/qq_54636039

注：本文仅对所述内容做了框架性引导，具体细节可查询其余相关资料or源码

参考文章：各方资料

中英文

权重shape

常用符号:W j i , Θ j i W_{ji},\quad \Theta_{ji}Wji​,Θji​

反着写是为了方便乘法:

W j i W_{ji}Wji​: (hidden, input+1) [加一是偏置]
x i x_ixi​: (input+1,) [单个样本]
->a j = ∑ i = 0 i n p u t w j i x i , i = 1... h i d d e n a_j=\sum_{i=0}^{input}w_{ji}x_i,\quad i = 1 ... hiddenaj​=∑i=0input​wji​xi​,i=1...hidden: (hidden, )

如果正着写就要转置w T w^TwT

损失函数/误差函数/代价函数/成本函数/J ( w ) J(w)J(w)

损失函数(Loss)：更偏向单样本误差，记作E EE

误差函数(error)：和损失函数的含义几乎等价，多用于回归任务的表述

代价函数 / 成本函数(Cost)：更偏向全体样本的平均 / 总误差，记作J ( w ) = 1 m ∑ i = 1 m E ( i ) J(w)=\frac{1}{m}\sum_{i=1}^mE^{(i)}J(w)=m1​∑i=1m​E(i)

向量求导公式

∂ a x T ∂ x = ∂ a T x ∂ x = a ∂ a x T b ∂ x = b a ∂ a T x b T ∂ x = a b \frac{\partial ax^T}{\partial x}=\frac{\partial a^Tx}{\partial x} = a \\ \frac{\partial ax^Tb}{\partial x} = ba \\ \frac{\partial a^Txb^T}{\partial x} = ab∂x∂axT​=∂x∂aTx​=a∂x∂axTb​=ba∂x∂aTxbT​=ab

矩阵求导公式

对函数f ( w ) = ( A w ) T ( A w ) = w T A T A w f(w) = (Aw)^T (Aw) = w^T A^T A wf(w)=(Aw)T(Aw)=wTATAw：
∂ f ∂ w = 2 A T A w \frac{\partial f}{\partial w} = 2 A^T A w∂w∂f​=2ATAw
对函数g ( w ) = b T w g(w) = b^T wg(w)=bTw：
∂ g ∂ w = b \frac{\partial g}{\partial w} = b∂w∂g​=b