演算法匯總

Ⅰ 深度學習優化演算法——公式匯總

深度學習優化演算法的公式匯總如下：

一、基礎演算法

1. 隨機梯度下降

   • 更新公式：$$w_{t+1} = w_t eta cdot nabla_w J}, y^{})$$其中，$w_t$ 是參數，$eta$ 是學習率，$nabla_w J}, y^{})$ 是對第 $i$ 個樣本的損失函數 $J$ 關於參數 $w$ 的梯度。

2. 動量SGD

   • 更新公式：
     • 速度更新：$$vt = mu cdot v{t1} eta cdot nabla_w J$$
     • 參數更新：$$w_{t+1} = w_t + v_t$$其中，$mu$ 是動量系數，通常取值在0到1之間。

3. Nesterov動量SGD

   • 更新公式：
     • 預估參數：$$hat{w}_t = wt + mu cdot v{t1}$$
     • 梯度計算：$$nabla_w J$$
     • 速度更新：$$vt = mu cdot v{t1} eta cdot nabla_w J$$
     • 參數更新：$$w_{t+1} = w_t + v_t$$

二、自適應學習率演算法

1. AdaGrad

   • 更新公式：
     • 累積梯度平方：$$Gt = G{t1} + nabla_w J^2$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{nabla_w J}{sqrt{G_t + epsilon}}$$其中，$epsilon$ 是一個很小的數，用於防止分母為零。

2. RMSProp

   • 更新公式：
     • 累積梯度平方：$$E[g^2]t = beta cdot E[g^2]{t1} + cdot nabla_w J^2$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{nabla_w J}{sqrt{E[g^2]_t + epsilon}}$$其中，$beta$ 是衰減率。

3. Adam

   • 更新公式：
     • 梯度一階矩估計：$$m_t = beta1 cdot m{t1} + cdot nabla_w J$$
     • 梯度二階矩估計：$$v_t = beta2 cdot v{t1} + cdot nabla_w J^2$$
     • 偏差修正：$$hat{m}_t = frac{m_t}{1 beta_1^t}$$$$hat{v}_t = frac{v_t}{1 beta_2^t}$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{hat{m}_t}{sqrt{hat{v}_t} + epsilon}$$其中，$beta_1$ 和 $beta_2$ 分別是一階矩和二階矩估計的衰減率。

三、二階優化演算法

1. 牛頓法

   • 更新公式：$$w_{t+1} = w_t H_f^{1} cdot nabla_w f$$其中，$H_f$ 是函數 $f$ 在 $w_t$ 處的Hessian矩陣。

2. 共軛梯度法

   • 該方法主要用於求解線性方程組 $Ax = b$，其中 $A$ 是對稱正定矩陣。其更新公式涉及多個步驟和變數，且依賴於特定的共軛方向，因此在此不詳細展開。

以上公式匯總了深度學習優化演算法中的一些常用方法，每種方法都有其獨特的優點和適用場景。