深度優化演算法

❶ 深度模型優化演算法SGD、Momentum、NAG、AdaGrad、RMSProp及Adam等

深度模型訓練中的優化演算法如SGD、Momentum、NAG、AdaGrad、RMSProp和Adam各有其特點。SGD，即隨機梯度下降，每次迭代使用單個樣本或小批量，引入隨機性以減小整體優化方向的雜訊。Momentum通過累積過去梯度的指數衰減移動平均，加速學習過程，減少震盪。Nesterov動量提前考慮下一步的梯度，提供更快的收斂速度。

AdaGrad對每個參數獨立調整學習率，適應性地處理不同梯度的更新，解決學習率不變的問題，但可能在後期學習能力減弱。Adadelta是對AdaGrad的改進，通過近似平均而非累積歷史梯度，減少了對全局學習率的依賴，但仍有學習率逐漸減小的挑戰。

RMSprop作為Adadelta的變體，是梯度平方和平均的近似，對非平穩目標有良好效果。Adam優化器綜合一階矩估計和二階矩估計，平衡了學習率的動態調整和穩定性能，尤其適合大規模數據和復雜目標函數。

總的來說，這些優化演算法通過不同的策略，如動量、梯度平方平均、自適應學習率等，優化模型的訓練過程，提高收斂速度和穩定性。選擇哪種演算法取決於具體問題和模型需求。

❷ 深度學習優化演算法——公式匯總

深度學習優化演算法的公式匯總如下：

一、基礎演算法

1. 隨機梯度下降

   • 更新公式：$$w_{t+1} = w_t eta cdot nabla_w J}, y^{})$$其中，$w_t$ 是參數，$eta$ 是學習率，$nabla_w J}, y^{})$ 是對第 $i$ 個樣本的損失函數 $J$ 關於參數 $w$ 的梯度。

2. 動量SGD

   • 更新公式：
     • 速度更新：$$vt = mu cdot v{t1} eta cdot nabla_w J$$
     • 參數更新：$$w_{t+1} = w_t + v_t$$其中，$mu$ 是動量系數，通常取值在0到1之間。

3. Nesterov動量SGD

   • 更新公式：
     • 預估參數：$$hat{w}_t = wt + mu cdot v{t1}$$
     • 梯度計算：$$nabla_w J$$
     • 速度更新：$$vt = mu cdot v{t1} eta cdot nabla_w J$$
     • 參數更新：$$w_{t+1} = w_t + v_t$$

二、自適應學習率演算法

1. AdaGrad

   • 更新公式：
     • 累積梯度平方：$$Gt = G{t1} + nabla_w J^2$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{nabla_w J}{sqrt{G_t + epsilon}}$$其中，$epsilon$ 是一個很小的數，用於防止分母為零。

2. RMSProp

   • 更新公式：
     • 累積梯度平方：$$E[g^2]t = beta cdot E[g^2]{t1} + cdot nabla_w J^2$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{nabla_w J}{sqrt{E[g^2]_t + epsilon}}$$其中，$beta$ 是衰減率。

3. Adam

   • 更新公式：
     • 梯度一階矩估計：$$m_t = beta1 cdot m{t1} + cdot nabla_w J$$
     • 梯度二階矩估計：$$v_t = beta2 cdot v{t1} + cdot nabla_w J^2$$
     • 偏差修正：$$hat{m}_t = frac{m_t}{1 beta_1^t}$$$$hat{v}_t = frac{v_t}{1 beta_2^t}$$
     • 參數更新：$$w_{t+1} = w_t eta cdot frac{hat{m}_t}{sqrt{hat{v}_t} + epsilon}$$其中，$beta_1$ 和 $beta_2$ 分別是一階矩和二階矩估計的衰減率。

三、二階優化演算法

1. 牛頓法

   • 更新公式：$$w_{t+1} = w_t H_f^{1} cdot nabla_w f$$其中，$H_f$ 是函數 $f$ 在 $w_t$ 處的Hessian矩陣。

2. 共軛梯度法

   • 該方法主要用於求解線性方程組 $Ax = b$，其中 $A$ 是對稱正定矩陣。其更新公式涉及多個步驟和變數，且依賴於特定的共軛方向，因此在此不詳細展開。

以上公式匯總了深度學習優化演算法中的一些常用方法，每種方法都有其獨特的優點和適用場景。