q學習演算法

1. 初學者如何學演算法

先看看兩本書，一本數據結構，一本離散數學。。。看完以後你就會。。。。

2. 學習編程演算法的必要性和意義

我覺得學習演算法就是兩點：
1、演算法的思想很好，非常好，學習演算法主要是學習它的思想，以後能做到舉一反三，而不是生搬硬套，對於解決大型分析問題有很好的訓練效果，而且而且置信度也高
2、裝逼利器，演算法說出來生澀難懂，但是你理解後，這個演算法的思想感覺不是一般的low，但是！別人還是會覺得你回這個演算法很厲害，一定的裝逼是提高自我修養的一種途徑
推薦你的書：[游戲編程中的人工智慧技術]

3. 演算法怎麼學

貪心演算法的定義：

貪心演算法是指在對問題求解時，總是做出在當前看來是最好的選擇。也就是說，不從整體最優上加以考慮，只做出在某種意義上的局部最優解。貪心演算法不是對所有問題都能得到整體最優解，關鍵是貪心策略的選擇，選擇的貪心策略必須具備無後效性，即某個狀態以前的過程不會影響以後的狀態，只與當前狀態有關。

解題的一般步驟是：

1.建立數學模型來描述問題；

2.把求解的問題分成若干個子問題；

3.對每一子問題求解，得到子問題的局部最優解；

4.把子問題的局部最優解合成原來問題的一個解。

如果大家比較了解動態規劃，就會發現它們之間的相似之處。最優解問題大部分都可以拆分成一個個的子問題，把解空間的遍歷視作對子問題樹的遍歷，則以某種形式對樹整個的遍歷一遍就可以求出最優解，大部分情況下這是不可行的。貪心演算法和動態規劃本質上是對子問題樹的一種修剪，兩種演算法要求問題都具有的一個性質就是子問題最優性(組成最優解的每一個子問題的解，對於這個子問題本身肯定也是最優的)。動態規劃方法代表了這一類問題的一般解法，我們自底向上構造子問題的解，對每一個子樹的根，求出下面每一個葉子的值，並且以其中的最優值作為自身的值，其它的值舍棄。而貪心演算法是動態規劃方法的一個特例，可以證明每一個子樹的根的值不取決於下面葉子的值，而只取決於當前問題的狀況。換句話說，不需要知道一個節點所有子樹的情況，就可以求出這個節點的值。由於貪心演算法的這個特性，它對解空間樹的遍歷不需要自底向上，而只需要自根開始，選擇最優的路，一直走到底就可以了。

話不多說，我們來看幾個具體的例子慢慢理解它：

1.活動選擇問題

這是《演算法導論》上的例子，也是一個非常經典的問題。有n個需要在同一天使用同一個教室的活動a1,a2,…,an，教室同一時刻只能由一個活動使用。每個活動ai都有一個開始時間si和結束時間fi 。一旦被選擇後，活動ai就占據半開時間區間[si,fi)。如果[si,fi]和[sj,fj]互不重疊，ai和aj兩個活動就可以被安排在這一天。該問題就是要安排這些活動使得盡量多的活動能不沖突的舉行。例如下圖所示的活動集合S，其中各項活動按照結束時間單調遞增排序。

關於貪心演算法的基礎知識就簡要介紹到這里，希望能作為大家繼續深入學習的基礎。

4. 程序員必須掌握哪些演算法

1. 集束搜索（又名定向搜索，BeamSearch）——最佳優先搜索演算法的優化。

2. A*搜尋演算法——圖形搜索演算法，是最佳優先搜索的範例，從給定起點到給定終點計算出路徑。

3. 數據壓縮——採取特定編碼方案，使用更少的位元組數（或是其他信息承載單元）對信息編碼的過程，又叫來源編碼。

4. 離散微分演算法（Discretedifferentiation）

5. 哈希演算法（Hashing）

6. 堆排序（Heaps）

7. 合並排序（MergeSort）

8. 梯度下降（Gradientdescent）——一種數學上的最優化演算法。

9. 牛頓法（Newton'smethod）——求非線性方程（組）零點的一種重要的迭代法。
   

10. 歐幾里得演算法（Euclideanalgorithm）——計算兩個整數的最大公約數。最古老的演算法之一，出現在公元前300前歐幾里得的《幾何原本》。

11. Buchberger演算法——一種數學演算法，可將其視為針對單變數最大公約數求解的歐幾里得演算法和線性系統中高斯消元法的泛化。

12. 動態規劃演算法（DynamicProgramming）——展示互相覆蓋的子問題和最優子架構演算法。

13. Diffie-Hellman密鑰交換演算法——一種加密協議，允許雙方在事先不了解對方的情況下，在不安全的通信信道中，共同建立共享密鑰。該密鑰以後可與一個對稱密碼一起，加密後續通訊。

14. Dijkstra演算法——針對沒有負值權重邊的有向圖，計算其中的單一起點最短演算法。

15. 二分查找（BinarySearch）——在線性數組中找特定值的演算法，每個步驟去掉一半不符合要求的數據。

16. 合並查找演算法（Union-find）——給定一組元素，該演算法常常用來把這些元素分為多個分離的、彼此不重合的組。

17. 期望-最大演算法（Expectation-maximizationalgorithm，又名EM-Training）——在統計計算中，期望-最大演算法在概率模型中尋找可能性最大的參數估算值，其中模型依賴於未發現的潛在變數。

18. 快速傅里葉變換（FastFouriertransform，FFT）——計算離散的傅里葉變換（DFT）及其反轉。

19. 最大流量演算法（Maximumflow）——該演算法試圖從一個流量網路中找到最大的流。
    

20. LLL演算法（Lenstra-Lenstra-Lovaszlatticerection）——以格規約（lattice）基數為輸入，輸出短正交向量基數。

21. 兩次篩法（QuadraticSieve）——現代整數因子分解演算法，在實踐中，是目前已知第二快的此類演算法（僅次於數域篩法NumberFieldSieve）。

22. RANSAC——是「RANdomSAmpleConsensus」的縮寫。該演算法根據一系列觀察得到的數據，數據中包含異常值，估算一個數學模型的參數值。

23. 求解線性方程組（）——線性方程組是數學中最古老的問題，它們有很多應用，比如在數字信號處理、線性規劃中的估算和預測、數值分析中的非線性問題逼近等等。求解線性方程組，可以使用高斯—約當消去法（Gauss-Jordanelimination），或是柯列斯基分解（Choleskydecomposition）。

24. Q-learning學習演算法——這是一種通過學習動作值函數（action-valuefunction）完成的強化學習演算法，函數採取在給定狀態的給定動作，並計算出期望的效用價值，在此後遵循固定的策略。

25. Schönhage-Strassen演算法——在數學中，Schönhage-Strassen演算法是用來完成大整數的乘法的快速漸近演算法。其演算法復雜度為：O(Nlog(N)log(log(N)))，該演算法使用了傅里葉變換。

26. RSA——公鑰加密演算法。首個適用於以簽名作為加密的演算法。RSA在電商行業中仍大規模使用，大家也相信它有足夠安全長度的公鑰。

27. Strukturtensor演算法——應用於模式識別領域，為所有像素找出一種計算方法，看看該像素是否處於同質區域（homogenousregion），看看它是否屬於邊緣，還是是一個頂點。

28. 單純型演算法（SimplexAlgorithm）——在數學的優化理論中，單純型演算法是常用的技術，用來找到線性規劃問題的數值解。

29. 奇異值分解（Singularvaluedecomposition，簡稱SVD）——在線性代數中，SVD是重要的實數或復數矩陣的分解方法，在信號處理和統計中有多種應用，比如計算矩陣的偽逆矩陣（以求解最小二乘法問題）、解決超定線性系統（overdeterminedlinearsystems）、矩陣逼近、數值天氣預報等等。

30. 維特比演算法（Viterbialgorithm）——尋找隱藏狀態最有可能序列的動態規劃演算法，這種序列被稱為維特比路徑，其結果是一系列可以觀察到的事件，特別是在隱藏的Markov模型中。

5. 機器學習一般常用的演算法有哪些

機器學習是人工智慧的核心技術，是學習人工智慧必不可少的環節。機器學習中有很多演算法，能夠解決很多以前難以企的問題，機器學習中涉及到的演算法有不少，下面小編就給大家普及一下這些演算法。

一、線性回歸

一般來說，線性回歸是統計學和機器學習中最知名和最易理解的演算法之一。這一演算法中我們可以用來預測建模，而預測建模主要關注最小化模型誤差或者盡可能作出最准確的預測，以可解釋性為代價。我們將借用、重用包括統計學在內的很多不同領域的演算法，並將其用於這些目的。當然我們可以使用不同的技術從數據中學習線性回歸模型，例如用於普通最小二乘法和梯度下降優化的線性代數解。就目前而言，線性回歸已經存在了200多年，並得到了廣泛研究。使用這種技術的一些經驗是盡可能去除非常相似（相關）的變數，並去除噪音。這是一種快速、簡單的技術。

二、Logistic 回歸

它是解決二分類問題的首選方法。Logistic 回歸與線性回歸相似，目標都是找到每個輸入變數的權重，即系數值。與線性回歸不同的是，Logistic 回歸對輸出的預測使用被稱為 logistic 函數的非線性函數進行變換。logistic 函數看起來像一個大的S，並且可以將任何值轉換到0到1的區間內。這非常實用，因為我們可以規定logistic函數的輸出值是0和1並預測類別值。像線性回歸一樣，Logistic 回歸在刪除與輸出變數無關的屬性以及非常相似的屬性時效果更好。它是一個快速的學習模型，並且對於二分類問題非常有效。

三、線性判別分析（LDA）

在前面我們介紹的Logistic 回歸是一種分類演算法，傳統上，它僅限於只有兩類的分類問題。而LDA的表示非常簡單直接。它由數據的統計屬性構成，對每個類別進行計算。單個輸入變數的 LDA包括兩個，第一就是每個類別的平均值，第二就是所有類別的方差。而在線性判別分析，進行預測的方法是計算每個類別的判別值並對具備最大值的類別進行預測。該技術假設數據呈高斯分布，因此最好預先從數據中刪除異常值。這是處理分類預測建模問題的一種簡單而強大的方法。

四、決策樹

決策樹是預測建模機器學習的一種重要演算法。決策樹模型的表示是一個二叉樹。這是演算法和數據結構中的二叉樹，沒什麼特別的。每個節點代表一個單獨的輸入變數x和該變數上的一個分割點。而決策樹的葉節點包含一個用於預測的輸出變數y。通過遍歷該樹的分割點，直到到達一個葉節點並輸出該節點的類別值就可以作出預測。當然決策樹的有點就是決策樹學習速度和預測速度都很快。它們還可以解決大量問題，並且不需要對數據做特別准備。

五、樸素貝葉斯

其實樸素貝葉斯是一個簡單但是很強大的預測建模演算法。而這個模型由兩種概率組成，這兩種概率都可以直接從訓練數據中計算出來。第一種就是每個類別的概率，第二種就是給定每個 x 的值，每個類別的條件概率。一旦計算出來，概率模型可用於使用貝葉斯定理對新數據進行預測。當我們的數據是實值時，通常假設一個高斯分布，這樣我們可以簡單的估計這些概率。而樸素貝葉斯之所以是樸素的，是因為它假設每個輸入變數是獨立的。這是一個強大的假設，真實的數據並非如此，但是，該技術在大量復雜問題上非常有用。所以說，樸素貝葉斯是一個十分實用的功能。

六、K近鄰演算法

K近鄰演算法簡稱KNN演算法，KNN 演算法非常簡單且有效。KNN的模型表示是整個訓練數據集。KNN演算法在整個訓練集中搜索K個最相似實例（近鄰）並匯總這K個實例的輸出變數，以預測新數據點。對於回歸問題，這可能是平均輸出變數，對於分類問題，這可能是眾數類別值。而其中的訣竅在於如何確定數據實例間的相似性。如果屬性的度量單位相同，那麼最簡單的技術是使用歐幾里得距離，我們可以根據每個輸入變數之間的差值直接計算出來其數值。當然，KNN需要大量內存或空間來存儲所有數據，但是只有在需要預測時才執行計算。我們還可以隨時更新和管理訓練實例，以保持預測的准確性。

七、Boosting 和 AdaBoost

首先，Boosting 是一種集成技術，它試圖集成一些弱分類器來創建一個強分類器。這通過從訓練數據中構建一個模型，然後創建第二個模型來嘗試糾正第一個模型的錯誤來完成。一直添加模型直到能夠完美預測訓練集，或添加的模型數量已經達到最大數量。而AdaBoost 是第一個為二分類開發的真正成功的 boosting 演算法。這是理解 boosting 的最佳起點。現代 boosting 方法建立在 AdaBoost 之上，最顯著的是隨機梯度提升。當然，AdaBoost 與短決策樹一起使用。在第一個決策樹創建之後，利用每個訓練實例上樹的性能來衡量下一個決策樹應該對每個訓練實例付出多少注意力。難以預測的訓練數據被分配更多權重，而容易預測的數據分配的權重較少。依次創建模型，每一個模型在訓練實例上更新權重，影響序列中下一個決策樹的學習。在所有決策樹建立之後，對新數據進行預測，並且通過每個決策樹在訓練數據上的精確度評估其性能。所以說，由於在糾正演算法錯誤上投入了太多注意力，所以具備已刪除異常值的干凈數據十分重要。

八、學習向量量化演算法（簡稱 LVQ）

學習向量量化也是機器學習其中的一個演算法。可能大家不知道的是，K近鄰演算法的一個缺點是我們需要遍歷整個訓練數據集。學習向量量化演算法（簡稱 LVQ）是一種人工神經網路演算法，它允許你選擇訓練實例的數量，並精確地學習這些實例應該是什麼樣的。而學習向量量化的表示是碼本向量的集合。這些是在開始時隨機選擇的，並逐漸調整以在學習演算法的多次迭代中最好地總結訓練數據集。在學習之後，碼本向量可用於預測。最相似的近鄰通過計算每個碼本向量和新數據實例之間的距離找到。然後返回最佳匹配單元的類別值或作為預測。如果大家重新調整數據，使其具有相同的范圍，就可以獲得最佳結果。當然，如果大家發現KNN在大家數據集上達到很好的結果，請嘗試用LVQ減少存儲整個訓練數據集的內存要求

6. 深度學習中sarsa演算法和Q-learning演算法的區別

每每看到胡說八道的就忍不住怒答一波，雖然我可能表述不清晰

1. sarsa-learning q-learning都是reinforcement learning中用來解決MDP最優化值函數問題的temporal-difference方法，跟DL沒啥卵關系，雖然RL可以深度化

2. 區別在於，在更新Q(S_t, A_t)時，前者Q(S_t+1)的動作A_t+1通過episinon-greedy確定，而後者的A_t+1通過greedy確定；共同點在於S_t選擇動作的策略是一樣的（episinon-greedy）

3. episinon-greedy 是一種策略, 比如 epsilon = 0.9 時, 就說明0.9的概率我會按照 Q 表的最優值選擇行為, 0.1的概率使用隨機選行為. 簡單來說，就是在更新Q時，sarsa以概率episinon選擇S_t+1狀態的最大動作值函數，q-learning直接選最大
   

7. 機器學習的常見演算法

機器學習演算法如下：

機器學習(MachineLearning,ML)是一門多領域交叉學科，涉及概率論、統計學、逼近論、凸分析、演算法復雜度理論等多門學科。專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識或技能，重新組織已有的知識結構使之不斷改善自身的性能。

它是人工智慧的核心，是使計算機具有智能的根本途徑，其應用遍及人工智慧的各個領域，它主要使用歸納、綜合而不是演繹。

揭開神秘的機器學習演算法：

我們越來越多地看到機器學習演算法在實用和可實現的目標上的價值，例如針對數據尋找可用的模式然後進行預測的機器學習演算法。通常，這些機器學習演算法預測模型用於操作流程以優化決策過程，但同時它們也可以提供關鍵的洞察力和信息來報告戰略決策。

機器學習演算法的基本前提是演算法訓練，提供特定的輸入數據時預測某一概率區間內的輸出值。請記住機器學習演算法的技巧是歸納而非推斷——與概率相關，並非最終結論。構建這些機器學習演算法的過程被稱之為機器學習演算法預測建模。

一旦掌握了這一機器學習演算法模型，有時就可以直接對原始數據機器學習演算法進行分析，並在新數據中應用該機器學習演算法模型以預測某些重要的信息。模型的輸出可以是機器學習演算法分類、機器學習演算法可能的結果、機器學習演算法隱藏的關系、機器學習演算法屬性或者機器學習演算法估計值。

機器學習演算法技術通常預測的是絕對值，比如標簽、顏色、身份或者質量。比如，某個機器學習演算法主題是否屬於我們試圖保留的用戶？用戶會付費購買嗎？用戶會積極響應邀約嗎？

如果我們關心的是機器學習演算法估算值或者連續值，機器學習演算法預測也可以用數字表示。輸出類型決定了最佳的學習方法，並會影響我們用於判斷模型質量的尺度。

8. 常見的深度學習演算法主要有哪些

深度學習常見的3種演算法有：卷積神經網路、循環神經網路、生成對抗網路。
卷積神經網路(Convolutional Neural Networks, CNN)是一類包含卷積計算且具有深度結構的前饋神經網路(Feedforward Neural Networks)，是深度學習的代表演算法之一。
循環神經網路(Recurrent Neural Network, RNN)是一類以序列數據為輸入，在序列的演進方向進行遞歸且所有節點(循環單元)按鏈式連接的遞歸神經網路。
生成對抗網路(GAN, Generative Adversarial Networks )是一種深度學習模型，是最近兩年十分熱門的一種無監督學習演算法。