sarsa演算法
⑴ 人工智慧演算法簡介
人工智慧的三大基石—演算法、數據和計算能力，演算法作為其中之一，是非常重要的，那麼人工智慧都會涉及哪些演算法呢？不同演算法適用於哪些場景呢？
一、按照模型訓練方式不同可以分為監督學習（Supervised Learning），無監督學習（Unsupervised Learning）、半監督學習（Semi-supervised Learning）和強化學習（Reinforcement Learning）四大類。
常見的監督學習演算法包含以下幾類：
（1）人工神經網路（Artificial Neural Network）類：反向傳播（Backpropagation）、波爾茲曼機（Boltzmann Machine）、卷積神經網路（Convolutional Neural Network）、Hopfield網路（hopfield Network）、多層感知器（Multilyer Perceptron）、徑向基函數網路（Radial Basis Function Network，RBFN）、受限波爾茲曼機（Restricted Boltzmann Machine）、回歸神經網路（Recurrent Neural Network，RNN）、自組織映射（Self-organizing Map，SOM）、尖峰神經網路（Spiking Neural Network）等。
（2）貝葉斯類（Bayesin）：樸素貝葉斯（Naive Bayes）、高斯貝葉斯（Gaussian Naive Bayes）、多項樸素貝葉斯（Multinomial Naive Bayes）、平均-依賴性評估（Averaged One-Dependence Estimators，AODE）
貝葉斯信念網路（Bayesian Belief Network，BBN）、貝葉斯網路（Bayesian Network，BN）等。
（3）決策樹（Decision Tree）類：分類和回歸樹（Classification and Regression Tree，CART）、迭代Dichotomiser3（Iterative Dichotomiser 3， ID3）,C4.5演算法（C4.5 Algorithm）、C5.0演算法（C5.0 Algorithm）、卡方自動交互檢測（Chi-squared Automatic Interaction Detection，CHAID）、決策殘端（Decision Stump）、ID3演算法（ID3 Algorithm）、隨機森林（Random Forest）、SLIQ（Supervised Learning in Quest）等。
（4）線性分類器（Linear Classifier）類：Fisher的線性判別（Fisher』s Linear Discriminant）
線性回歸（Linear Regression）、邏輯回歸（Logistic Regression）、多項邏輯回歸（Multionmial Logistic Regression）、樸素貝葉斯分類器（Naive Bayes Classifier）、感知（Perception）、支持向量機（Support Vector Machine）等。
常見的無監督學習類演算法包括：
（1） 人工神經網路（Artificial Neural Network）類：生成對抗網路（Generative Adversarial Networks，GAN），前饋神經網路（Feedforward Neural Network）、邏輯學習機（Logic Learning Machine）、自組織映射（Self-organizing Map）等。
（2） 關聯規則學習（Association Rule Learning）類：先驗演算法（Apriori Algorithm）、Eclat演算法（Eclat Algorithm）、FP-Growth演算法等。
（3）分層聚類演算法（Hierarchical Clustering）：單連鎖聚類（Single-linkage Clustering），概念聚類（Conceptual Clustering）等。
（4）聚類分析（Cluster analysis）：BIRCH演算法、DBSCAN演算法，期望最大化（Expectation-maximization，EM）、模糊聚類（Fuzzy Clustering）、K-means演算法、K均值聚類（K-means Clustering）、K-medians聚類、均值漂移演算法（Mean-shift）、OPTICS演算法等。
（5）異常檢測（Anomaly detection）類：K最鄰近（K-nearest Neighbor，KNN）演算法，局部異常因子演算法（Local Outlier Factor，LOF）等。
常見的半監督學習類演算法包含：生成模型（Generative Models）、低密度分離（Low-density Separation）、基於圖形的方法（Graph-based Methods）、聯合訓練（Co-training）等。
常見的強化學習類演算法包含：Q學習（Q-learning）、狀態-行動-獎勵-狀態-行動（State-Action-Reward-State-Action，SARSA）、DQN（Deep Q Network）、策略梯度演算法（Policy Gradients）、基於模型強化學習（Model Based RL）、時序差分學習（Temporal Different Learning）等。
常見的深度學習類演算法包含：深度信念網路（Deep Belief Machines）、深度卷積神經網路（Deep Convolutional Neural Networks）、深度遞歸神經網路（Deep Recurrent Neural Network）、分層時間記憶（Hierarchical Temporal Memory，HTM）、深度波爾茲曼機（Deep Boltzmann Machine，DBM）、棧式自動編碼器（Stacked Autoencoder）、生成對抗網路（Generative Adversarial Networks）等。
二、按照解決任務的不同來分類，粗略可以分為二分類演算法（Two-class Classification）、多分類演算法（Multi-class Classification）、回歸演算法（Regression）、聚類演算法（Clustering）和異常檢測（Anomaly Detection）五種。
1.二分類（Two-class Classification）
（1）二分類支持向量機（Two-class SVM）：適用於數據特徵較多、線性模型的場景。
（2）二分類平均感知器（Two-class Average Perceptron）：適用於訓練時間短、線性模型的場景。
（3）二分類邏輯回歸（Two-class Logistic Regression）：適用於訓練時間短、線性模型的場景。
（4）二分類貝葉斯點機（Two-class Bayes Point Machine）：適用於訓練時間短、線性模型的場景。（5）二分類決策森林（Two-class Decision Forest）：適用於訓練時間短、精準的場景。
（6）二分類提升決策樹（Two-class Boosted Decision Tree）：適用於訓練時間短、精準度高、內存佔用量大的場景
（7）二分類決策叢林（Two-class Decision Jungle）：適用於訓練時間短、精確度高、內存佔用量小的場景。
（8）二分類局部深度支持向量機（Two-class Locally Deep SVM）：適用於數據特徵較多的場景。
（9）二分類神經網路（Two-class Neural Network）：適用於精準度高、訓練時間較長的場景。
解決多分類問題通常適用三種解決方案：第一種，從數據集和適用方法入手，利用二分類器解決多分類問題；第二種，直接使用具備多分類能力的多分類器；第三種，將二分類器改進成為多分類器今兒解決多分類問題。
常用的演算法：
（1）多分類邏輯回歸（Multiclass Logistic Regression）：適用訓練時間短、線性模型的場景。
（2）多分類神經網路（Multiclass Neural Network）：適用於精準度高、訓練時間較長的場景。
（3）多分類決策森林（Multiclass Decision Forest）：適用於精準度高，訓練時間短的場景。
（4）多分類決策叢林（Multiclass Decision Jungle）：適用於精準度高，內存佔用較小的場景。
（5）「一對多」多分類（One-vs-all Multiclass）：取決於二分類器效果。
回歸
回歸問題通常被用來預測具體的數值而非分類。除了返回的結果不同，其他方法與分類問題類似。我們將定量輸出，或者連續變數預測稱為回歸；將定性輸出，或者離散變數預測稱為分類。長巾的演算法有：
（1）排序回歸（Ordinal Regression）：適用於對數據進行分類排序的場景。
（2）泊松回歸（Poission Regression）：適用於預測事件次數的場景。
（3）快速森林分位數回歸（Fast Forest Quantile Regression）：適用於預測分布的場景。
（4）線性回歸（Linear Regression）：適用於訓練時間短、線性模型的場景。
（5）貝葉斯線性回歸（Bayesian Linear Regression）：適用於線性模型，訓練數據量較少的場景。
（6）神經網路回歸（Neural Network Regression）：適用於精準度高、訓練時間較長的場景。
（7）決策森林回歸（Decision Forest Regression）：適用於精準度高、訓練時間短的場景。
（8）提升決策樹回歸（Boosted Decision Tree Regression）：適用於精確度高、訓練時間短、內存佔用較大的場景。
聚類
聚類的目標是發現數據的潛在規律和結構。聚類通常被用做描述和衡量不同數據源間的相似性，並把數據源分類到不同的簇中。
（1）層次聚類（Hierarchical Clustering）：適用於訓練時間短、大數據量的場景。
（2）K-means演算法：適用於精準度高、訓練時間短的場景。
（3）模糊聚類FCM演算法（Fuzzy C-means，FCM）：適用於精確度高、訓練時間短的場景。
（4）SOM神經網路（Self-organizing Feature Map，SOM）：適用於運行時間較長的場景。
異常檢測
異常檢測是指對數據中存在的不正常或非典型的分體進行檢測和標志，有時也稱為偏差檢測。
異常檢測看起來和監督學習問題非常相似，都是分類問題。都是對樣本的標簽進行預測和判斷，但是實際上兩者的區別非常大，因為異常檢測中的正樣本（異常點）非常小。常用的演算法有：
（1）一分類支持向量機（One-class SVM）：適用於數據特徵較多的場景。
（2）基於PCA的異常檢測（PCA-based Anomaly Detection）：適用於訓練時間短的場景。
常見的遷移學習類演算法包含：歸納式遷移學習（Inctive Transfer Learning） 、直推式遷移學習（Transctive Transfer Learning）、無監督式遷移學習（Unsupervised Transfer Learning）、傳遞式遷移學習（Transitive Transfer Learning）等。
演算法的適用場景：
需要考慮的因素有：
（1）數據量的大小、數據質量和數據本身的特點
（2）機器學習要解決的具體業務場景中問題的本質是什麼？
（3）可以接受的計算時間是什麼？
（4）演算法精度要求有多高？
————————————————
原文鏈接： https://blog.csdn.net/nfzhlk/article/details/82725769
⑵ Q-Learning 和 SARSA 演算法對比
Q-learning演算法的過程可以根據下面的步驟：
首先，我們會初始化一個Q-table，可以是全0或者是其他的數值，一般咐褲悉都是全0，然後我們設定訓練的輪數episodes，這里從初始狀態直到終止狀態算作一輪。那麼在每一輪中，我們會有一個初始狀態，然後會不斷的採取動作，這里每一個動作叫做一個step。在每一個step中，我們根據當前的狀態通過一定的策略選擇動作A，這里的策略可能是以0.9的概率選擇Q-table中當前狀態對應的q值最大的動作，以0.1的概率選擇隨機動作。然後在選擇動作A之後，我們可以得到獎勵值R和新的狀態S，那麼當前q值的更新基於下面的公式：
其中alpha是學習率，表示保留之前訓練效果的多少，學習速率α越大，保留之前訓練的效果就越少，如果學習率是1的話，完全用新學到的q值替換掉了原來的q值。R是從環境獲得的獎勵，而gamma是折現系數，我們會選擇到新狀態之後能夠得到的最大的Q值來更新當前的Q值。
對於Q-learning來說，
1.在狀態s'時，只是計算了 在s'時要採取哪個a'可以得到更大的Q值，並沒有真的採取這個動作a'。
2.動作a的選取是根據當前Q網路以及策略（e-greedy），即每一步都會根據當前的狀況選擇一個動作A，目標Q值的計算是根據Q值最大的動作a'計算得來，因此為off-policy學習。
SARSA演算法根Q-learning很像，也是基於Q-table，但是不同的是，在每一個episode的每一個step，我們會確定下一步採取的動作，而不是在下一個衡乎step開始時動態的確定step，演算法步驟看下面的圖示。
因此對於SARSA來說
1.在狀態s'時，就知道了要採取哪個a'，並真的採取了這個動作。
2.動作a的選取遵循e-greedy策略，目標Q值的計算也是根據（e-greedy）策略得到的動作a'純檔計算得來，因此為on-policy學習。
⑶ 什麼是 Sarsa
sarsa 英['sɑ:sə] 美['sɑ:sə]
n. 撒爾沙，由撒爾沙梁搜根中提煉的葯;
[例句]Based on the factored representation of a state, a new SARSA ( λ) algorithm is proposed.
基於狀態的因素化表達，提灶盯出了一個新的SARSA（λ）激勵學習橡辯歷演算法。
⑷ 關於強化學習需要了解的知識
自從人工智慧這一事物流行以後，也開始流行了很多的新興技術，比如機器學習、深度學習、強化學習、增強學習等等，這些技術都在人工智慧中占據著很大的地位。我們在這篇文章中重點給大家介紹一下關於強化學習需要了解的知識，希望這篇文章能夠更好地幫助大家理解強化學習。
為什麼強化學習是一個熱門的研究課題呢？是因為在人機大戰中強化學習在阿爾法狗中大放光彩，也正是這個原因，強化學習越來越受到科研人員的喜愛。那麼強化學習是什麼呢？強化學習與其它機器學習方法有什麼關系呢？
首先，強化學習是一種機器學習方法，強化學習能夠使Agent能夠在互動式環境中年通過試驗並根據自己的行動和經驗反饋的錯誤來進行學習。雖然監督學習和強化學習都使用輸入和輸出之間的映射關系，但強化學習與監督學習不同，監督學習提供給Agent的反饋是執行任務的正確行為，而強化學習使用獎勵和懲罰作為積極和消極行為的信號。
那麼強化學習和無監督學習有什麼不同呢？如果和無監督學習相比，強化學習在目標方面有所不同。雖然無監督學習的目標是找出數據點之間的相似性和不同性，但是在強化學習中，其目標是找到一個合適的動作模型，能夠最大化Agent的累積獎勵總額。
那麼如何創建一個基本的強化學習的問題呢？這就需要我們先了解一下增強學習中的一些概念，第一就是環境，也就是Agent操作的現實世界。第二就是狀態，也就是Agent的現狀。第三就是獎勵，也就是來自環境的反饋。第四就是策略，也就是將Agent的狀態映射到動作的方法。第五就是價值，也就是Agent在特定狀態下採取行動所得到的報酬。所以說，為了建立一個最優策略，Agent需要不斷探索新的狀態，同時最大化其所獲獎勵累積額度，這也被稱作試探和權衡。
而馬爾可夫決策過程是用來描述增強學習環境的數學框架，幾乎所有的增強學習問題都可以轉化為馬爾科夫決策過程。馬爾科夫決策由一組有限環境狀態、每個狀態中存在的一組可能行為、一個實值獎勵函數以及一個轉移模型組成。然而，現實世界環境可能更缺乏對動態環境的任何先驗知識。通過這些去試錯，一直在每一步中去嘗試學習最優的策略，在多次迭代後就得到了整個環境最優的策略。
那麼最常用的強化學習演算法有哪些呢？Q-learning和SARSA是兩種常用的model-free強化學習演算法。雖然它們的探索策略不同，但是它們的開發策略卻相似。備畢雖然Q-learning是一種離線學習方法，其中Agent根據從另一個李滾漏策略得到的行動a*學習價值，但SARSA是一個在線學習方法，它從目前哪爛的策略中獲得當前行動的價值。這兩種方法實施起來很簡單，但缺乏一般性，因為無法估計出不可見狀態的價值。
在這篇文章中我們給大家介紹了很多關於強化學習的知識，通過這些知識我們不難發現，強化學習是一個十分實用的內容，要想學好人工智慧就一定不能夠忽視對強化學習知識的掌握，最後祝願大家早日拿下強化學習。
⑸ 深度學習中sarsa演算法和Q-learning演算法的區別
每每看到胡說八道的就忍不住怒答一波，雖然我可能表述不清晰
sarsa-learning q-learning都是reinforcement learning中用來解決MDP最優化值函數問題的temporal-difference方法，跟DL沒啥卵關系，雖然RL可以深度化
區別在於，在更新Q(S_t, A_t)時，前者Q(S_t+1)的動作A_t+1通過episinon-greedy確定，而後者的A_t+1通過greedy確定；共同點在於S_t選擇動作的策略是一樣的（episinon-greedy）
episinon-greedy 是一種策略, 比如 epsilon = 0.9 時, 就說明0.9的概率我會按照 Q 表的最優值選擇行為, 0.1的概率使用隨機選行為. 簡單來說，就是在更新Q時，sarsa以概率episinon選擇S_t+1狀態的最大動作值函數，q-learning直接選最大
⑹ SARSA 演算法簡介
State–action–reward–state–action (SARSA) 也是強化學習中很重要的一個演算法，它的演算法和公式和 Q learning 很像，但是 Q-Learning 是Off-Policy的，SARSA 是On-Policy 的，具體區別我們可以在下一節中再看。
下面是 Q-Learning 的演算法流程，前面幾篇文章介紹的比較詳細了，相信理解起來也很輕松，
下面是肢褲SARSA的演算法流程：
可以看出主碧歷要區別在Q 值的更新公式：歷慧簡
⑺ Sarsa-lambda
Sarsa-lambda
Q learning 和 Sarsa都是單步更新的演算法。單步跟新的演算法缺點就是在沒有找到寶藏之前，機器人在原地打轉的那些行動也被記錄在案，並更新了Q表，即便那些行動都是沒有意義的。
Lambda(λ)這個衰減系數的引入，就是為了解決漏埋這個問題的。與γ用來衰減未來預期Q的值一樣，λ是當機器人獲得寶藏之後，在更新Q表的時候，給機器人一個回頭看之前走過的路程的機會。相當於，機器人每走一步就會在地上插一桿旗子，然後機器人每走一步旗子就會變小一點。
Sarsa(lambda)演算法是Sarsa 的改進版，二者的主要區別在於：
在每次take action獲得reward後，Sarsa只對前一步Q(s,a)進行更返談螞新，Sarsa(lambda) 則會對獲得reward之前的步進行更新。
Sarsa(lambda)演算法的流程如下：
從上圖可以看出，和Sarsa相比，Sarsa(lambda)演算法中多了一個矩陣E (eligibility trace)，它是用來保存在路徑中所經歷的每一步，因此在每次更新時也會對之前經歷的步進行更新。
參數lambda取值范圍為[0, 1] ，如果 lambda = 0，Sarsa(lambda) 將退化為Sarsa，即只更新獲取到 reward 前經歷的最後一步；如果 lambda = 1，Sarsa(lambda) 更新的是獲取到 reward 前的所有步。lambda 可理解為腳步的衰變值，即離乳酪越近的步越重要，越遠的步則對於獲取乳酪不是太重要。
和Sarsa相比，Sarsa(lambda)演算法有如下優勢：
Sarsa雖然會邊走邊更新，但是在沒有獲得乳酪之前，當侍陵前步的Q值是沒有任何變化的，直到獲取乳酪後，才會對獲取乳酪的前一步更新，而之前為了獲取乳酪所走的所有步都被認為和獲取乳酪沒關系。Sarsa(lambda)則會對獲取乳酪所走的步都進行更新，離乳酪越近的步越重要，越遠的則越不重要（由參數lambda控制衰減幅度）。因此，Sarsa(lambda) 能夠更加快速有效的學到最優的policy。
在演算法前幾回合，老鼠由於沒有頭緒, 可能在原地打轉了很久，從而形成一些重復的環路，而這些環路對於演算法的學習沒有太大必要。Sarsa(lambda)則可解決該問題，具體做法是：在E(s,a)←E(s,a)+1這一步之前，可先令E(s)=0，即把狀態s對應的行置為0，這樣就只保留了最近一次到達狀態s時所做的action。
⑻ 求高人解答 Sarsa學習演算法和Q學習演算法的區別
唯一含辯檔區別就是 Q學習演算法有個最大Q值的採用 而sarsa木有
Q演算法是當選擇下一步的時候 會找最好的一個走（選最大Q值的） 而sarsa是當灶隱選擇下一步的時候 運用和上一步一樣/想等的Q值 但是最後都會更新之前的一步從而達到學習的效果~
java代碼就算了吧 其實都談亂大同小異