集群源碼
㈠ springcloud2021版微服務集群
1、springcloud nacos gateway openfign Resilience4J 測試網關熔斷，feign重試機制，服務的熔斷機制，實例的feign熔斷機制
2、springcloud 體系彎神監控，基於 actuator prometheus grafana
3、springcloudStreamRocketmq事件驅動機制測試 延遲隊列，死信隊列
4、介面文檔採用springdoc來編寫，將其中敏搭的枚舉等自定義序列化風格
5、es集群測試
具體源碼地址橋鬧拿： https://github.com/coralloc8/coral-cloud/tree/master/cloud-test
㈡ Zookeeper之兩階段提交源碼分析
zookeeper集群為了保證數據一致性，使用了兩階段提交。
在zookeeper集群的角色有：leader、follower、observer。
在這幾個角色中處理讀寫請求是不同的：
讀請求：從當前節點直接讀取數據
寫請求：在leader直接進行兩階段提交、在非leader則是把請求轉交給leader處理
所以，分析兩階段提交就是分析集群模式下的請求處理。在單機模式在請求處理是經過RequestProcessor請求處理鏈處理。
單個zookeeprt請求處理主要有以下幾步：
1、對當前請求生成日誌txn
2、持久化日誌txn
3、根據日誌txn更新Database
兩階段提交（2PC）步驟：
其中標綠色的PrepRequestProcessor、SyncRequestProcessor、CommitProcessor都繼承了ZooKeeperCriticalThread是一個線程。
org.apache.zookeeper.server.quorum.LeaderZooKeeperServer#setupRequestProcessors
org.apache.zookeeper.server.quorum.ProposalRequestProcessor#ProposalRequestProcessor
org.apache.zookeeper.server.quorum.LeaderRequestProcessor#processRequest
①、檢查是不是local session本地session，創建臨時節點會升級session
org.apache.zookeeper.server.quorum.QuorumZooKeeperServer#checkUpgradeSession
②、交給下一個請求處理器處理
作用與單機模式相同，給請求Request的Hdr和Txn賦值，然後交給下一個請求處理器處理
如果是寫請求(request.getHdr() != null)，則會把當前請求封裝為協議並發送給follower。發送之後交給SyncRequestProcessor持久化處理
org.apache.zookeeper.server.quorum.Leader#propose
org.apache.zookeeper.server.quorum.Leader#sendPacket
發送到所有其他Followe節點forwardingFollowers
把請求放入到queuedRequests阻塞隊列
①、對請求進行持久化與單機相同
org.apache.zookeeper.server.SyncRequestProcessor#run
向lead發送自己的ack（2PC發送ACK）
org.apache.zookeeper.server.quorum.Leader#processAck
org.apache.zookeeper.server.quorum.Leader#tryToCommit
org.apache.zookeeper.server.quorum.CommitProcessor#commit
提交當前請求，放入到committedRequests，最終會更新database
CommitProcessor類參數：
queuedRequests：表示接收到的請求，沒有進行兩階段的提交
queuedWriteRequests：表示接收到的寫請求，沒有進行兩階段的提交
committedRequests：表示可以提交的請求，在兩階段驗證過半之後進行會在本地進行committe操作，便添加到這個隊列
commitIsWaiting：表示存在可以提交的請求（committedRequests是否有值，有true）
pendingRequests：是一個map集合，表示每個客戶端sessionId的請求
Leader類參數：
outstandingProposals：表示記錄提議的請求的隊列，符合過半機制之後會移除
toBeApplied：表示記錄待生效的請求，在FinalRequestProcessor移除
①、processRequest
org.apache.zookeeper.server.quorum.CommitProcessor#processRequest
首先判斷是否需要兩階段提交。如果需要則會添加到queuedWriteRequests隊列
org.apache.zookeeper.server.quorum.CommitProcessor#needCommit
如果是更改操作則返回true
d、然後，再看一下這個while的退出條件。
①、從queuedRequests取出的是空
②、如果queuedRequests數據不為空，那麼requestsToProcess是大於0的。這時只有maxReadBatchSize < 0或readsProcessed <= maxReadBatchSize才能退出。
maxReadBatchSize < 0表示默認是-1，如果配置了這個參數當連續讀了readsProcessed時，也會退出。
③、pendingRequests和committedRequests不為空
e、commitIsWaiting有待提交的
org.apache.zookeeper.server.quorum.Leader.ToBeAppliedRequestProcessor#processRequest
刪除toBeApplied
其中標綠色的FollowerRequestProcessor、CommitProcessor、SyncRequestProcessor都繼承了ZooKeeperCriticalThread是一個線程。
org.apache.zookeeper.server.quorum.FollowerZooKeeperServer#setupRequestProcessors
開了兩條鏈：
FollowerRequestProcessor(firstProcessor)---->CommitProcessor----->FinalRequestProcessor
SyncRequestProcessor---->SendAckRequestProcessor
org.apache.zookeeper.server.quorum.FollowerRequestProcessor#processRequest
請求添加到queuedRequests隊列
FollowerRequestProcessor是一個線程，會從queuedRequests獲取請求
org.apache.zookeeper.server.quorum.FollowerRequestProcessor#run
createSession和closeSession也會轉發給lead節點處理
org.apache.zookeeper.server.quorum.SendAckRequestProcessor#processRequest
在用SendAckRequestProcessor處理之前會先調用SyncRequestProcessor進行持久化處理，由於與單機或lead處理相同就不單獨列出來了。
向領導者發送確認ack包
org.apache.zookeeper.server.quorum.Learner#writePacket
在經過FollowerRequestProcessor處理後，lead端會得到一個Request的請求
org.apache.zookeeper.server.quorum.LearnerHandler#run
org.apache.zookeeper.server.quorum.Leader#submitLearnerRequest
在連接Follower節點的客戶端發送更改命令請求會轉發到leader節點的prepRequestProcessor進行處理
1、run
org.apache.zookeeper.server.quorum.QuorumPeer#run
2、followLeader
org.apache.zookeeper.server.quorum.Follower#followLeader
不斷讀取從lead端的數據包
org.apache.zookeeper.server.quorum.FollowerZooKeeperServer#logRequest
其中標綠色的ObserverRequestProcessor、CommitProcessor、SyncRequestProcessor都繼承了ZooKeeperCriticalThread是一個線程。
org.apache.zookeeper.server.quorum.ObserverZooKeeperServer#setupRequestProcessors
也是開了兩條鏈：
ObserverRequestProcessor(firstProcessor)---->CommitProcessor----->FinalRequestProcessor
SyncRequestProcessor---->null
observer節點不參與兩階段提交，所以同步SyncRequestProcessor之後沒有ACK確認提交。這樣既提高了讀效率，又對寫效率沒有影響。請求處理鏈與leader、follower的功能相同不再累述。
zookeeper集群的兩階段提交，是在寫操作的情況下發生的。2PC的整體實現邏輯是在RequestProcessor請求處理鏈處理的。只有在接受到的ACK超過一半才會進行提交，提交的實現邏輯是在CommitProcessor中實現的，CommitProcessor處理器中裡面涉及多種集合、隊列等參數(需要首先了解這些參數意義，然後再讀CommitProcessor源碼)。
㈢ 14. bbo源碼-集群容錯之MergeableCluster
在bbo官方的用戶手冊中，提到了使用 MergeableCluster 的場景--分組聚合：
功能示意圖如下：
定義菜單介面方式：
Provider暴露服務--一個服務屬於 group-hot ，一個服務屬於 group-cold ：
筆者測試時啟動了兩個Provider，所以總計有四個服務，bbo-monitor監控顯示如下：
Consumer調用服務：
幾個重要的配置說明：
com.alibaba.bbo.rpc.cluster.Merger 文件內容如下：
核心源碼在 MergeableClusterInvoker.java 中，源碼如下所示：
在條件分支 if ( merger.startsWith(".") ) {} 中，有一段邏輯： method = returnType.getMethod( merger, returnType ); ，即從bbo服務介面方法返回類型即 java.util.List 中查找merger配置的方法，例如 .addAll ，我們先看一下debug過程各變數的值：
bbo源碼中 method = returnType.getMethod( merger, returnType ); 調用 Method method = getMethod0(name, parameterTypes, true); ，再調用 Method res = privateGetMethodRecursive(name, parameterTypes, includeStaticMethods, interfaceCandidates); ，最後調用 searchMethods(privateGetDeclaredMethods(true), name, parameterTypes)) ，得到最後方法匹配的核心邏輯如下：
從searchMethods()源碼可知，方法匹配需要滿足幾個條件：
由上面的分析可知，如果要merger=".addAll"能夠正常工作，那麼只需要將bbo服務的返回類型改成 Collection 即可，例如：
如果 com.alibaba.bbo.rpc.cluster.Merger 文件集中方法無法滿足需求，需要自定義實現，那麼還是和bbo其他擴展實現一樣，依賴SPI。只需要一下幾步實現即可：
㈣ redis cluster集群選主
redis數據淘汰原理
redis過期數據刪除策略
redis server事件模型
redis cluster mget 引發的討論
redis 3.x windows 集群搭建
redis 命令執行過程
redis string底層數據結構
redis list底層數據結構
redis hash底層數據結構
redis set底層數據結構
redis zset底層數據結構
redis 客戶端管理
redis 主從同步-slave端
redis 主從同步橘攔-master端
redis 主從超時數稿檢測
redis aof持久化
redis rdb持久化
redis 數據恢復過程
redis TTL實現原理
redis cluster集群建立
redis cluster集群選主圓畢胡
當slave發現自己的master變為FAIL狀態時，便嘗試進行Failover，以期成為新的master。由於掛掉的master可能會有多個slave。Failover的過程需要經過類Raft協議的過程在整個集群內達到一致， 其過程如下：
在作為slave角色節點會定期發送ping命令來檢測master的存活性，如果檢測到master未響應，那麼就將master節點標記為疑似下線。
clusterHandleSlaveFailover執行重新選主的核心邏輯。
clusterHandleSlaveFailover內部通過clusterRequestFailoverAuth方法向集群當中的所有節點發送CLUSTERMSG_TYPE_FAILOVER_AUTH_REQUEST報文，通知大家slave准備執行failover。
當節點收到超過n/2+1個master的response後即升級為主。
在redis主從選舉過程中報文相關的解析邏輯，clusterProcessPacket內部主要處理CLUSTERMSG_TYPE_FAILOVER_AUTH_REQUEST和CLUSTERMSG_TYPE_FAILOVER_AUTH_ACK報文。
redis cluster集群的源碼分析(1)
Redis Cluster 實現細節
㈤ 集群redis哨兵模式連接方式，解決database不生效問題（附源碼）
公司裡面項目基本都早敗謹使用哨兵模式
注意事項：
1 引入pom依賴
2 添加redis哨兵配置，database主動設置，才會生效
3 application.yml配置枯物
4 項目目錄
5 啟動測試連接
可以看到redis.clients.jedis.JedisSentinelPool : Created JedisSentinelPool to master at 10.10.195.249:6379已經啟動了
作為程序員第陸基 140 篇文章，每次寫一句歌詞記錄一下，看看人生有幾首歌的時間，wahahaha ...
㈥ zk源碼閱讀37:ZooKeeperServer源碼分析
前面針對server啟動到選舉leader進行了一個小結，現在進入leader和follower的啟動交互過程，需要先講ZooKeeperServer，
在之前源碼閱讀的25節裡面帶過了一部分，這里詳細講解ZooKeeperServer的源碼
繼承關系如下
本節主要講解內容如下
在源碼閱讀第24節講解了，這里不贅述
是SessionTracker的內部介面
如下圖
除去log，jmx相關部分，源碼如下
ChangeRecord是ZooKeeperServer的內部類，衫畝下面會介紹
ServerStats,ZooKeeperServerListener都在25節的源碼介紹過
這個類或升森並沒有調用，不用管
定義異常
這個數據結構為了促進PrepRequestProcessor以及FinalRequestProcessor的信息共享,講到調用鏈的時候再講。
其中，StatPersisted在源碼閱讀7中講DataNode的時候講過了
描述當前server所處的狀態
這里列舉處兩個底層調用的構造函數
啟動涉及到db的數據載入，這里也有集群和單機兩種，調用順序為
主要是集群的時候，server選完了leader，由leader才能調用數據載入loadData
下面按照單機版startdata函數展開
初始化zkDb完成數據載入
恢復session和數據，單機版啟動或者集群版leader選舉之後調用lead方法時，會調用該方法。
主要完成設置zxid以及把無效的session給kill掉的工作
這里注意，為什麼需要干這件事情，在下面思考中會說
裡面調用了setZxid(不展開)以及killSession函數
清除db中臨時會話記錄，會話跟蹤器也清除記錄
入口是ZooKeeperServer#startup，zkServer都是在上述載入了db的數據之後，調用startup來完成啟動
啟動的入口函數
調用了createSessionTracker等函數，介紹如下
createSessionTracker 完成會話跟蹤器的創建
這里是默認的單機版實現，在集群版不同的角色有不同的實現,主要是參數sid不會傳1，而是配置中的sid
startSessionTracker 啟動會話跟蹤器
設置笑薯伺服器運行狀態，對於ERROR和SHUTDOWN的state，進行對應的操作
在 源碼閱讀25:伺服器異常報警，關閉機制 講過，這里不贅述
安裝請求處理鏈路,是PrepRequestProcessor -> SyncRequestProcessor -> FinalRequestProcessor順序
具體在後面請求處理鏈路再講
兩個函數getServerId和expire
processConnectRequest用於處理client的連接請求，不展開
值得注意的地方是重連的調用
展開如下
重連的核心函數
驗證sessionId和傳遞來的密碼的正確性
根據sessionId生成密碼
在會話跟蹤器SessionTracker中判斷會話是否還有小
完成會話初始化，根據參數valid代表認證通過與否，用來判斷server是接收連接請求，還是發出closeConn的請求,不展開，重要部分如下
除去的get,set,jmx,shutdown相關函數，剩下重要函數如下
部分函數列舉如下
獲取下一個server的zxid,調用方需要確保控制並發順序
上面ZooKeeperServer#expire調用了close函數，介紹如下
該函數用於提交一個 關閉某個sessionId 的請求
這里有兩個函數
之前在源碼21節 會話管理中講解了會話清除，在sessionTracker的記錄是馬上清除的，而DateTree中臨時會話的清除是通過調用鏈一步步來的，也就是說兩個步驟不是同步的，所以如果中間伺服器狀態改變了，會出現不一致的情況
requestsInProcess代表正在處理的請求個數
就是說發出請求時，requestsInProcess+1，最後完成請求時，requestsInProcess-1.涉及到請求處理鏈。
ZooKeeperServer#checkPasswd調用
ZooKeeperServer#generatePasswd
就是sessionId要和sessionId^superSecret生成的第一個隨機數相匹配即可
密碼不是client端設置的，是根據sessionId生成的
ZooKeeperServer#processConnectRequest 裡面調用reopenSession中
在上面已經講了,核心就是
這里還沒有深入看，先存疑
比如思考中提到的loadData為什麼會出現數據不一致，屬於某種異常情況的處理
為什麼不放到另外一個類裡面去
㈦ 「官方」總結2021的IPFS:成為Web3主流勢頭的支柱
原文：
Web3 應用程序在 2021 年的受歡迎程度飆升。該技術用例的增長也為支持它們的基礎設施帶來了更大的需求。 IPFS 已成為開發人員和用戶在新興 Web3 生態系統中使用的解決方案不可或缺的一部分。 網路統計：存儲在 IPFS 上的 NFT：15M+每周唯一活躍 IPFS 節點：230K+ipfs.io 網關用戶每周：370 萬+ipfs.io 每周網關請求：805M+
2021 年合作與整合
擁有 IPFS 和NFT.Storage等工具 , Web3.存儲 , 和Estuary 在後端使項目能夠提供分散存儲功能作為其產品的一部分。
讓我們來看看一些最值得注飢腔滑意的應用程序：
1 Opensea 集成 NFT.Storage 以實現安全、平台范圍的 NFT 持久性
OpenSea 是去中心化網路上最大的 NFT 市場之一。它合作了 與 IPFS 和 FIlecoin 集成 NFT.Storage 並允許用戶「凍結」他們的 NFT 元數據。這個過程允許創作者真正去中心化他們的 NFT，將權力交還給創作者，而不是託管者。
如今， OpenSea 用戶可以創建不可變的 NFT 數據以持久存儲在 Filecoin 的區塊鏈上，並通過 IPFS 內容 ID 完成檢索數據的定址。 IPFS 內容定址通過消除「地毯拉動」或 NFT 元數據錯位的可能性，為 NFT 託管提供了完美的解決方案。
2 Brave 在其正在進行的 Web3 集成中添加了對 IPFS 的本地支持
在包含自己的加密貨幣錢包之後，Brave 通過集成 IPFS，繼續為其桌面 Web 瀏覽器添加 Web3 功能。 現在允許用戶通過本地解析 IPFS 地址來訪問存儲在協議上的內容。
整合是多年合作的結果 兩個團隊之間的合作， 目標是讓最終用戶盡可能地訪問 IPFS。這是朝著將 IPFS 轉變為所有瀏覽器最終可能支持的公認互聯網標准邁出的一大步。
3 Opera 擴展了對 IPFS 協議定址的支持
Opera 於 2020 年首次在其 Android 瀏覽器中添加了對 IPFS 的支持 。今年，它將相同的功能擴展到其Opera Touch iOS 用戶的瀏覽器，允許他們導航到 ipfs:// 和 ipns:// 地址。
4 Pinata 讓任何人都可以輕松利用 IPFS
這種固定和文件管理服務允許用戶以簡單無縫的方式存儲區塊鏈經常引用的內容。 Pinata 充分利用IPFS 固定服務 API 將內容發布到 IPFS 網路，允許基於 CID 的去中心化存儲和高效檢索 。
5 ScalaShare 通過 IPFS 為 Web3 帶來了安全的文件共享
互聯網上用戶之間的文件共享始於 P2P 共享，但ScalaShare 帶來了 在 IPFS 的幫助下將此功能應用於 Web3。 對於那些不願意將數據交給大公司的人來說，這圓鬧個簡單的開源工具可能會成為首選的文件存儲系統。
6 Audius 依靠 CID 按需流式傳輸音樂
Audius 將 Web3 上的音樂流媒體服務帶入了一個新的方向。 Audius使用 IPFS 集成來存儲和檢索數據 可以確保沒有斷開的曲目鏈接，並且所有音樂都交付給用戶，而不依賴於集中式伺服器 。
IPFS 的 CID 是確保此音樂流媒體服務正常運行並繼續使用的關鍵 流行的 Web 2.0 應用程序（如 TikTok）上的 Web3 基礎架構。
7 Palm 在其可持續的 NFT 平台上使用 IPFS 進行存儲
這個相對較新的 NFT 工作室最近與 IPFS 合作。Palm 具有用於生成 NFT 的可持續架構。它使用基於代幣的經爛臘濟來維持具有快速交易時間和低gas費用的生態系統，所有這些都基於節能技術。 IPFS 提供了它需要的解決方案，以確保用戶始終可以訪問他們的工作 。
8 Valist 信任 IPFS 以實現安全的 Web3 軟體分發
通過網站或應用商店發布軟體有時會引入安全問題，正如 2020 SolarWinds 攻擊所證明的那樣。Valist通過允許開發團隊以 Web3-native 方式分發軟體來解決這個問題。 IPFS 通過提供大量開箱即用的安全保證，充當 Valist 的主要存儲層。
9 Snapshot 確保 DAO 投票過程通過 IPFS 去中心化
流行的 DAO 投票系統快照 依賴 IPFS 作為其基礎設施的核心部分。 它允許 DAO 成員通過去中心化投票過程就特定協議提案達成共識。快照是從產品到協議的一切社區治理不斷增長的空間中最常用的工具之一
技術更新
2021 年還見證了 IPFS 工作方式的多項技術更新。其中的核心是：
1 IPFS 0.11.0
這是面向 Go 開發人員的 IPFS 實現。除了重要的修復之外， 最新版本還改進了 UnixFS 分片和 PubSub 實驗以及對 Circuit-Relay v2 的支持 。在這一年中，還進行了其他改進，例如：
對 go-ipfs 的 IPLD 內部結構的更改使使用非 UnixFS DAG 更容易提供多種新命令和配置選項網關支持通過 DAG 導出端點下載任意 IPLD 圖自定義 DNS 解析器支持非 ICANN DNSLink 名稱單獨打包的遷移為 Apple M1 硬體構建固定服務的 WebUI 支持遠程固定服務更快的固定和取消固定
2 JS IPFS 0.60.0
JS IPFS 是基於 JavaScript 的類似實現。 它緩解了將 IPFS 數據與 JavaScript 應用程序鏈接的問題，允許開發人員使用它來本地訪問 IPFS 數據 。最新版本包括重要的錯誤修復，並且全年進行了重要的改進，例如：
ESM 和 CJS 雙重發布一個更簡單的 globSource APIPubSub 支持解決瀏覽器連接限制ipfs.get 上的壓縮包輸出默認從 RSA 切換到 Ed25519Dag 導入導出實現更好的類型定義啟用 NAT UPnP 打孔在 ipfs-http-client 中添加了對支持遠程固定服務的支持
3 IPFS 集群 0.14.1
用於設置和運行 IPFS 集群的源代碼 。這個開源發行版向更多用戶和開發人員打開了 IPFS 的世界。在這一年中，它收到了更新，包括：
提高可以列出 pinset 的速度將內容遷移到新集群時更靈活CAR導入支持批量固定攝取對 Badger 數據存儲的自動垃圾收集
為了更好地理解為什麼這些改進很重要，請務必查看本技術指南 到 IPFS。
採用的下一步
盡管 IPFS 在去年取得了長足的進步，但仍有增長空間。新的合作夥伴關系和進步將是更廣泛的 Web3 可用性的關鍵。 隨著越來越多的主流用戶意識到對去中心化互聯網的需求，對 IPFS 等工具的需求將會增加 。隨著他們繼續進入這個領域，我們將看到 2022 年會帶來什麼。
㈧ Flink源碼1-Flink 的集群和Jobmanager啟動
1、ActorSystem 是管理 Actor生命周期的組件， Actor是負責進行通信的組
2、每個 Actor 都有一個 MailBox，別的 Actor 發送給它的消息都首先儲存在 MailBox 中，通過這種 方式可以實現非同步通信。
3、每個 Actor 是單線程的處理方式，不斷的從 MailBox 拉取消息執行處理，所以對於 Actor 的消息處 理，不適合調用會阻塞的處理方法。
4、Actor 可以改變他自身的狀態，可以接收消息，也可以發送消息，還可以生成新的 Actor
5、每一個ActorSystem 和 Actor都在啟動的時候會給定一個 name，如果要從ActorSystem中，獲取一 個 Actor，配世則通過以下的方式來進行 Actor的獲取： akka.tcp://asname@bigdata02:9527/user/actorname 6、如果一個 Actor 要和另外一個 Actor進行通信，則必須先獲取對方 Actor 的 ActorRef 對象，然 後通過該對象發送消息即可。
7、通過 tell 發送非同步消息，不接收響應，通過 ask 發送非同步消息，得到 Future 返回，通過非同步回到 返回處理結果
Flink 中的 RPC 實現主要在 flink-runtime 模塊下的 org.apache.flink.runtime.rpc 包中，涉及
到的最重要的 API 主要是以下這四個：
1、RpcGateway 路由，RPC的老祖宗，各種其他RPC組件，都是 RpcGateWay 的子類
2、RpcServer RpcService 和 RpcEndpoint 之間的粘合層
3、RpcEndpoint 業務邏輯載體，對應的 Actor 的封裝
4、RpcService 對應 ActorSystem 的封裝
RpcEndpoint 下面有四個比較重要的子類：
1、TaskExecutor 2、Dispatcher 3、JobMaster 4、ResourceManager
創建成功了之後，都會要去執
行他的 onStart() ，在集群啟動的源碼分析中，其實這些組件的很多的工作流程，都被放在 onStart() 里
面。
flink-dist 子項目中，位於 flink-bin 下的 bin 目錄：啟動腳本為：start�cluster.sh
會首先調用 config.sh 來獲取 masters 和 workers，masters 的信息，是從 conf/masters 配置
文件中獲取的， workers 是從 conf/workers 配置文件中獲取的。然後分別：
1、通過 jobmanager.sh 來啟動 JobManager
2、通過 taskmanager.sh 來啟動 TaskManager
內部，都通過 flink-daemon.sh 腳本來啟動 JVM 進程，分析 flink-daemon.sh 腳本發培譽肢現：
1、JobManager 的啟動代號：standalonesession，實現類是：
2、TaskManager 的啟動代號：taskexecutor，實現類是：TaskManagerRunner
1、ResourceManager Flink的集群資源管理器，只有一個，關於slot的管理和申虛源請等工作，都由他負責 2、Dispatcher 負責接收用戶提交的 JobGragh, 然後啟動一個 JobManager， 類似於 YARN 集群中的 AppMaster 角色，類似於 Spark Job 中的 Driver 角色
3、JobManager 負責一個具體的 Job 的執行，在一個集群中，可能會有多個 JobManager 同時執行，類似於 YARN 集群中的 AppMaster 角色，類似於 Spark Job 中的 Driver 角色
4、WebMonitorEndpoint 裡面維護了很多很多的Handler，如果客戶端通過 flink run 的方式來提交一個 job 到 flink 集群，最終，是由 WebMonitorEndpoint 來接收，並且決定使用哪一個 Handler 來執行處理 submitJob ===> SubmitJobHandler
JobManager的啟動主類：
org.apache.flink.runtime.entrypoint.
-------------------源碼開始 1、 webMonitor 啟動 ---------------------
#main（）
▼
/** 注釋：創建
*/
entrypoint = new
(configuration);
clusterComponent = .create(
↓
***1重點方法 #create
▼
(163行) webMonitorEndpoint.start(); //
------------------- 2 、Resourcemanager啟動部分 2：14：00 ----------------
167行）resourceManager = resourceManagerFactory.createResourceManager
↓
ResourceManagerFactory#createResourceManager
↓
#createResourceManager
↓
ResourceManager#構造函數
當執行完畢這個構造方法的時候，會觸發調用 onStart() 方法執行
↓
FencedRpcEndpoint#構造函數
↓
RpcEndpoint#構造函數
▼
this.rpcServer = rpcService.startServer(this);
↓
AkkaRpcService#startServer
.......▲▲（回到ResourceManager類Onstart）
ResourceManager#Onstart() —— 2：24：00
——》ResourceManager#startResourceManagerServices
▼
// TODO_MA 注釋： 注意這個 this 對象
// TODO_MA 注釋： 執行選舉，成功之後，調用 leaderElectionService.isLeader()
// TODO_MA 注釋： this = ResourceManager
leaderElectionService.start(this);
↓
#start
▼
/*** 注釋： Fink 的 選舉，和 HBase 一樣都是通過 ZooKeeper 的 API 框架 Curator 實現的
* 1、leaderLatch.start(); 事實上就是舉行選舉
* 2、當選舉結束的時候：
* 如果成功了： isLeader()
* 如果失敗了： notLeader()
/
leaderLatch.addListener(this);
leaderLatch.start();
——》#isLeader()
▼
/ * 注釋： 分配 LeaderShip
* leaderContender = JobManagerRunnerImpl
* leaderContender = ResourceManager
* leaderContender = DefaultDispatcherRunner
* leaderContender = WebMonitorEndpoint
*
* leaderElectionService.start(this);
* leaderContender = this
/
leaderContender.grantLeadership(issuedLeaderSessionID);
↓
ResourceManager#grantLeadership
(ignored) -> tryAcceptLeadership
↓ 實現類為 ResourceManager
——》ResourceManager# tryAcceptLeadership
▼
/ 注釋： 啟動服務
* 1、啟動心跳服務 啟動兩個定時任務
* 2、啟動 SlotManager 服務 啟動兩個定時任務
/
startServicesOnLeadership();
▼
/
* 注釋： 開啟心跳服務
*/
startHeartbeatServices();
------------------- 3、 Dispatcher啟動部分 2：47 ：00 ----------------
回到 ： #create 方法
dispatcherRunner = dispatcherRunnerFactory .createDispatcherRunner(highAvailabilityServices.(), fatalErrorHandler,// TODO_MA 注釋： 注意第三個參數
new (highAvailabilityServices), ioExecutor, rpcService, partialDispatcherServices);
↓
#createDispatcherRunner
return DefaultDispatcherRunner.create
——》DefaultDispatcherRunner#create
return .createFor
——》#createFor
return new <>(dispatcherRunner, leaderElectionService);
——》構造函數
/*** * 又開啟了選舉 ，同上resourcemanager相同
* 這個選舉服務對象 leaderElectionService 內部的 leaderContender 是 ：
** DefaultDispatcherRunner
leaderElectionService.start(dispatcherRunner);
↓
——》同上節一樣啟動 #isLeader()
leaderContender.grantLeadership(issuedLeaderSessionID);
↓ 實現類為 DefaultDispatcherRunner
DefaultDispatcherRunner#grantLeadership
* 注釋： 開啟 Dispatcher 服務
runActionIfRunning(() -> (leaderSessionID));
——》DefaultDispatcherRunner#
thenRun(newDispatcherLeaderProcess::start))
↓
#start
——》#startInternal
onStart()
↓
#onStart()
▼
/* 注釋： 開啟服務: 啟動 JobGraghStore
* 一個用來存儲 JobGragh 的存儲組件
/
startServices();
// TODO_MA 注釋： 到現在為止，依然還沒有啟動 Dispatcher
.thenAccept(this::createDispatcherIfRunning)
——》#createDispatcherIfRunning
——》 #createDispatcher
final DispatcherGatewayService dispatcherService = .create(
↓
#create
▼
/ 注釋： 創建 Dispatcher
dispatcher = dispatcherFactory.createDispatcher(rpcService, fencingToken, bootstrap,
↓
SessionDispatcherFactory#createDispatcher
return new StandaloneDispatcher(rpcService, fencingToken, dispatcherBootstrap,
↓
StandaloneDispatcher構造函數
↓ StandaloneDispatcher為RPCendpoint類
Dispatcher 類 Onstart方法
▼
* 注釋： 啟動 Dispatcher 服務
*/
startDispatcherServices();
* 注釋： 引導程序初始化
* 把所有中斷的 job 恢復執行
*/
dispatcherBootstrap.initialize(this,
↓
DefaultDispatcherBootstrap#initialize
launchRecoveredJobGraphs(dispatcher, recoveredJobs);
↓
AbstractDispatcherBootstrap#launchRecoveredJobGraphs
* 注釋： 恢復執行 待恢復的 Job
*/
dispatcher.runRecoveredJob(recoveredJob);
▼
* 注釋： 調用 runJob 運行一個任務
FutureUtils.assertNoException(runJob(recoveredJob).handle
——》Dispatcher#runJob
......▲▲▲▲（回到）結束 3：17 ：00
㈨ j2ee伺服器有哪些
眾所周知，J2EE應用伺服器百花齊放，種類眾多。那麼J2EE應用伺服器有哪些?又有哪些功能呢?一起來螞橘渣看看吧!
伍襲從功能實現上劃分：
有實現完整J2EE規范(full profile)的Weblogic, WebSphere, GlassFish
有實現web應用規范(web profile)的 TomEE, JBoss/WildFly
有基本的Servlet及Jsp規范的Web容器(Web Container) Tomcat, Jetty, Resin
回顧過去的2015年，各應用伺服器市場佔有率各有千秋。
下圖為各個應用伺服器使用率餅圖
我們看到，在眾多J2EE應用伺服器中，Tomcat使用率達到58.66%，穩坐第一。
相較2014年，Tomcat使用率大幅增長，增長將近19%。
整體而言，Tomcat做為Servlet和Jsp規范的參考實現(Reference implementation ， 簡稱RI)，一般都會在第一時間實現規范的新特性並通過Oracle的CTS 測試認證。目前最新的Tomcat 9.0，雖還是alpha版，但已經實現了Servlet 4.0草案，感興趣的朋友，可以下載嘗鮮哦!
Tomcat是一個實現了JAVA EE標準的最小的WEB伺服器，是Apache 軟體基金會的Jakarta 項目中的一個核心項目，由Apache、Sun 和其他一些公司及個人共同開發而成。因為Tomcat 技術先進、性能穩定，而且開源免費，因而深受Java 愛好者的喜愛並得到了部分軟體開發商的認可，成為目前比較流行的Web 應用伺服器。學習JavaWeb開發一般都使用悶悄Tomcat伺服器，該伺服器支持全部JSP以及Servlet規范，啟動界面如圖：
Tomcat 是一款非常優秀的 Java Web 伺服器,以致於很多開源 Java 應用伺服器(如 JOnAS) 直接集成它作為 servlet 容器。
Tomcat的總體結構
Tomcat中主要涉及Server,Service,Engine,Connector,Host,Context組件，之前用過Tomcat的.童鞋是不是覺得這些組件的名稱有點似曾相識的趕腳，沒趕腳?!您再想想。好吧，不用你想了，我來告訴你吧。其實在Tomcat二進制分發包解壓後,在conf目錄中有一個server.xml文件，你打開它瞄兩眼看看，是不是發現server.xml文件中已經包含了上述的幾個名稱。
Tomcat 集群源碼的類圖
從圖中我們可以看出 Tomcat 集群包括以下幾個方面的內容:
Session: Session 分為 StandardSession 與ClusterSession 兩種,後者用於 Session 復制。
Session Manager: 有用於集群 Session 管理的ClusterSession,也有用於對 Session 進行一般日常管理的,如 PersistentManager,BackupManager,SimpleTcpReplicationManager。
組通迅框架:SessionManager調用組通訊框架進行 Session 的傳輸,Tomcat採用的組通
訊框架是 tribe,目前 tribe 已被獨立為開放的 apache 工程。
Cluster: 方便集群管理而派生出的邏輯概念,可將實際物理機劃分為一個 Cluster,也可 將一台物理機上不同埠的實例劃分為一個 Cluster,它有一個簡單的實現類 SimpleTcpCluster。
1.1 Session
伺服器集群通常操縱兩種session:
1. Stickysessions: 盡量讓同一個客戶請求由同一台伺服器來處理,這樣 sticky sessions 就是 存在於單機伺服器中接受客戶端請求的 session,它不需要進行 Session 復制,如果這個 單機失敗的話,用戶必須重新登錄網站。
2. Replicatedsessions: 在一台伺服器中的 session 狀態被復制到集群的其他伺服器上,無論 何時,只要 session 改變了,session 數據都要重新全部或部分(依據復制策略)被復制 到其他伺服器上。
Tomcat 支持以下三種 session 持久性類型:
1. 內存復制:在 JVM 內存中復制 session狀態,使用 Tomcat自帶的 SimpleTcpCluster 和SimpleTcpClusterManager類。
2. 資料庫持久性:在這種類型中,session 狀態保存在一個關系資料庫中,伺服器使用org.apache.catalina.session.JDBCManager類從資料庫中獲取 Session 信息。
3. 基於文件的持久性:這里使用類org.apache.catalina.session.FileManager 把session 狀態保存到一個文件系統。
Session Manager
Tomcat 通過 org.apache.catalina.Manager 來管理 Session,Manager 介面總是和 Context Container 相關聯。它主要負責 session 的建立、更新和銷毀。該介面中一些重要的方法有:
用戶在 Servlet 中通過 javax.servlet.http.HttpServletRequest 介面的 getSession 方法獲得 Session,而該介面的實現位於 org.apache.catalina.connector.Request 類中的 doGetSession 方 法中,在該方法中通過 org.apache.catalina.Manager 來獲得 Session , doGetSession 方法的 部分代碼如下:
組通訊框架--Tribe
組通訊框架 Tribe 在 Tomcat 中的位置可如下圖
如圖所示,Tribe 的核心主要是 Channel 類,由此看出,它採用 NIO 進行 Socket 通訊,運用
了組播,事件、心跳檢測等技術,下面我們來著重看看代碼中 Tomcat 是如何與 Tribe 衍接首先在 SimpleTcpReplication 類中的實現 Manager 介面的 start 方法中:
Cluster
Cluster 用於管理集群中的 Session 復制,它有一個簡單的實現類 SimpleTcpCluster。
㈩ 一文解密Kafka，Kafka源碼設計與實現原理剖析，真正的通俗易懂
Apache Kafka （簡稱Kafka ）最早是由Linkedln開源出來的分布式消息系統，現在是Apache旗下的一個子項目，並且已經成為開冊、領域應用最廣泛的消息系統之 Kafka社區也非常活躍，從 版本開始， Kafka 的標語已經從「一個高吞吐量、分布式的消息系統」改為「一個分布式的流平台」
關於Kafka，我打算從入門開始講起，一直到它的底層實現邏輯個原理以及源碼，建議大家花點耐心，從頭開始看，相信會對你有所收獲。
作為 個流式數據平台，最重要的是要具備下面 個特點
消息系統：
消息系統 也叫作消息隊列）主要有兩種消息模型：隊列和發布訂Kafka使用消費組（ consumer group ）統 上面兩種消息模型 Kafka使用隊列模型時，它可以將處理 作為平均分配給消費組中的消費者成員
下面我們會從 個角度分析Kafka 的幾個基本概念，並嘗試解決下面 個問題
消息由生產者發布到 fk 集群後，會被消費者消費 消息的消費模型有兩種：推送模型（ pu和拉取模型（ pull 基於推送模型的消息系統，由消息代理記錄消費者的消費狀態 消息代理在將消息推送到消費者後 標記這條消息為已消費
但這種方式無法很好地保證消息的處理語義 比如，消息代理把消息發送出去後，當消費進程掛掉或者由於網路原因沒有收到這條消息時，就有可能造成消息丟失（因為消息代理已經 這條消息標記為自己消費了，但實際上這條消息並沒有被實際處理） 如果要保證消息的處理語義，消息代理發送完消息後，要設置狀態為「已發送」，只有收到消費者的確認請求後才更新為「已消費」，這就需要在消息代理中記錄所有消息的消費狀態，這種做法也是不可取的
Kafka每個主題的多個分區日誌分布式地存儲在Kafka集群上，同時為了故障容錯，每個分區都會以副本的方式復制到多個消息代理節點上 其中一個節點會作為主副本（ Leader ），其 節點作為備份副本（ Follower ，也叫作從副本）
主副本會負責所有的客戶端讀寫操作，備份副本僅僅從主副本同步數據 當主副本 IH 現在故障時，備份副本中的 副本會被選擇為新的主副本 因為每個分區的副本中只有主副本接受讀寫，所以每個服務端都會作為某些分區的主副本，以及另外一些分區的備份副本這樣Kafka集群的所有服務端整體上對客戶端是負載均衡的
消息系統通常由生產者「pro ucer 消費者（ co sumer ）和消息代理（ broke 大部分組成，生產者會將消息寫入消息代理，消費者會從消息代理中讀取消息 對於消息代理而言，生產者和消費者都屬於客戶端：生產者和消費者會發送客戶端請求給服務端，服務端的處理分別是存儲消息和獲取消息，最後服務端返回響應結果給客戶端
新的生產者應用程序使用 af aP oce 對象代表 個生產者客戶端進程 生產者要發送消息，並不是直接發送給 務端 ，而是先在客戶端 消息放入隊列 然後 一個 息發送線程從隊列中消息，以 鹽的方式發送消息給服務端 Kafka的記 集器（ Reco dACCUl'lUlato ）負責緩存生產者客戶端產生的消息，發送線程（ Sende ）負責讀取 集器的批 過網路發送給服務端為了保證客戶端 絡請求 快速 應， Kafka 用選擇器（ Selecto 絡連接 讀寫 理，使網路連接（ Netwo kCl i.ent ）處理客戶端 絡請求
追加消息到記錄收集器時按照分區進行分組，並放到batches集合中，每個分區的隊列都保存了將發送到這個分區對應節點上的 記錄，客戶端的發送線程可 只使用 Sende 線程迭 batches的每個分區，獲取分區對應的主劇本節點，取出分區對應的 列中的批記錄就可以發送消息了
消息發送線程有兩種消息發送方式 按照分區直接發送 按照分區的目標節點發迭 假設有兩台伺服器， 題有 個分區，那麼每台伺服器就有 個分區 ，消息發送線程迭代batches的每個分 接往分區的主副本節點發送消息，總共會有 個請求 所示，我 先按照分區的主副本節點進行分組， 屬於同 個節點的所有分區放在一起，總共只有兩個請求做法可以大大減少網路的開銷
消息系統由生產者 存儲系統和消費者組成 章分析了生產者發送消息給服務端的過程，本章分析消費者從服務端存儲系統讀取生產者寫入消息的過程 首先我 來了解消費者的 些基礎知識
作為分布式的消息系統， Kafka支持多個生產者和多個消費者，生產者可以將消息發布到集群中不同節點的不同分區上；「肖費者也可以消費集群中多個節點的多個分區上的消息 寫消息時，多個生產者可以 到同 個分區 讀消息時，如果多個消費者同時讀取 個分區，為了保證將日誌文件的不同數據分配給不同的消費者，需要採用加鎖 同步等方式，在分區級別的日誌文件上做些控制
相反，如果約定「同 個分區只可被 個消費者處理」，就不需要加鎖同步了，從而可提升消費者的處理能力 而且這也並不違反消息的處理語義：原先需要多個消費者處理，現在交給一個消費者處理也是可以的 3- 給出了 種最簡單的消息系統部署模式，生產者的數據源多種多樣，它們都統寫人Kafka集群 處理消息時有多個消費者分擔任務 ，這些消費者的處理邏輯都相同， 每個消費者處理的分區都不會重復
因為分區要被重新分配，分區的所有者都會發生變 ，所以在還沒有重新分配分區之前 所有消費者都要停止已有的拉取錢程 同時，分區分配給消費者都會在ZK中記錄所有者信息，所以也要先刪ZK上的節點數據 只有和分區相關的 所有者 拉取線程都釋放了，才可以開始分配分區
如果說在重新分配分區前沒有釋放這些信息，再平衡後就可能造成同 個分區被多個消費者所有的情況 比如分區Pl 原先歸消費者 所有，如果沒有釋放拉取錢程和ZK節點，再平衡後分區Pl 被分配給消費者 了，這樣消費者 和消費者 就共享了分區Pl ，而這顯然不符合 fka 中關於「一個分區只能被分配給 個消費者」的限制條件 執行再平衡操作的步驟如下
如果是協調者節點發生故障，服務端會有自己的故障容錯機制，選出管理消費組所有消費者的新協調者節，點消費者客戶端沒有權利做這個工作，它能做的只是等待一段時間，查詢服務端是否已經選出了新的協調節點如果消費者查到現在已經有管理協調者的協調節點，就會連接這個新協調節，哉由於這個協調節點是服務端新選出來的，所以每個消費者都應該重新連接協調節點
消費者重新加入消費組，在分配到分區的前後，都會對消費者的拉取工作產生影響 消費者發送「加入組請求」之前要停止拉取消息，在收到「加入組響應」中的分區之後要重新開始拉取消息時，為了能夠讓客戶端應用程序感知消費者管理的分區發生變化，在加入組前後，客戶端還可以設置自定義的「消費者再平衡監聽器」，以便對分區的變化做出合適的處理