無序度編程

『壹』 極智編程 | 談談 C++ 中容器 map 和 unordered_map 的區別

C++中容器map和unordered_map的主要區別如下：

1. 引入標准：

   • map：是C++98標准就引入的容器。
   • unordered_map：是C++11標准後引入的容器，使用時需確保編譯器支持C++11或更高版本。

2. 存儲方式：

   • map：按照鍵的排序進行存儲，因此查詢結果是有序的。
   • unordered_map：不保證鍵的順序，存儲方式是散列表，因此查詢、插入、刪除操作通常較快，但查詢結果無序。

3. 性能：

   • map：由於需要維護鍵的排序，查找、插入、刪除操作的平均時間復雜度為O。
   • unordered_map：基於散列表實現，查找、插入、刪除操作的平均時間復雜度為O，但在最壞情況下可能退化為O。

4. 使用場景：

   • map：適用於需要保持鍵有序的場景，如需要按鍵的順序進行遍歷或查找。
   • unordered_map：適用於對查詢速度要求較高，但不關心鍵順序的場景。

綜上所述，C++中的map和unordered_map各有優缺點，選擇哪個容器取決於具體的應用場景和需求。

『貳』 資訊理論系列：1 - 信息熵和香農熵

信息熵和香農熵

一、信息熵

信息熵是衡量信息不確定性的一個概念，源自物理學中的熵，用於描述系統的無序程度。在資訊理論中，信息熵衡量的是信息內容的不確定性或隨機性。信息的熵越高，意味著它包含的信息量越大，消除不確定性的能力就越強。

• 定義：信息熵是一個數學定義，用來描述一個信息源可能產生的所有信息的平均不確定性。假設有一個隨機變數 X，它有多個可能的結果，每個結果發生的概率分別為 p(x)。信息熵 H(X) 定義為：H(X) = -Σ p(x) log p(x)。這里的 log 表示對數，通常使用二進制對數（底數為2），這樣熵的單位是比特（bit）。
• 意義：每個結果的熵值乘以其發生概率的和代表了這個信息源的平均不確定性。信息熵可以理解為信息的「驚喜度」。如果一個事件的結果非常出乎意料，它提供的信息就更多，相應的熵就更高。
• 應用：信息熵不僅在理論上重要，也是實際應用中數據編碼、存儲和傳輸優化的關鍵。了解和計算信息熵，可以幫助我們更有效地設計通信系統和數據存儲方案。

二、香農熵

香農熵是信息熵概念的一個特定應用，在信息度量和通信理論中至關重要。實際上，「信息熵」和「香農熵」是指同一個數學概念，只是叫法不同。

• 定義與公式：香農熵也通過公式 H(X) = -Σ p(x) log2 p(x) 來計算，這里的 H(X) 表示熵，p(x) 是某個事件發生的概率，而 log2 是以2為底的對數。
• 概念：香農熵用於描述和量化信息的不確定性，這種度量對於理解和優化信息處理、存儲和傳輸至關重要。
• 叫法的由來：

  香農熵：術語「香農熵」是為了紀念資訊理論之父克勞德·香農而命名的。香農在1948年的開創性論文中首次提出了這個概念，從而奠定了現代資訊理論的基礎。

  信息熵：而「信息熵」這個名字則更側重於概念本身，強調其作為信息理論中的一個基本量度。

• 實際應用：

  數據壓縮：香農熵幫助我們確定了理論上的最佳數據壓縮限度。通過減少信息的冗餘來降低信息的熵，從而實現更高效的數據存儲和傳輸。現代數據壓縮技術，如ZIP和JPEG格式，都是基於理解香農熵原理設計的。

  通信系統：在通信系統設計中，香農熵用於評估信息的傳輸效率。它可以幫助設計更有效的編碼方案，從而在有限的帶寬內傳輸盡可能多的信息。此外，香農熵還與信道容量的概念密切相關，後者指的是在特定的通信信道中，能夠可靠傳輸數據的最大速率。

  密碼學：在密碼學中，香農熵用於評估加密系統的強度。一個高熵的加密密鑰意味著攻擊者更難猜測，從而使加密系統更加安全。同時，香農熵還被用來評估密碼系統可能面臨的風險，幫助加密專家設計出更安全的加密協議。

  決策和機器學習：在決策樹演算法中，香農熵用於計算信息增益，幫助確定在哪個屬性上分割數據可以最大化信息的提取。在機器學習中，通過分析數據的熵，可以更好地理解和預測數據模式。

三、總結

信息熵和香農熵為我們理解信息的本質提供了數學工具，使我們能夠量化信息的不確定性和復雜性。在實際應用中，這些概念幫助我們優化數據處理流程，提高通信效率，增強密碼系統的安全性，以及在機器學習領域實現更有效的數據分析和決策。隨著技術的進步和新的應用需求的出現，信息熵和香農熵的理論將繼續在新的領域中發揮作用。

『叄』 怎樣理解混亂度為什麼熵可以表示混亂度

混亂度是指系統狀態的豐富度，反映了系統的無序程度；熵是混亂度的數學表示，可以量化系統的無序狀態。

關於混亂度的理解： 狀態數增多即混亂度升高：混亂度與系統可能的狀態數密切相關。當系統的狀態數越多，意味著系統的可能性越多，混亂度也就越高。 粒子自由穿梭體現混亂：在物理學中，可以想像無數粒子在空間中自由穿梭，這種狀態就代表了較高的混亂度。

熵作為混亂度的表示： 熵的數學表達：熵是一個數學量，通過特定的公式來計算，能夠量化系統的混亂度。 擲骰子示例：以擲骰子為例，每一個可能的結果都對應一個狀態，熵就是這些狀態的總和，揭示了系統的不確定性和無序性。 系統內部自然趨勢：在穩定系統中，如氣體分子的無序分布，熵的增加反映了系統內部傾向於無序化的自然趨勢。

熵與混亂度的關系： 熵增加與無序化：熵的增加通常意味著系統無序程度的增加，如兩個溫度相同的氣團合並，雖然粒子全同，但狀態數的增多導致熵增加，反映了系統內部的自然無序化趨勢。 信息熵的例外：雖然熵通常與混亂度同向，但信息熵是一個例外。信息熵是系統狀態概率的平均，當所有狀態概率相等時，熵最大，表現出最大的無序；相反，當概率高度集中時，熵則最小，系統呈現有序狀態。