信道編解碼香農極限

1. Turbo碼的研究現狀

對於Turbo碼的研究最初集中於對於其解碼演算法、性能界和獨特編碼結構的研究上，經過十多年來的發展歷程，已經取得了很大的成果，在各方面也都走向使用階段。Turbo碼由於很好地應用了香農信道編碼定理中的隨機性編譯碼條件而獲得了接近香農理論極限的解碼性能。它不僅在信噪比較低的高雜訊環境下性能優越，而且具有很強的抗衰落、抗干擾能力。目前，Turbo碼的研究主要集中在以下幾個方面： 主要包括交織器的設計、碼的級聯方式、解碼演算法、Turbo碼的性能分析等。在性能分析中，主要對碼重分布及距離譜進行分析，但由於沒有相應的理論支持，這種分析只能是近似的，且僅局限於短碼長、小碼重的情況。
Turbo 碼在直擴（CDMA) 系統中的研究及應用
Turbo 碼不僅在信道信噪比很低的高雜訊環境下性能優越，而且還具有很強的抗衰落、抗干擾能力，因此它在信道條件差的移動通信系統中有很大的應用潛力，在第三代移動通信系統(IMT-2000）中己經將Turbo碼作為其傳輸高速數據的信道編碼標准。第三代移動通信系統（IMT-2000）的特點是多媒體和智能化，要能提供多元傳輸速率、高性能、高質量的服務，為支持大數據量的多媒體業務，必須在布限帶寬信道上傳輸數據。由於無線信道傳輸媒質的不穩定性及雜訊的不確定性，一般的糾錯碼很難達到較高要求的解碼性能（一般要求比特誤碼率小於10-6e），而Turbo碼引起超乎尋常的優異解碼性能，可以糾正高速率數據傳輸時發生的誤碼。另外，由於在直擴（CDMA) 系統中採用Turbo 碼技術可以進一步提高系統的容量，所以有關Turbo碼在直擴（CDMA) 系統中的應用，也就受到了各國學者的重視。 包括Turbo 碼與調制技術（如網格編碼調制TCM）的結合、Turbo碼與均衡技術的結合（Turbo碼均衡）、Turbo碼編碼與信源編碼的結合、Turbo碼解碼與接收檢測的結合等等。Turbo碼與OFDM調制、差分檢測技術相結合，具有較高的頻率利用率，可有效地抑制短波信道中多徑時延、頻率選擇性衰落、人為干擾與雜訊帶來的不利影響。國內在Turbo碼的研究領域也取得了一定的成果和進展，西安電子科技大學綜合業務網國家重點試驗室在Turbo碼的理論和應用研究方面取得了很多研究成果。此外，清華大學、北京郵電大學和上海交通大學等高校都在進行Turbo碼相關的其它關鍵技術的研究方面取得一定的進展。深圳華為公司等在推動Turbo碼在移動通信系統中的應用方面起了積極的作用。

2. 計算機網路-物理層-信道極限容量

信道的極限容量是指信道的最高碼元傳輸速率或信道的極限信息傳輸速率。

雖然信號在信道上傳輸時會不可避免地產生失真，但在接收端只要我們從失真的波形中能夠識別出原來的信號，那麼這種失真對通信質量就沒有影響。例如，圖(a)表示信號通過實際的信道傳輸後雖然有失真，但在接收端還可識別並恢復出原來的碼元。但圖(b)就不同了，這時信的失真已很嚴重，在接收端無法識別碼元是1還是0。碼元傳輸的速率越高，或信號傳輸的距離越遠，或雜訊干擾越大，或傳輸媒體質量越差，在接收端的波形的失真就越嚴重。

從概念上講，限制碼元在信道上的傳輸速率的因素有以下兩個。

(1)信道能夠通過的頻率范圍

具體的信道所能通過的頻率范圍總是有限的。信號中的許多高頻分量往往不能通過信道。像上圖所示的發送信號是一種典型的矩形脈沖信號，它包含很豐富的高頻分量。如果信號中的高頻分量在傳輸時受到衰減，那麼在接收端收到的波形前沿和後沿就變得不那麼陡峭了，每一個碼元所佔的時間界限也不再是很明確的，而是前後都拖了「尾巴」。這樣， 在接收端收到的信號波形就失去了碼元之間的清晰界限。這種現象叫做碼間串擾。 嚴重的碼間串擾使得本來分得很清楚的一串碼元變得模糊而無法識別。早在1924年，奈奎斯特Nyquist)就推導出了著名的 奈氏准則 。他給出了在假定的理想條件下，為了避免碼間串擾，極限碼元傳輸速率為2W波特，其中W是理想低通信道的帶寬。

若用V表示每個碼元離散電平的數目，碼元的離散電平數目是指有多少種不同的碼元，比如有16種不同的碼元，則需要4個二進制位（二進制數字傳輸中一個碼元可攜帶一個bit），因此數據傳輸速率（數據傳輸速率為每秒鍾傳輸二進制碼元的個數，又稱為比特率。單位為比特/秒（bit/s））是碼元傳輸速率的4倍，則極限數據率為

理想低通信道下的極限數據傳輸速率=2W1og2V  (單位為b/s)

對於奈氏准則，可以得出以下結論：

1) 在任何信道中，碼元傳輸的速率是有上限的，傳輸速率超過此上限，就會出現嚴重的碼間串擾的問題，使接收端對碼元的判決（即識別）成為不可能。

2)信道的頻帶越寬（即通過的信號高頻分量越多），那麼就可以用更高的速率傳送碼元而不出現碼間串擾。

3)奈氏准則給出了碼元傳輸速率的限制，但並未對信息傳輸速率給出限制，即未對一個碼元可以對應多少個二進制位給出限制。

由於碼元傳輸速率受奈氏准則的制約，所以要提高數據傳輸速率，就必須設法使每個碼元攜帶更多比特的信息量，此時就需要 採用多元制 的調制方法。

(2)信噪比

雜訊存在於所有的電子設備和通信信道中。由於雜訊是隨機產生的，它的瞬時值有時會很大，因此雜訊會使接收端對碼元的判決產生錯誤(1誤判為0或0誤判為1)。但雜訊的影響是相對的。如果信號相對較強，那麼雜訊的影響就相對較小。因此，信噪比就很重要。所謂 信噪比就是信號的平均功率和雜訊的平均功率之比，常記為S/N,並用分貝(B)作為度量單位 。即：

            信噪比(dB)=10log10(S/W)(dB)  (2-1)

例如，當S/W=10時，信噪比為10dB,而當S/W-1000時，信噪比為30dB。

在1948年，資訊理論的創始人香農(Shannon)推導出了著名的香農公式。香農(Shannon)定理給出了帶寬受限且有高斯白雜訊干擾的信道的極限數據傳輸速率，當用此速率進行傳輸時，可以做到不產生誤差。香農公式指出：信道的極限信息傳輸速率C是

            C=W log2(1+S/N)(bit/s)   (2-2)

(2-2)式中，W為信道的帶寬（以Hz為單位）：S為信道內所傳信號的平均功率；N為信道內部的高斯雜訊功率。

對於香農定理，可以得出以下結論：

1)信道的帶寬或信道中的信噪比越大，信息的極限傳輸速率越高。

2)對一定的傳輸帶寬和一定的信噪比，信息傳輸速率的上限是確定的。

3)只要信息傳輸速率低於信道的極限傳輸速率，就能找到某種方法來實現無差錯的傳輸。

4)香農定理得出的是極限信息傳輸速率，實際信道能達到的傳輸速率要比它低不少。

奈氏准則只考慮了帶寬與極限碼元傳輸速率的關系，而香農定理不僅考慮到了帶寬，也考慮到了信噪比。這從另一個側面表明，一個碼元對應的二進制位數是有限的。

從以上所講的不難看出，對於須帶寬度已確定的信道，如果信噪比也不能再提高了，並且碼元傳輸速率也達到了上限值，那麼還有什麼辦法提高信息的傳輸速率呢？這就是 用編碼的方法讓每一個碼元攜帶更多比特的信息量 。我們可以用個簡單的例子來說明這個問題。假定我們的基帶信號是：

101011000110111010……

如果直接傳送，則每一個碼元所攜帶的信息量是1 bit。現將信號中的每3個比特編為一個組，即101,011,000,110,111,010，……。3個比特共有8種不同的排列。我們可以用不同的調制方法來表示這樣的信號。例如。用8種不同的振幅，或8種不同的頻率，或8種不同的相位進行調制。假定我們採用相位調制，用相位p0表示000，p1表示001,   p2表示010，……，  p7,表示111。這樣，原來的18個碼元的信號就轉換為由6個新的碼元（即由原來的每三個bit構成一個新的碼元)組成的信號：

101011000110111010……=p5p0p1……

也就是說，若以同樣的速率發送碼元，則同樣時間所傳送的信息量就提高到了3倍。自從香農公式發表後，各種新的信號處埋和調制方法不斷出現，其目的都是為了盡可能地接近香農公式給出的傳輸速率極限。在實際信道上能夠達到的信息傳輸速率要比香農的極限傳輸速率低不少。這是因為在實際信道中，信號還要受到其他一些損傷，如各種脈沖干擾和在傳輸中產生的失真，等等。這些因素在香農公式的推導過程中並未考慮。

3. 信道編碼技術及電子系統工程應用的探討論文

信道編碼技術及電子系統工程應用的探討論文

根據信道編碼理論及編碼、解碼方法和技術的發展，結合工程實際從理論到實踐進行了簡要的闡述。

隨著信息及信號傳輸技術的發展，應用電子領域也隨之擴大並得到發展。通過對信源編碼、信道編碼、編碼的方法，以及對壓縮後的信息進行糾錯編碼，以抗擊信道、網路及傳輸過程的誤碼或數據丟失，即信道編碼問題的系統認識與理解對實際工程應用具有重要的意義。從電子系統工程的應用角度，對相關知識的理解與應用體會更為深刻。在此，就實際應用中貫穿其中的相關知識及帶來的思考與啟發扼要介紹。

一、信道編碼理論及編、解碼問題

衡量任何一個信號通信系統性能優劣的基本因素是有效性和可靠性，有效性是信道傳輸信息的速度快慢，可靠性是信道傳輸信息的准確程度。在數字通信系統中，信源編碼是為了提高有效性，信道編碼是為了提高可靠性，而在一個通信系統中，有效性和可靠性是互相矛盾的，也是可以互換的。我們可以用降低有效性的辦法提高可靠性，也可以用用降低可靠性的辦法提高有效性。而糾錯編碼，即信道編碼問題是重點。

(一)編、解碼問題

信道編碼是以香農第二定理和香農第三定理為理論支持。在錯誤控制編碼方面，主要是糾錯線性分組碼與非分組的卷積碼。對於線性分組碼，採用增加冗餘碼作為監督碼，這樣編出的碼具有一定的檢錯和糾錯能力。在解碼方面，根據最大似然法解碼，判斷碼的漢明距離，找到漢明距離最小的碼，那就是在發送端傳輸過來的碼。編碼是一個比較抽象的概念，採用矩陣的描述方式表示編碼，將輸入的信息序列與生成矩陣相乘，那麼就可以得到編碼後的符號。在解碼方面，通過奇偶校驗矩陣就可以檢測解碼是否正確。

(二)關於卷積碼

卷積碼是編碼不一樣的領域，因為這種碼在判決時用到過去的信息，也就是說，它是需要記憶的。這也就是卷積碼得名的由來。卷積碼的編碼器由一個移位寄存器和相關邏輯電路組成，對每一個進入的信息幀，編碼器都產生一個碼字幀。當然，還可以畫編碼器的狀態圖，比較直觀表示編碼器根據輸入情況而變化。根據狀態圖可畫出網格圖;由網格圖很容易地知道卷積碼的距離，這是卷積碼解碼的一個依據。卷積碼用一個生成多項式矩陣表示，在編碼方面極為方便，編碼操作可以簡單地描述為信息量矩陣與生成矩陣的乘積。而更加嚴謹、方便地表達，則需要生成函數。通過修改狀態圖，很容易得到生成函數。對生成函數的級數展開，可以很直觀地得到漢明距離和輸入路徑的信息，最後還可以知道給定漢明距離全零路徑的數量。

(三)Turbo碼和LDPC碼

Turbo碼與LDPC碼是兩種性能接近香農極限的信道編碼。Turbo碼在低信噪比的情況下，性能比其他編碼要好。Turbo碼的優良性能在非實時數據通信方面被廣泛採用。Turbo碼是分組碼和卷積碼的「准」混合物。Turbo碼有並行級聯卷積碼、串列級聯卷積碼和混雜級聯卷積碼三種不同的排列。因為有交織器的存在，所以編碼器的糾錯能力很好。LDPC碼是一類可以用非常稀疏的校驗矩陣或二分圖定義的線性分組碼，其特點是：解碼演算法具有線性復雜度可採用並行迭代方式，具有解碼自校驗特性，在高信噪比條件下能有效降低解碼復雜度，提高誤比特率性能;可以滿足高性能信號通信要求。LDPC碼以最低的復雜度提供了最好的性能。這意味著在同等性能情況下， LDPC碼的復雜度只有Turbo碼的1/4。與Turbo碼相比，LDPC碼尤其是非規則LDPC碼具有非常出色的性能，優於迄今為止已知的其它編碼方式。LDPC碼與其它編碼相比還有一些獨特的優點：解碼可以完全並行，因此可以獲得更高的解碼速度;解碼器的復雜度大幅降低;解碼是可驗證的;非規則LDPC碼具有天然的不等錯誤保護能力。

二、從信道編碼定理看編、解碼方法的發展

(一)信道編、解碼方法的多樣性

信道編碼的'核心是「糾錯」;信道編、解碼的最終目的是實現信道與信號通信系統在可靠性指標下的優化。其方法是糾錯編碼，即抗干擾編碼。奇偶校驗碼是一種檢錯分組碼;由此原理派生出改進的：水平奇偶校驗碼、垂直奇偶校驗碼、群計數碼等。定比碼是一種只能發現錯誤的簡單檢錯碼，且需通過反向信道系統方能實現抗干擾。而重復碼是前向糾錯碼，也是一種最簡單的糾錯碼，實際應用較廣泛。而由漢明碼引出的線性分組碼是一種具有線性代數關系的編碼。在實際應用中，為得到希望的碼長和信息位長度，將信息位縮減而得到原碼的縮短碼。在漢明碼的基礎上增加一位監督元，則產生增余漢明碼或擴展漢明碼，使糾錯能力得到提高。而由完備碼產生的完備解碼、非完備解碼，則反映了分組碼的糾錯能力是全部用於糾錯，還是部分糾錯檢錯。循環碼是線性分組碼中重要的一類碼，從應用角度其編碼與解碼電路較為簡單，易於實現;且編、解碼方法方便、成熟。

(二)信道編、解碼方法的發展過程與啟示

不難看出，信道編碼的方法是豐富多彩的。也是漸進發展，逐步完善的過程。由此可見，理論指導是發展的方向。對信道編碼的理論支撐及方向的指引，使得信道編碼方法沿著豐富而日臻完善、接近而趨於極限的方向發展。從這一發展過程可以看出，任何一種新的或衍生的方法，都是有局限性的。但這種局限和不完善性，並不會阻礙新的方法的產生和發展。舊的矛盾解決的同時，新的矛盾又會出現。正如，糾錯檢錯能力的提高，對信息進行錯誤保護，以抵禦信道或網路等信息傳輸過程的干擾所產生的誤碼或數據丟失的同時，也將使編碼及信息傳輸效率降低。由於信道編碼增加了數據量，其結果只能是以降低傳送有用信息碼率為代價。因此，不同的編碼方式，其糾、檢錯的能力不同，編碼效率(信息傳輸效率)也有所不同。

三、從工程應用實例看理論支撐點

(一)智能住宅小區建設中信道編碼技術的應用

在工程中首次接觸的，應用於數字電視地面廣播(DTTB)的編碼調制方案中，涉及到：以多級分組乘積碼代替傳統的串列級聯編碼結構，提高了頻譜效率;同時採用一種多解析度星座圖，可在一個DTTB信道中提供3種級別的服務.在接收端採用基於MAX—LOG—MAP准則的迭代Turbo解碼演算法以獲得可靠接收。模擬結果表明，在視覺門限BER=3×10-6處，高優先順序碼流的比特信噪比約為7dB，適用於高可靠性的服務.中優先順序和低優先順序碼流可支持室外固定接收。由此，也加深了對並行級聯卷積碼的反饋迭代結構的理解。

(二)網路編碼與網路安全

在網路工程中，接觸到多址信道中聯合網路編碼和信道編碼的設計方案。該方案利用LDPC碼和網路編碼的線性特性以及軟輸入軟輸出模塊設計，不僅減少了編解碼的復雜度，而且提高了編解碼效率。同時，了解了網路——信道編碼分離定理，以及該定理成立的條件，即當網路中的信道是確定型廣播信道時，分離定理不成立。而信道安全編碼與網路安全編碼同樣重要，又有所區別。信道編碼問題，其核心是對傳送的信息進行錯誤保護，以抗擊信道或網路等信息傳輸媒介所帶來的誤碼或數據丟失。而網路中的通信安全是網路編碼研究的重要課題之一，網路安全編碼更側重於網路使用者信息及使用的安全層面。網路編碼技術的發展可以大幅度提高網路的吞吐量。

四、結束語

專業技術的專長與拓展並存，這是專業技術發展的必然趨勢。身處信息時代，信息科學是研究信息的獲取、傳輸以及應用的科學，是信息資源與技術開發及其推廣應用的理論基礎，是信息技術及信息產業的核心。通信工程、電子信息工程、計算機科學、計算機應用等眾多應用技術與信息科學、信息技術及信息產業息息相關。信道編碼從理論上要解決理想編碼器、解碼器的存在性問題，即解決信道能傳送的最大信息率的可能性和超過這個最大值時的傳輸問題;同時構造性的編碼方法以及這些方法能達到的性能界限。筒言之，通過信道編碼器和解碼器來實現的用於提高信道可靠性的理論和方法。

4. 關於香農公式帶寬和信噪比

近幾年來，5G 成為了一個備受歡迎的話題，它是屬於這個時代的優秀作品。眾所周知，通信技術在不斷改良和升級，終將迎來 5G！

第五代移動通信是當前最新一代移動通信技術，5G 的性能目標是提高數據速率、減少延遲、節省能源、降低成本、提高系統容量和大規模設備連接。

通信技術在實際運用中，基於一個定理，它就是香農定理（英語：Shannon's Theorem，也稱有噪信道編碼定理）。那麼什麼是香農定理呢？它又在資訊理論中充當怎樣的角色呢？

克勞德·艾爾伍德·香農

香農定理（Shannon's Theorem）

在資訊理論中，香農定理（即雜訊信道編碼定理或香農極限）確定，對於通信信道的任何給定程度的雜訊污染，都可以通信幾乎無差錯的離散數據（即數字信息），直到通過通道可計算的最大速率。這個結果由克勞德·香農（Cla+ude Shannon）在 1948 年提出，部分理論基礎是基於哈里·奈奎斯特（Harry Nyquist）和拉爾夫·哈特利（Ralph Hartley）的早期工作和思想。

用通俗的話來說就是：在資訊理論里，香農定理指出，盡管雜訊會干擾通信信道，但還是有可能在信息傳輸速率小於信道容量的前提下，以任意低的錯誤概率傳送數據信息。這個令人驚訝的結果，有時候被稱為信息原理基本定理，是由克勞德·艾爾伍德·香農於 1948 年首次提出。

信道容量（Channel capacity）

通信信道的信道容量（又稱香農極限或香農容量）是指對於特定的雜訊水平，如果鏈路遭受隨機數據傳輸錯誤，則理論上可以在該信道上傳輸的無差錯數據的最大速率。它最早由 Shannon（1948）進行描述，不久之後又在 Shannon 和 Warren Weaver 的書《傳播的數學理論》（1949）中發表。這創立了現代資訊理論學科。

簡而言之，通信信道的信道容量（又稱香農極限）是指在指定的噪音標准下，信道理論上的最大傳輸率。

圖 1 信道容量

香農公式（Shannon formula）

信道是傳輸信息的通道，信道容量描述了信道無差錯地傳輸信息的最大能力，可以用來衡量信道的好壞。1948 年，香農在他的著名論文《通信的數學原理》中給出了信道容量的定義和計算，即信道容量是信道輸入信號與輸出信號互信息量的上界。信道容量的計算遵循香農公式，即：C=Blog2(1+S/N)，也表示為該通道每秒最多可以傳送多少比特的信息量。其中，B 是信道的帶寬，S 是傳送信號的平均功率，N 則是雜訊或者干擾信號的平均功率。

例如，對於信噪比為 S/N、帶寬為 B 的加性高斯白雜訊信道，其信道容量為 C=Blog2（1+S/N）。

需要知道，C=Blog2（1+S/N）為信道傳輸信息的頻譜效率，即單位時間、單位帶寬上能夠傳輸的信息量，單位為 bit∙Hz-1∙s-1。增大信噪比可以提高信道的容量，這可以通過抑制雜訊或者增加發射功率實現。假若信噪比無窮大，則信道容量也趨於無窮。不過由於信道中總存在雜訊，而且發射機的功率不可能沒有限制，因此這種情況不會出現。增加信道帶寬也可以增加信道容量，但是這種增加不是無限制的。設信道的雜訊功率譜密度為 N0，則隨著信道帶寬 B 的增加，雜訊功率 N=BN0 也隨之增加。記信號功率最大為 Es，則帶寬無窮大時，信道容量的極限為：

圖 2 信道容量無窮大的計算公式

可見，單方面增加帶寬並不是提高信道容量的好方法。

信道容量是理論上信道傳輸信息能力的極限，在目前的各種通信技術中，實際能夠達到的信道吞吐量遠小於這一極限。

通過上述例子，便可以知道要想獲得更快的網速，就得提高信道帶寬和信噪比；前者指的是能夠有效通過信道的信號的最大頻帶寬度，後者是信號功率和雜訊功率的比值。有了這個限制，想要提高網速，就需要提高信道帶寬，或者提高信噪比，或者同時提高這兩個因素的值。

學習小技巧

我們可以簡單地把信息通道比作城市道路，這條道路上單位時間內的車流量受到道路寬度和車輛速度等因素的制約，在這些制約條件下，單位時間內最大車流量就被稱為極限值。

下篇預告：千兆與萬兆存在怎樣的區別？為何有千兆萬兆之分？

5G 時代的來臨，千兆與萬已兆熱火朝天，那麼當下的弱電布線該如何進行選擇呢？敬請期待 「深鯊萬事通」 為大家解答。

參考文獻

• Saleem Bhatti。通道容量。碩士課程講義 數據通信網路和分布式系統 D51-基本通信和網路。 [ 2007-11-10 ]。（原始內容存檔於 2007-08-21）。

• Jim Lesurf. Signals look like noise!. Information and Measurement, 2nd ed. [2007-11-10].（原始內容存檔於 2016-12-28）。

• 托馬斯 M· 蓋，喬伊·托馬斯。資訊理論的要素。紐約 John Wiley＆Sons。2006 年。

• 網路新知 | 香農公式與 5G。（原始內容存檔於中央紀委國家監委網站，2016-12-28）。

5. 計算機網路中的香農公式是什麼

C=B*log2(1+S/N) （ log2表示以2為底的對數）(bit/s)

該式通常稱為香農公式。B是信道帶寬（赫），S是信號功率（瓦），N是雜訊功率（瓦）。

香農定理指出，如果信息源的信息速率R小於或者等於信道容量C，那麼，在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。該定理還指出：如果R>C，則沒有任何辦法傳遞這樣的信息，或者說傳遞這樣的二進制信息的差錯率為1/2。

(5)信道編解碼香農極限擴展閱讀

調制方式

直接序列擴頻（DSSS)

如果在數據上直接注入擴頻碼，則可得到直序擴頻（DSSS），在實際應用中，擴頻碼與通信信號相乘，產生完全被偽隨機碼「打亂」了的數據。在這種技術中，偽隨機碼直接加入載波調制器的數據上。調制器具有更大的比特率。用這樣一個碼序列調制射頻載波的結果是產生一個中心在載波頻率、頻譜為（（sinx)/x)2的直序調制擴展頻譜。

跳頻擴頻技術（FHSS)

如果擴頻碼作用在載波頻率上，我們就得到跳頻擴頻（FHSS）。FHSS偽隨機碼使載波按照偽隨機序列改變或跳變。顧名思義，FHSS中載波在一個很寬的頻帶上按照偽隨機碼的定義從一個頻率跳變到另一個頻率。

時跳變擴頻技術（THSS)

如果用擴頻碼控制發射信號的開或關，則可得到時間跳變的擴頻技術（THSS）。時跳變擴頻技術利用偽隨機序列控制功放的通/斷，該項技術目前應用不多。

6. 香農極限速度是多少

60(60Kbit/s).
C=Bw*log2(1+S/N)=6000*log2(1001)=60000bit/s=60Kbit/s

7. 香農第一定理是什麼

香農第一定理是可變長無失真信源編碼定理。

設離散無記憶信源X包含N個符號{x1,x2,…,xi,..,xN}，信源發出K重符號序列，則此信源可發出N^k個不同的符號序列消息，其中第j個符號序列消息的出現概率為PKj，其信源編碼後所得的二進制代碼組長度為Bj，代碼組的平均長度B為

B=PK1B1+PK2B2+…+PKN^kBN^k

當K趨於無限大時，B和信息量H(X)之間的關系為B/k=H(X)(K趨近無窮）

香農第一定理又稱為無失真信源編碼定理或變長碼信源編碼定理。

香農第一定理的意義：將原始信源符號轉化為新的碼符號，使碼符號盡量服從等概分布，從而每個碼符號所攜帶的信息量達到最大，進而可以用盡量少的碼符號傳輸信源信息。

(7)信道編解碼香農極限擴展閱讀：

香農第二定理（有噪信道編碼定理）

有噪信道編碼定理。當信道的信息傳輸率不超過信道容量時，採用合適的信道編碼方法可以實現任意高的傳輸可靠性，但若信息傳輸率超過了信道容量，就不可能實現可靠的傳輸。

設某信道有r個輸入符號，s個輸出符號，信道容量為C，當信道的信息傳輸率R<C，碼長N足夠長時，總可以在輸入的集合中(含有r^N個長度為N的碼符號序列)，找到M （(M<=2^(N(C-a)))，a為任意小的正數)個碼字，分別代表M個等可能性的消息，組成一個碼以及相應的解碼規則,使信道輸出端的最小平均錯誤解碼概率Pmin達到任意小。

香農第三定理（保失真度准則下的有失真信源編碼定理）

保真度准則下的信源編碼定理，或稱有損信源編碼定理。只要碼長足夠長，總可以找到一種信源編碼，使編碼後的信息傳輸率略大於率失真函數，而碼的平均失真度不大於給定的允許失真度，即D'<=D.

設R(D)為一離散無記憶信源的信息率失真函數，並且選定有限的失真函數，對於任意允許平均失真度D>=0，和任意小的a>0，以及任意足夠長的碼長N，則一定存在一種信源編碼W，其碼字個數為M<=EXP{N[R(D)+a]}，而編碼後碼的平均失真度D'(W)<=D+a。

8. 信道編碼都有哪些

1、信道編碼的種類主要包括：線性分組碼、卷積碼、級聯碼、Turbo碼和LDPC碼。

2、其中分組碼又分為：漢明碼，格雷碼，循環碼（BCH碼，RS碼，CRC循環冗餘校驗碼。

信道編碼，也叫差錯控制編碼，是所有現代通信系統的基石。

幾十年來，信道編碼技術不斷逼近香農極限，波瀾壯闊般推動著人類通信邁過一個又一個頂峰，信道編碼在發送端對原數據添加冗餘信息，這些冗餘信息是和原數據相關的，再在接收端根據這種相關性來檢測和糾正傳輸過程產生的差錯，這些加入的冗餘信息就是糾錯碼，用它來對抗傳輸過程的干擾。

(8)信道編解碼香農極限擴展閱讀：

作用

數字信號在傳輸中往往由於各種原因，使得在傳送的數據流中產生誤碼，從而使接收端產生圖象跳躍、不連續、出現馬賽克等現象。

所以通過信道編碼這一環節，對數碼流進行相應的處理，使系統具有一定的糾錯能力和抗干擾能力，可極大地避免碼流傳送中誤碼的發生。

誤碼的處理技術有糾錯、交織、線性內插等。

9. 信道的極限容量是多少

信道的極限容量
2.2.1 有關信道的幾個基本概念
要進行計算機之間的通信當然要有傳輸電磁波信號的電路。這里所說的電路也包括無線電路。但在許多情況下，我們還經常使用「信道」這一名詞。信道和電路並不等同。信道一般都是用來表示向某一個方向傳送信息的媒體。因此，一條通信電路至少包含一條發送信道和（或）一條接收信道。一個信道可以看成是一條電路的邏輯部件。
從通信的雙方信息交互的方式來看，可以有以下三個基本方式：
單向通信 又稱為單工通信，即只能有一個方向的通信而沒有反方向的交互。無線電廣播或有線電廣播以及電視廣播就屬於這種類型。
雙向交替通信 又稱為半雙工通信，即通信的雙方都可以發送信息，但不能雙方同時發送（當然也就不能同時接收）。這種通信方式是一方發送另一方接收，過一段時間後再反過來。
雙向同時通信 又稱為全雙工通信，即通信的雙方可以同時發送和接收信息。
單向通信只需要一條信道，而雙向交替通信或雙向同時通信則都需要兩條信道（每個方向各一條）。顯然，雙向同時通信的傳輸效率最高。不過應當指出，雖然電信局為打電話的用戶提供了雙向同時通信的信道，但有效的電話交談一般都還是雙方交替通信。當雙方發生爭吵時往往就是採用雙向同時通信的方式。
這里要提醒讀者注意，有時人們也常用「單工」這個名詞表示「雙向交替通信」。如常說的「單工電台」並不是只能進行單向通信。正因為如此，ITU-T才不採用「單工」、「半雙工」和「全雙工」這些容易混淆的術語作為正式的名詞。
從通信的發送端所產生的信號形式來看，則信號可以分為以下的兩大類：
模擬信號 即連續的信號，如話音信號和目前的廣播電視信號。
數字信號 即離散的信號，如計算機通信所用的二進制代碼「l」和「0」組成的信號。
和信號的這種分類相似，信道也可以分成傳送模擬信號的模擬信道和傳送數字信號的數字信道兩大類。但是應注意，數字信號在經過數模變換後就可以在模擬信道上傳送，而模擬信號在經過模數變換後也可以在數字信道上傳送。
信道上傳送的信號還有基帶（baseband）信號和寬頻（broadband）信號之分。簡單說來，所謂基帶信號就是將數字信號1或0直接用兩種不同的電壓來表示，然後送到線路上去傳輸。而寬頻信號則是將基帶信號進行調制後形成的頻分復用模擬信號。基帶信號進行調制後，其頻譜搬移到較高的頻率處。由於每一路基帶信號的頻譜被搬移到不同的頻段，因此合在一起後並不會互相干擾。這樣做就可以在一條電路中同時傳送許多路的數字信號，因而提高了線路的利用率。
在通信網的發展初期，所有的通信信道都是模擬信道。但由於數字技術發展很快，數字信道可提供更高的通信服務質量，因此過去建造的模擬信道正在被新的數字信道所代替。現在的計算機通信所使用的通信信道，在主幹線路上已基本是數字信道，但目前使用的大量的用戶線則基本上還是傳統的模擬信道。模擬信道與數字信道並存的局面也使得物理層的內容比較復雜。
有了上述的有關信道的基本概念之後，我們再討論信道的極限容量。這就是信道上的最高碼元傳輸速率和信道上的最高信息傳輸速率。
2.2.2 信道上的最高碼元傳輸速率
任何實際的信道都不是理想的。這是因為，信道的帶寬有限（即所能通過的信號的頻帶寬度是受限的），在傳輸信號時會產生各種失真；多種干擾也會以不同的方式進入信道。這就使得信道上的碼元傳輸速率有一個上限。早在1924年，奈奎斯特（Naquist）就推導出在具有理想低通矩形特性的信道的情況下的最高碼元傳輸速率的公式。這就是奈氏准則：
理想低通信道的最高碼元傳輸速率 = 2 W Baud （2-l）
這里W是理想低通信道的帶寬，單位為赫；
Baud是波特，是碼元傳輸速率的單位，1 波特為每秒傳送1個碼元。
（2-1）式就是著名的奈氏准則。奈氏准則的另一種表達方法是：每赫帶寬的理想低通信道的最高碼元傳輸速率是每秒2個碼元。如果碼元的傳輸速率超過了奈氏准則所給出的數值，那麼就會出現碼元之間的相互干擾，以致在接收端無法正確判定在發送方所發送的碼元是 1還是0。
這里我們要強調以下兩點：
上面所說的具有理想低通特性的信道是理想化的信道，它和實際上所使用的信道當然有相當大的差別。所以一個實際的信道所能傳輸的最高碼元速率，要明顯地低於奈氏准則給出的這個上限數值。
波特和比特是兩個不同的概念。
波特是碼元傳輸的速率單位，它說明每秒傳多少個碼元。碼元傳輸速率也稱為調制速率、波形速率或符號速率。
比特是信息量的單位，與碼元的傳輸速率「波特」是兩個完全不同的概念。
但是，信息的傳輸速率「比特／秒」與碼元的傳輸速率『波特」在數量上卻有一定的關系。若1個碼元只攜帶 1 bit 的信息量，則「比特／秒」和「波特」在數值上是相等的。但若使1個碼元攜帶 n bit 的信息量，則 M Baud 的碼元傳輸速率所對應的信息傳輸速率為 M × n b/s。例如，有一個帶寬為 3 kHz 的理想低通信道，其最高碼元傳輸速率為 M Baud。若 1 個碼元能攜帶 3 bit 的信息量，則最高信息傳輸速率為 18000 b/s。
對於具有理想帶通矩形特性的信道（帶寬為W），奈氏准則就變為：
理想帶通信道的最高碼元傳輸速率 = W Baud （2-2）
即每赫帶寬的帶通信道的最高碼元傳輸速率為每秒 1 個碼元。
2.2.3 信道的極限信息傳輸速率
1948年，香農（Shannon）用資訊理論的理論推導出了帶寬受限且有高斯白雜訊干擾的信道的極限信息傳輸速率。當用此速率進行傳輸時，可以做到不產生差錯。如用公式表示，則信道的極限信息傳輸速率 C 可表達為
C＝ W log 2（1 + S / N） b/s （2-3）
其中 W 為信道的帶寬（以Hz為單位）；
S 為信道內所傳信號的平均功率；
N 為信道內部的高斯雜訊功率。
公式（2-3）就是著名的香農公式。香農公式表明，信道的帶寬越大或信道中的信噪比越大，則信息的極限傳輸速率就越高。但更重要的是，香農公式指出了：只要信息傳輸速率低於信道的極限信息傳輸速率，就一定可以找到某種辦法來實現無差錯的傳輸。不過，香農沒有告訴我們具體的實現方法。這要由研究通信的專家去尋找。
從香農公式可看出，若信道帶寬 W 或信噪比 S/N 沒有上限（實際的信道當然不可能是這樣的），那麼信道的極限信息傳輸速率 C 也就沒有上限。
自從香農公式發表後，各種新的信號處理和調制的方法不斷出現，其目的都是為了盡可能地接近香農公式所給出的傳輸速率極限。在實際信道上能夠達到的信息傳輸速率要比香農的極限傳輸速率低不少。這是因為在實際的信道中，信號還要受到其他的一些損傷，如各種脈沖干擾和在傳輸中產生的失真等等。這些因素在香農公式的推導過程中並未考慮。
由於碼元的傳輸速率受奈氏准則的制約，所以要提高信息的傳輸速率，就必須設法使每一個碼元能攜帶更多個比特的信息量。這就需要採用多元制（又稱為多進制）的調制方法。例如，當採用16元制時，一個碼元可攜帶 4 個比特的信息。一個標准電話話路的頻帶為 300－3400 Hz，即帶寬為 3100 Hz。在這頻帶中接近於理想信道的也就是靠中間的一段，其帶寬約為 2400 Hz 左右。如使碼元的傳輸速率為 2400 Baud（這相當於每赫帶寬的碼元傳輸速率為 1 Baud），則信息的傳輸速率即可達到 9600 b/s。實際上，要達到這樣的信息傳輸速率必須使信噪比具有較高的數值。讀者從（2-3）式可以很容易地計算出所需信噪比的最低值。但應注意，對於實際的信道所需的信噪比要比這個最低值還要高不少。
對於 3.1 kHz 帶寬的標准電話信道，如果信噪比 S/N＝2500，那麼由香農公式可以知道，無論採用何種先進的編碼技術，信息的傳輸速率一定不可能超過由（2-3）式算出的極限數值，即 35 kb/s 左右。目前的編碼技術水平與此極限數值相比，差距已經很小了。

10. 關於香農公式帶寬和信噪比

香農定理指出，如果信息源的信息速率R小於或者等於信道容量C，那麼，在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。
該定理還指出：如果R>C，則沒有任何辦法傳遞這樣的信息，或者說傳遞這樣的二進制信息的差錯率為1/2。
可以嚴格地證明；在被高斯白雜訊干擾的信道中，傳送的最大信息速率C由下述公式確定：
該式通常稱為香農公式。C是數據速率的極限值，單位bit/s；W為信道帶寬，單位Hz；S是信號功率（瓦），N是雜訊功率（瓦）。
香農公式中的S/N是為信號與雜訊的功率之比，為無量綱單位。如：S/N=1000（即，信號功率是雜訊功率的1000倍）
但是，當討論信噪比時，常以分貝（dB）為單位。公式如下：
換算一下：
公式表明，信道帶寬限制了比特率的增加，信道容量還取決於系統信噪比以及編碼技術種類。香農公式，通信工程學術語，是香農（Shannon）提出並嚴格證明的「在被高斯白雜訊干擾的信道中，計算最大信息傳送速率C公式」：C=B log2(1+S/N)。式中：B是信道帶寬（赫茲），S是信道內所傳信號的平均功率（瓦），N是信道內部的高斯雜訊功率（瓦）。
顯然，信道容量與信道帶寬成正比，同時還取決於系統信噪比以及編碼技術種類。香農定理指出，如果信息源的信息速率R小於或者等於信道容量C，那麼，在理論上存在一種方法可使信息源的輸出能夠以任意小的差錯概率通過信道傳輸。該定理還指出：如果R>C，則沒有任何辦法傳遞這樣的信息，或者說傳遞這樣的二進制信息的差錯率為1/2。