信道编译码香农极限

1. Turbo码的研究现状

对于Turbo码的研究最初集中于对于其译码算法、性能界和独特编码结构的研究上，经过十多年来的发展历程，已经取得了很大的成果，在各方面也都走向使用阶段。Turbo码由于很好地应用了香农信道编码定理中的随机性编译码条件而获得了接近香农理论极限的译码性能。它不仅在信噪比较低的高噪声环境下性能优越，而且具有很强的抗衰落、抗干扰能力。目前，Turbo码的研究主要集中在以下几个方面： 主要包括交织器的设计、码的级联方式、译码算法、Turbo码的性能分析等。在性能分析中，主要对码重分布及距离谱进行分析，但由于没有相应的理论支持，这种分析只能是近似的，且仅局限于短码长、小码重的情况。
Turbo 码在直扩（CDMA) 系统中的研究及应用
Turbo 码不仅在信道信噪比很低的高噪声环境下性能优越，而且还具有很强的抗衰落、抗干扰能力，因此它在信道条件差的移动通信系统中有很大的应用潜力，在第三代移动通信系统(IMT-2000）中己经将Turbo码作为其传输高速数据的信道编码标准。第三代移动通信系统（IMT-2000）的特点是多媒体和智能化，要能提供多元传输速率、高性能、高质量的服务，为支持大数据量的多媒体业务，必须在布限带宽信道上传输数据。由于无线信道传输媒质的不稳定性及噪声的不确定性，一般的纠错码很难达到较高要求的译码性能（一般要求比特误码率小于10-6e），而Turbo码引起超乎寻常的优异译码性能，可以纠正高速率数据传输时发生的误码。另外，由于在直扩（CDMA) 系统中采用Turbo 码技术可以进一步提高系统的容量，所以有关Turbo码在直扩（CDMA) 系统中的应用，也就受到了各国学者的重视。 包括Turbo 码与调制技术（如网格编码调制TCM）的结合、Turbo码与均衡技术的结合（Turbo码均衡）、Turbo码编码与信源编码的结合、Turbo码译码与接收检测的结合等等。Turbo码与OFDM调制、差分检测技术相结合，具有较高的频率利用率，可有效地抑制短波信道中多径时延、频率选择性衰落、人为干扰与噪声带来的不利影响。国内在Turbo码的研究领域也取得了一定的成果和进展，西安电子科技大学综合业务网国家重点试验室在Turbo码的理论和应用研究方面取得了很多研究成果。此外，清华大学、北京邮电大学和上海交通大学等高校都在进行Turbo码相关的其它关键技术的研究方面取得一定的进展。深圳华为公司等在推动Turbo码在移动通信系统中的应用方面起了积极的作用。

2. 计算机网络-物理层-信道极限容量

信道的极限容量是指信道的最高码元传输速率或信道的极限信息传输速率。

虽然信号在信道上传输时会不可避免地产生失真，但在接收端只要我们从失真的波形中能够识别出原来的信号，那么这种失真对通信质量就没有影响。例如，图(a)表示信号通过实际的信道传输后虽然有失真，但在接收端还可识别并恢复出原来的码元。但图(b)就不同了，这时信的失真已很严重，在接收端无法识别码元是1还是0。码元传输的速率越高，或信号传输的距离越远，或噪声干扰越大，或传输媒体质量越差，在接收端的波形的失真就越严重。

从概念上讲，限制码元在信道上的传输速率的因素有以下两个。

(1)信道能够通过的频率范围

具体的信道所能通过的频率范围总是有限的。信号中的许多高频分量往往不能通过信道。像上图所示的发送信号是一种典型的矩形脉冲信号，它包含很丰富的高频分量。如果信号中的高频分量在传输时受到衰减，那么在接收端收到的波形前沿和后沿就变得不那么陡峭了，每一个码元所占的时间界限也不再是很明确的，而是前后都拖了“尾巴”。这样， 在接收端收到的信号波形就失去了码元之间的清晰界限。这种现象叫做码间串扰。 严重的码间串扰使得本来分得很清楚的一串码元变得模糊而无法识别。早在1924年，奈奎斯特Nyquist)就推导出了着名的 奈氏准则 。他给出了在假定的理想条件下，为了避免码间串扰，极限码元传输速率为2W波特，其中W是理想低通信道的带宽。

若用V表示每个码元离散电平的数目，码元的离散电平数目是指有多少种不同的码元，比如有16种不同的码元，则需要4个二进制位（二进制数字传输中一个码元可携带一个bit），因此数据传输速率（数据传输速率为每秒钟传输二进制码元的个数，又称为比特率。单位为比特/秒（bit/s））是码元传输速率的4倍，则极限数据率为

理想低通信道下的极限数据传输速率=2W1og2V  (单位为b/s)

对于奈氏准则，可以得出以下结论：

1) 在任何信道中，码元传输的速率是有上限的，传输速率超过此上限，就会出现严重的码间串扰的问题，使接收端对码元的判决（即识别）成为不可能。

2)信道的频带越宽（即通过的信号高频分量越多），那么就可以用更高的速率传送码元而不出现码间串扰。

3)奈氏准则给出了码元传输速率的限制，但并未对信息传输速率给出限制，即未对一个码元可以对应多少个二进制位给出限制。

由于码元传输速率受奈氏准则的制约，所以要提高数据传输速率，就必须设法使每个码元携带更多比特的信息量，此时就需要 采用多元制 的调制方法。

(2)信噪比

噪声存在于所有的电子设备和通信信道中。由于噪声是随机产生的，它的瞬时值有时会很大，因此噪声会使接收端对码元的判决产生错误(1误判为0或0误判为1)。但噪声的影响是相对的。如果信号相对较强，那么噪声的影响就相对较小。因此，信噪比就很重要。所谓 信噪比就是信号的平均功率和噪声的平均功率之比，常记为S/N,并用分贝(B)作为度量单位 。即：

            信噪比(dB)=10log10(S/W)(dB)  (2-1)

例如，当S/W=10时，信噪比为10dB,而当S/W-1000时，信噪比为30dB。

在1948年，信息论的创始人香农(Shannon)推导出了着名的香农公式。香农(Shannon)定理给出了带宽受限且有高斯白噪声干扰的信道的极限数据传输速率，当用此速率进行传输时，可以做到不产生误差。香农公式指出：信道的极限信息传输速率C是

            C=W log2(1+S/N)(bit/s)   (2-2)

(2-2)式中，W为信道的带宽（以Hz为单位）：S为信道内所传信号的平均功率；N为信道内部的高斯噪声功率。

对于香农定理，可以得出以下结论：

1)信道的带宽或信道中的信噪比越大，信息的极限传输速率越高。

2)对一定的传输带宽和一定的信噪比，信息传输速率的上限是确定的。

3)只要信息传输速率低于信道的极限传输速率，就能找到某种方法来实现无差错的传输。

4)香农定理得出的是极限信息传输速率，实际信道能达到的传输速率要比它低不少。

奈氏准则只考虑了带宽与极限码元传输速率的关系，而香农定理不仅考虑到了带宽，也考虑到了信噪比。这从另一个侧面表明，一个码元对应的二进制位数是有限的。

从以上所讲的不难看出，对于须带宽度已确定的信道，如果信噪比也不能再提高了，并且码元传输速率也达到了上限值，那么还有什么办法提高信息的传输速率呢？这就是 用编码的方法让每一个码元携带更多比特的信息量 。我们可以用个简单的例子来说明这个问题。假定我们的基带信号是：

101011000110111010……

如果直接传送，则每一个码元所携带的信息量是1 bit。现将信号中的每3个比特编为一个组，即101,011,000,110,111,010，……。3个比特共有8种不同的排列。我们可以用不同的调制方法来表示这样的信号。例如。用8种不同的振幅，或8种不同的频率，或8种不同的相位进行调制。假定我们采用相位调制，用相位p0表示000，p1表示001,   p2表示010，……，  p7,表示111。这样，原来的18个码元的信号就转换为由6个新的码元（即由原来的每三个bit构成一个新的码元)组成的信号：

101011000110111010……=p5p0p1……

也就是说，若以同样的速率发送码元，则同样时间所传送的信息量就提高到了3倍。自从香农公式发表后，各种新的信号处埋和调制方法不断出现，其目的都是为了尽可能地接近香农公式给出的传输速率极限。在实际信道上能够达到的信息传输速率要比香农的极限传输速率低不少。这是因为在实际信道中，信号还要受到其他一些损伤，如各种脉冲干扰和在传输中产生的失真，等等。这些因素在香农公式的推导过程中并未考虑。

3. 信道编码技术及电子系统工程应用的探讨论文

信道编码技术及电子系统工程应用的探讨论文

根据信道编码理论及编码、译码方法和技术的发展，结合工程实际从理论到实践进行了简要的阐述。

随着信息及信号传输技术的发展，应用电子领域也随之扩大并得到发展。通过对信源编码、信道编码、编码的方法，以及对压缩后的信息进行纠错编码，以抗击信道、网络及传输过程的误码或数据丢失，即信道编码问题的系统认识与理解对实际工程应用具有重要的意义。从电子系统工程的应用角度，对相关知识的理解与应用体会更为深刻。在此，就实际应用中贯穿其中的相关知识及带来的思考与启发扼要介绍。

一、信道编码理论及编、译码问题

衡量任何一个信号通信系统性能优劣的基本因素是有效性和可靠性，有效性是信道传输信息的速度快慢，可靠性是信道传输信息的准确程度。在数字通信系统中，信源编码是为了提高有效性，信道编码是为了提高可靠性，而在一个通信系统中，有效性和可靠性是互相矛盾的，也是可以互换的。我们可以用降低有效性的办法提高可靠性，也可以用用降低可靠性的办法提高有效性。而纠错编码，即信道编码问题是重点。

(一)编、译码问题

信道编码是以香农第二定理和香农第三定理为理论支持。在错误控制编码方面，主要是纠错线性分组码与非分组的卷积码。对于线性分组码，采用增加冗余码作为监督码，这样编出的码具有一定的检错和纠错能力。在译码方面，根据最大似然法译码，判断码的汉明距离，找到汉明距离最小的码，那就是在发送端传输过来的码。编码是一个比较抽象的概念，采用矩阵的描述方式表示编码，将输入的信息序列与生成矩阵相乘，那么就可以得到编码后的符号。在译码方面，通过奇偶校验矩阵就可以检测译码是否正确。

(二)关于卷积码

卷积码是编码不一样的领域，因为这种码在判决时用到过去的信息，也就是说，它是需要记忆的。这也就是卷积码得名的由来。卷积码的编码器由一个移位寄存器和相关逻辑电路组成，对每一个进入的信息帧，编码器都产生一个码字帧。当然，还可以画编码器的状态图，比较直观表示编码器根据输入情况而变化。根据状态图可画出网格图;由网格图很容易地知道卷积码的距离，这是卷积码译码的一个依据。卷积码用一个生成多项式矩阵表示，在编码方面极为方便，编码操作可以简单地描述为信息量矩阵与生成矩阵的乘积。而更加严谨、方便地表达，则需要生成函数。通过修改状态图，很容易得到生成函数。对生成函数的级数展开，可以很直观地得到汉明距离和输入路径的信息，最后还可以知道给定汉明距离全零路径的数量。

(三)Turbo码和LDPC码

Turbo码与LDPC码是两种性能接近香农极限的信道编码。Turbo码在低信噪比的情况下，性能比其他编码要好。Turbo码的优良性能在非实时数据通信方面被广泛采用。Turbo码是分组码和卷积码的“准”混合物。Turbo码有并行级联卷积码、串行级联卷积码和混杂级联卷积码三种不同的排列。因为有交织器的存在，所以编码器的纠错能力很好。LDPC码是一类可以用非常稀疏的校验矩阵或二分图定义的线性分组码，其特点是：译码算法具有线性复杂度可采用并行迭代方式，具有译码自校验特性，在高信噪比条件下能有效降低译码复杂度，提高误比特率性能;可以满足高性能信号通信要求。LDPC码以最低的复杂度提供了最好的性能。这意味着在同等性能情况下， LDPC码的复杂度只有Turbo码的1/4。与Turbo码相比，LDPC码尤其是非规则LDPC码具有非常出色的性能，优于迄今为止已知的其它编码方式。LDPC码与其它编码相比还有一些独特的优点：译码可以完全并行，因此可以获得更高的译码速度;译码器的复杂度大幅降低;译码是可验证的;非规则LDPC码具有天然的不等错误保护能力。

二、从信道编码定理看编、译码方法的发展

(一)信道编、译码方法的多样性

信道编码的'核心是“纠错”;信道编、译码的最终目的是实现信道与信号通信系统在可靠性指标下的优化。其方法是纠错编码，即抗干扰编码。奇偶校验码是一种检错分组码;由此原理派生出改进的：水平奇偶校验码、垂直奇偶校验码、群计数码等。定比码是一种只能发现错误的简单检错码，且需通过反向信道系统方能实现抗干扰。而重复码是前向纠错码，也是一种最简单的纠错码，实际应用较广泛。而由汉明码引出的线性分组码是一种具有线性代数关系的编码。在实际应用中，为得到希望的码长和信息位长度，将信息位缩减而得到原码的缩短码。在汉明码的基础上增加一位监督元，则产生增余汉明码或扩展汉明码，使纠错能力得到提高。而由完备码产生的完备译码、非完备译码，则反映了分组码的纠错能力是全部用于纠错，还是部分纠错检错。循环码是线性分组码中重要的一类码，从应用角度其编码与译码电路较为简单，易于实现;且编、译码方法方便、成熟。

(二)信道编、译码方法的发展过程与启示

不难看出，信道编码的方法是丰富多彩的。也是渐进发展，逐步完善的过程。由此可见，理论指导是发展的方向。对信道编码的理论支撑及方向的指引，使得信道编码方法沿着丰富而日臻完善、接近而趋于极限的方向发展。从这一发展过程可以看出，任何一种新的或衍生的方法，都是有局限性的。但这种局限和不完善性，并不会阻碍新的方法的产生和发展。旧的矛盾解决的同时，新的矛盾又会出现。正如，纠错检错能力的提高，对信息进行错误保护，以抵御信道或网络等信息传输过程的干扰所产生的误码或数据丢失的同时，也将使编码及信息传输效率降低。由于信道编码增加了数据量，其结果只能是以降低传送有用信息码率为代价。因此，不同的编码方式，其纠、检错的能力不同，编码效率(信息传输效率)也有所不同。

三、从工程应用实例看理论支撑点

(一)智能住宅小区建设中信道编码技术的应用

在工程中首次接触的，应用于数字电视地面广播(DTTB)的编码调制方案中，涉及到：以多级分组乘积码代替传统的串行级联编码结构，提高了频谱效率;同时采用一种多分辨率星座图，可在一个DTTB信道中提供3种级别的服务.在接收端采用基于MAX—LOG—MAP准则的迭代Turbo译码算法以获得可靠接收。仿真结果表明，在视觉门限BER=3×10-6处，高优先级码流的比特信噪比约为7dB，适用于高可靠性的服务.中优先级和低优先级码流可支持室外固定接收。由此，也加深了对并行级联卷积码的反馈迭代结构的理解。

(二)网络编码与网络安全

在网络工程中，接触到多址信道中联合网络编码和信道编码的设计方案。该方案利用LDPC码和网络编码的线性特性以及软输入软输出模块设计，不仅减少了编译码的复杂度，而且提高了编译码效率。同时，了解了网络——信道编码分离定理，以及该定理成立的条件，即当网络中的信道是确定型广播信道时，分离定理不成立。而信道安全编码与网络安全编码同样重要，又有所区别。信道编码问题，其核心是对传送的信息进行错误保护，以抗击信道或网络等信息传输媒介所带来的误码或数据丢失。而网络中的通信安全是网络编码研究的重要课题之一，网络安全编码更侧重于网络使用者信息及使用的安全层面。网络编码技术的发展可以大幅度提高网络的吞吐量。

四、结束语

专业技术的专长与拓展并存，这是专业技术发展的必然趋势。身处信息时代，信息科学是研究信息的获取、传输以及应用的科学，是信息资源与技术开发及其推广应用的理论基础，是信息技术及信息产业的核心。通信工程、电子信息工程、计算机科学、计算机应用等众多应用技术与信息科学、信息技术及信息产业息息相关。信道编码从理论上要解决理想编码器、译码器的存在性问题，即解决信道能传送的最大信息率的可能性和超过这个最大值时的传输问题;同时构造性的编码方法以及这些方法能达到的性能界限。筒言之，通过信道编码器和译码器来实现的用于提高信道可靠性的理论和方法。

4. 关于香农公式带宽和信噪比

近几年来，5G 成为了一个备受欢迎的话题，它是属于这个时代的优秀作品。众所周知，通信技术在不断改良和升级，终将迎来 5G！

第五代移动通信是当前最新一代移动通信技术，5G 的性能目标是提高数据速率、减少延迟、节省能源、降低成本、提高系统容量和大规模设备连接。

通信技术在实际运用中，基于一个定理，它就是香农定理（英语：Shannon's Theorem，也称有噪信道编码定理）。那么什么是香农定理呢？它又在信息论中充当怎样的角色呢？

克劳德·艾尔伍德·香农

香农定理（Shannon's Theorem）

在信息论中，香农定理（即噪声信道编码定理或香农极限）确定，对于通信信道的任何给定程度的噪声污染，都可以通信几乎无差错的离散数据（即数字信息），直到通过通道可计算的最大速率。这个结果由克劳德·香农（Cla+ude Shannon）在 1948 年提出，部分理论基础是基于哈里·奈奎斯特（Harry Nyquist）和拉尔夫·哈特利（Ralph Hartley）的早期工作和思想。

用通俗的话来说就是：在信息论里，香农定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。这个令人惊讶的结果，有时候被称为信息原理基本定理，是由克劳德·艾尔伍德·香农于 1948 年首次提出。

信道容量（Channel capacity）

通信信道的信道容量（又称香农极限或香农容量）是指对于特定的噪声水平，如果链路遭受随机数据传输错误，则理论上可以在该信道上传输的无差错数据的最大速率。它最早由 Shannon（1948）进行描述，不久之后又在 Shannon 和 Warren Weaver 的书《传播的数学理论》（1949）中发表。这创立了现代信息论学科。

简而言之，通信信道的信道容量（又称香农极限）是指在指定的噪音标准下，信道理论上的最大传输率。

图 1 信道容量

香农公式（Shannon formula）

信道是传输信息的通道，信道容量描述了信道无差错地传输信息的最大能力，可以用来衡量信道的好坏。1948 年，香农在他的着名论文《通信的数学原理》中给出了信道容量的定义和计算，即信道容量是信道输入信号与输出信号互信息量的上界。信道容量的计算遵循香农公式，即：C=Blog2(1+S/N)，也表示为该通道每秒最多可以传送多少比特的信息量。其中，B 是信道的带宽，S 是传送信号的平均功率，N 则是噪声或者干扰信号的平均功率。

例如，对于信噪比为 S/N、带宽为 B 的加性高斯白噪声信道，其信道容量为 C=Blog2（1+S/N）。

需要知道，C=Blog2（1+S/N）为信道传输信息的频谱效率，即单位时间、单位带宽上能够传输的信息量，单位为 bit∙Hz-1∙s-1。增大信噪比可以提高信道的容量，这可以通过抑制噪声或者增加发射功率实现。假若信噪比无穷大，则信道容量也趋于无穷。不过由于信道中总存在噪声，而且发射机的功率不可能没有限制，因此这种情况不会出现。增加信道带宽也可以增加信道容量，但是这种增加不是无限制的。设信道的噪声功率谱密度为 N0，则随着信道带宽 B 的增加，噪声功率 N=BN0 也随之增加。记信号功率最大为 Es，则带宽无穷大时，信道容量的极限为：

图 2 信道容量无穷大的计算公式

可见，单方面增加带宽并不是提高信道容量的好方法。

信道容量是理论上信道传输信息能力的极限，在目前的各种通信技术中，实际能够达到的信道吞吐量远小于这一极限。

通过上述例子，便可以知道要想获得更快的网速，就得提高信道带宽和信噪比；前者指的是能够有效通过信道的信号的最大频带宽度，后者是信号功率和噪声功率的比值。有了这个限制，想要提高网速，就需要提高信道带宽，或者提高信噪比，或者同时提高这两个因素的值。

学习小技巧

我们可以简单地把信息通道比作城市道路，这条道路上单位时间内的车流量受到道路宽度和车辆速度等因素的制约，在这些制约条件下，单位时间内最大车流量就被称为极限值。

下篇预告：千兆与万兆存在怎样的区别？为何有千兆万兆之分？

5G 时代的来临，千兆与万已兆热火朝天，那么当下的弱电布线该如何进行选择呢？敬请期待 “深鲨万事通” 为大家解答。

参考文献

• Saleem Bhatti。通道容量。硕士课程讲义 数据通信网络和分布式系统 D51-基本通信和网络。 [ 2007-11-10 ]。（原始内容存档于 2007-08-21）。

• Jim Lesurf. Signals look like noise!. Information and Measurement, 2nd ed. [2007-11-10].（原始内容存档于 2016-12-28）。

• 托马斯 M· 盖，乔伊·托马斯。信息论的要素。纽约 John Wiley＆Sons。2006 年。

• 网络新知 | 香农公式与 5G。（原始内容存档于中央纪委国家监委网站，2016-12-28）。

5. 计算机网路中的香农公式是什么

C=B*log2(1+S/N) （ log2表示以2为底的对数）(bit/s)

该式通常称为香农公式。B是信道带宽（赫），S是信号功率（瓦），N是噪声功率（瓦）。

香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果R>C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。

(5)信道编译码香农极限扩展阅读

调制方式

直接序列扩频（DSSS)

如果在数据上直接注入扩频码，则可得到直序扩频（DSSS），在实际应用中，扩频码与通信信号相乘，产生完全被伪随机码“打乱”了的数据。在这种技术中，伪随机码直接加入载波调制器的数据上。调制器具有更大的比特率。用这样一个码序列调制射频载波的结果是产生一个中心在载波频率、频谱为（（sinx)/x)2的直序调制扩展频谱。

跳频扩频技术（FHSS)

如果扩频码作用在载波频率上，我们就得到跳频扩频（FHSS）。FHSS伪随机码使载波按照伪随机序列改变或跳变。顾名思义，FHSS中载波在一个很宽的频带上按照伪随机码的定义从一个频率跳变到另一个频率。

时跳变扩频技术（THSS)

如果用扩频码控制发射信号的开或关，则可得到时间跳变的扩频技术（THSS）。时跳变扩频技术利用伪随机序列控制功放的通/断，该项技术目前应用不多。

6. 香农极限速度是多少

60(60Kbit/s).
C=Bw*log2(1+S/N)=6000*log2(1001)=60000bit/s=60Kbit/s

7. 香农第一定理是什么

香农第一定理是可变长无失真信源编码定理。

设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为

B=PK1B1+PK2B2+…+PKN^kBN^k

当K趋于无限大时，B和信息量H(X)之间的关系为B/k=H(X)(K趋近无穷）

香农第一定理又称为无失真信源编码定理或变长码信源编码定理。

香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。

(7)信道编译码香农极限扩展阅读：

香农第二定理（有噪信道编码定理）

有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

香农第三定理（保失真度准则下的有失真信源编码定理）

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D.

设R(D)为一离散无记忆信源的信息率失真函数，并且选定有限的失真函数，对于任意允许平均失真度D>=0，和任意小的a>0，以及任意足够长的码长N，则一定存在一种信源编码W，其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。

8. 信道编码都有哪些

1、信道编码的种类主要包括：线性分组码、卷积码、级联码、Turbo码和LDPC码。

2、其中分组码又分为：汉明码，格雷码，循环码（BCH码，RS码，CRC循环冗余校验码。

信道编码，也叫差错控制编码，是所有现代通信系统的基石。

几十年来，信道编码技术不断逼近香农极限，波澜壮阔般推动着人类通信迈过一个又一个顶峰，信道编码在发送端对原数据添加冗余信息，这些冗余信息是和原数据相关的，再在接收端根据这种相关性来检测和纠正传输过程产生的差错，这些加入的冗余信息就是纠错码，用它来对抗传输过程的干扰。

(8)信道编译码香农极限扩展阅读：

作用

数字信号在传输中往往由于各种原因，使得在传送的数据流中产生误码，从而使接收端产生图象跳跃、不连续、出现马赛克等现象。

所以通过信道编码这一环节，对数码流进行相应的处理，使系统具有一定的纠错能力和抗干扰能力，可极大地避免码流传送中误码的发生。

误码的处理技术有纠错、交织、线性内插等。

9. 信道的极限容量是多少

信道的极限容量
2.2.1 有关信道的几个基本概念
要进行计算机之间的通信当然要有传输电磁波信号的电路。这里所说的电路也包括无线电路。但在许多情况下，我们还经常使用“信道”这一名词。信道和电路并不等同。信道一般都是用来表示向某一个方向传送信息的媒体。因此，一条通信电路至少包含一条发送信道和（或）一条接收信道。一个信道可以看成是一条电路的逻辑部件。
从通信的双方信息交互的方式来看，可以有以下三个基本方式：
单向通信 又称为单工通信，即只能有一个方向的通信而没有反方向的交互。无线电广播或有线电广播以及电视广播就属于这种类型。
双向交替通信 又称为半双工通信，即通信的双方都可以发送信息，但不能双方同时发送（当然也就不能同时接收）。这种通信方式是一方发送另一方接收，过一段时间后再反过来。
双向同时通信 又称为全双工通信，即通信的双方可以同时发送和接收信息。
单向通信只需要一条信道，而双向交替通信或双向同时通信则都需要两条信道（每个方向各一条）。显然，双向同时通信的传输效率最高。不过应当指出，虽然电信局为打电话的用户提供了双向同时通信的信道，但有效的电话交谈一般都还是双方交替通信。当双方发生争吵时往往就是采用双向同时通信的方式。
这里要提醒读者注意，有时人们也常用“单工”这个名词表示“双向交替通信”。如常说的“单工电台”并不是只能进行单向通信。正因为如此，ITU-T才不采用“单工”、“半双工”和“全双工”这些容易混淆的术语作为正式的名词。
从通信的发送端所产生的信号形式来看，则信号可以分为以下的两大类：
模拟信号 即连续的信号，如话音信号和目前的广播电视信号。
数字信号 即离散的信号，如计算机通信所用的二进制代码“l”和“0”组成的信号。
和信号的这种分类相似，信道也可以分成传送模拟信号的模拟信道和传送数字信号的数字信道两大类。但是应注意，数字信号在经过数模变换后就可以在模拟信道上传送，而模拟信号在经过模数变换后也可以在数字信道上传送。
信道上传送的信号还有基带（baseband）信号和宽带（broadband）信号之分。简单说来，所谓基带信号就是将数字信号1或0直接用两种不同的电压来表示，然后送到线路上去传输。而宽带信号则是将基带信号进行调制后形成的频分复用模拟信号。基带信号进行调制后，其频谱搬移到较高的频率处。由于每一路基带信号的频谱被搬移到不同的频段，因此合在一起后并不会互相干扰。这样做就可以在一条电路中同时传送许多路的数字信号，因而提高了线路的利用率。
在通信网的发展初期，所有的通信信道都是模拟信道。但由于数字技术发展很快，数字信道可提供更高的通信服务质量，因此过去建造的模拟信道正在被新的数字信道所代替。现在的计算机通信所使用的通信信道，在主干线路上已基本是数字信道，但目前使用的大量的用户线则基本上还是传统的模拟信道。模拟信道与数字信道并存的局面也使得物理层的内容比较复杂。
有了上述的有关信道的基本概念之后，我们再讨论信道的极限容量。这就是信道上的最高码元传输速率和信道上的最高信息传输速率。
2.2.2 信道上的最高码元传输速率
任何实际的信道都不是理想的。这是因为，信道的带宽有限（即所能通过的信号的频带宽度是受限的），在传输信号时会产生各种失真；多种干扰也会以不同的方式进入信道。这就使得信道上的码元传输速率有一个上限。早在1924年，奈奎斯特（Naquist）就推导出在具有理想低通矩形特性的信道的情况下的最高码元传输速率的公式。这就是奈氏准则：
理想低通信道的最高码元传输速率 = 2 W Baud （2-l）
这里W是理想低通信道的带宽，单位为赫；
Baud是波特，是码元传输速率的单位，1 波特为每秒传送1个码元。
（2-1）式就是着名的奈氏准则。奈氏准则的另一种表达方法是：每赫带宽的理想低通信道的最高码元传输速率是每秒2个码元。如果码元的传输速率超过了奈氏准则所给出的数值，那么就会出现码元之间的相互干扰，以致在接收端无法正确判定在发送方所发送的码元是 1还是0。
这里我们要强调以下两点：
上面所说的具有理想低通特性的信道是理想化的信道，它和实际上所使用的信道当然有相当大的差别。所以一个实际的信道所能传输的最高码元速率，要明显地低于奈氏准则给出的这个上限数值。
波特和比特是两个不同的概念。
波特是码元传输的速率单位，它说明每秒传多少个码元。码元传输速率也称为调制速率、波形速率或符号速率。
比特是信息量的单位，与码元的传输速率“波特”是两个完全不同的概念。
但是，信息的传输速率“比特／秒”与码元的传输速率‘波特”在数量上却有一定的关系。若1个码元只携带 1 bit 的信息量，则“比特／秒”和“波特”在数值上是相等的。但若使1个码元携带 n bit 的信息量，则 M Baud 的码元传输速率所对应的信息传输速率为 M × n b/s。例如，有一个带宽为 3 kHz 的理想低通信道，其最高码元传输速率为 M Baud。若 1 个码元能携带 3 bit 的信息量，则最高信息传输速率为 18000 b/s。
对于具有理想带通矩形特性的信道（带宽为W），奈氏准则就变为：
理想带通信道的最高码元传输速率 = W Baud （2-2）
即每赫带宽的带通信道的最高码元传输速率为每秒 1 个码元。
2.2.3 信道的极限信息传输速率
1948年，香农（Shannon）用信息论的理论推导出了带宽受限且有高斯白噪声干扰的信道的极限信息传输速率。当用此速率进行传输时，可以做到不产生差错。如用公式表示，则信道的极限信息传输速率 C 可表达为
C＝ W log 2（1 + S / N） b/s （2-3）
其中 W 为信道的带宽（以Hz为单位）；
S 为信道内所传信号的平均功率；
N 为信道内部的高斯噪声功率。
公式（2-3）就是着名的香农公式。香农公式表明，信道的带宽越大或信道中的信噪比越大，则信息的极限传输速率就越高。但更重要的是，香农公式指出了：只要信息传输速率低于信道的极限信息传输速率，就一定可以找到某种办法来实现无差错的传输。不过，香农没有告诉我们具体的实现方法。这要由研究通信的专家去寻找。
从香农公式可看出，若信道带宽 W 或信噪比 S/N 没有上限（实际的信道当然不可能是这样的），那么信道的极限信息传输速率 C 也就没有上限。
自从香农公式发表后，各种新的信号处理和调制的方法不断出现，其目的都是为了尽可能地接近香农公式所给出的传输速率极限。在实际信道上能够达到的信息传输速率要比香农的极限传输速率低不少。这是因为在实际的信道中，信号还要受到其他的一些损伤，如各种脉冲干扰和在传输中产生的失真等等。这些因素在香农公式的推导过程中并未考虑。
由于码元的传输速率受奈氏准则的制约，所以要提高信息的传输速率，就必须设法使每一个码元能携带更多个比特的信息量。这就需要采用多元制（又称为多进制）的调制方法。例如，当采用16元制时，一个码元可携带 4 个比特的信息。一个标准电话话路的频带为 300－3400 Hz，即带宽为 3100 Hz。在这频带中接近于理想信道的也就是靠中间的一段，其带宽约为 2400 Hz 左右。如使码元的传输速率为 2400 Baud（这相当于每赫带宽的码元传输速率为 1 Baud），则信息的传输速率即可达到 9600 b/s。实际上，要达到这样的信息传输速率必须使信噪比具有较高的数值。读者从（2-3）式可以很容易地计算出所需信噪比的最低值。但应注意，对于实际的信道所需的信噪比要比这个最低值还要高不少。
对于 3.1 kHz 带宽的标准电话信道，如果信噪比 S/N＝2500，那么由香农公式可以知道，无论采用何种先进的编码技术，信息的传输速率一定不可能超过由（2-3）式算出的极限数值，即 35 kb/s 左右。目前的编码技术水平与此极限数值相比，差距已经很小了。

10. 关于香农公式带宽和信噪比

香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。
该定理还指出：如果R>C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。
可以严格地证明；在被高斯白噪声干扰的信道中，传送的最大信息速率C由下述公式确定：
该式通常称为香农公式。C是数据速率的极限值，单位bit/s；W为信道带宽，单位Hz；S是信号功率（瓦），N是噪声功率（瓦）。
香农公式中的S/N是为信号与噪声的功率之比，为无量纲单位。如：S/N=1000（即，信号功率是噪声功率的1000倍）
但是，当讨论信噪比时，常以分贝（dB）为单位。公式如下：
换算一下：
公式表明，信道带宽限制了比特率的增加，信道容量还取决于系统信噪比以及编码技术种类。香农公式，通信工程学术语，是香农（Shannon）提出并严格证明的“在被高斯白噪声干扰的信道中，计算最大信息传送速率C公式”：C=B log2(1+S/N)。式中：B是信道带宽（赫兹），S是信道内所传信号的平均功率（瓦），N是信道内部的高斯噪声功率（瓦）。
显然，信道容量与信道带宽成正比，同时还取决于系统信噪比以及编码技术种类。香农定理指出，如果信息源的信息速率R小于或者等于信道容量C，那么，在理论上存在一种方法可使信息源的输出能够以任意小的差错概率通过信道传输。该定理还指出：如果R>C，则没有任何办法传递这样的信息，或者说传递这样的二进制信息的差错率为1/2。