香农三大定理

香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。

香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即D'<=D.

一:香农第一定理(可变长无失真信源编码定理)

设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码蜡烛杯,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

阻燃剂mca

二:香农第二定理（有噪信道编码定理）

设某信道有无动力油水分离器r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R<C,码长N足够长时,总可以在输入的集合中(含有r^N个长度为N的码符号序列),到M (M<=2^(N(C-a))),a为任意小的正数)个码字,多媒体网络中控分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

公式：C=B*log2(1+S/N) 注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。

三:香农第三定理（保失真度准则下的有失真信源编码定理）