课程代码：090141126
课程英文名称：The Information Theory
课程总学时：40 讲课：40 实验：0 上机：0
适用专业：信息与计算科学
大纲编写（修订）时间：2017.11
一、大纲使用说明
（一）课程的地位及教学目标
信息论基础是研究信息处理的数学规律性的数学理论分支之一，是信息与计算科学专业的一门必修的专业课程。通过本课程的学习，使学生能掌握信息论的一些基本理论以及基本编码方法，能较好地理解香农信息论的基本思想与基本原理，掌握几个基本运算方法，培养学生 利用信息论的基本原理分析和解决实际问题能力，从而提高学生的数学素质，加强学生开展科研工作能力。为今后进行更深入的研究奠定良好的理论基础。
通过本课程的学习，学生将达到以下要求：
1. 掌握信息论的基本概念、原理和方法，理想通信系统的基本概念；
2. 具备运用信息论的基本理论分析并解决问题的能力；
3. 掌握信源编码与信道编码的基本方法，针对具体问题，能够设计编码方法并分析效率。 （二）知识、能力及技能方面的基本要求
1. 基本知识：掌握离散(连续)条件下的熵、条件熵、相对熵、互信息，最大熵原理等信息度量的相关理论知识；理解信源熵、信道容量等基本概念。
2. 基本理论和方法：理解通信系统的基本理论和基本模型；理解信源编码定理、信道编码定理等基本理论以及信源熵与信道容量的计算方法；掌握信源编码的各种方法与简单的信道编码方法。
3. 基本技能：通过本科程的学习，培养学生对信息的度量能力、编码设计能力，从而建立起分析和解决一个简单通信系统中的常见基本问题的能力，为以后学习信息科学的其它课程奠定坚实的基础。
（三）实施说明
1．教学方法：信息论基础涉及到概率论、高等代数等多门课程的基本理论，有一些比较复杂和抽象的概念与推导，在课堂讲授中要简化数学推导，引入信息理论实用历程，尽量做到深入浅出，容易理解；采用启发式教学，培养学生思考问题、分析问题和解决问题的能力；引导和鼓励学生通过查阅文献、实践获取知识，培养学生的自学能力；增加讨论课，调动学生学习的主观能动性。
2．教学手段：本课程建议采用课堂讲授、讨论、多媒体教学相结合的教学形式，以确保在有限的学时内，全面、高质量地完成课程教学任务。
3．教师在授课过程中可以根据实际情况酌情安排各部分的学时，课时分配表仅供参考。
（四）对先修课的要求
本课程的教学必须在完成先修课程之后进行。本课程主要的先修课程有：数学分析、高等代数、概率论与数理统计纳米金等。
（五）对习题课、实践环节的要求
1. 习题的选择应该适当参考其它教材或相关参考资料，对重点、难点章节（信息度量、信道容量等）安排习题课。采用教师讲授和课堂测验相结合的形式。
2．课后作业要少而精，内容要多样化，作业题内容必须包括基本概念、基本理论及设计计算方面的内容，作业要能起到巩固理论，掌握计算方法和技巧，提高分析问题、解决问题能力，对作业中的重点、难点，课上应做必要的提示，并适当安排课内讲评作业。学生必须独立、按时完成课外习题和作业，作业的完成情况应作为评定课程成绩的一部分。
3. 本课程的课程设计单独设课，单独考核，具体要求参见相应的课程设计教学大纲。
（六）课程考核方式
1．考核方式：考试
2．考核目标：考核学生对信息论基本知识、基本原理和方法和技能的掌握。
3．成绩构成：本课程的总成绩主要由二部分组成：平时成绩（包括作业情况、出勤情况等）（30）％，期末成绩（70）％。
平时成绩由任课教师视具体情况按百分制给出。
（七）参考书目
《信息论与编码》（第3版），陈运编著，电子工业出版社，2015
《信息论——基础理论与应用》（第4版），傅祖芸编著，电子工业出版社，2015
《信息论基础》，叶中行编，高等教育出版社，2007
《信息论基础》（原书第2版），Thomas M.Cover著，机械工业出版社，2007
《信息论基础与应用》，沈世镒 吴忠华编，高等教育出版社，2004
《信息论与应用》，李梅编，电子工业出版社，2016
二、中文摘要
瓦房店社区
本课程是信息论与计算科学专业学生必修的一门专业理论课程。课程通过对基本信息理论、信源压缩编码理论、信道编码理论的讲授，使学生掌握信息论的基本知识和原理，理解提高通信有效性和可靠性，如何进行编码以实现通信系统优化。课程主要包括信息的度量、信源编码、信道编码等。本课程为学生以后学习信息科学其它知识打下了坚实的基础，也为学生今后研究信息科学的相关理论奠定了基础。
三、课程学时分配表
非常任理事国
序号 | 教学内容 | 学时 | 讲课 | 实验 | 上机 |
1 | 绪论 | 2 | 2 | | |
2 | 信息的度量 | 8 | 8 | | |
2.1 | 信源的数学模型及其分类，离散随机变量的熵 | | 2 | | |
2.2 | 相对熵与互信息 | | 2 | | |
2.3 | 信息量的基本性质 | | 2 | | |
2.4 | 多符号离散平稳信源熵 | | 2 | | |
3 | 离散无失真信源编码 | 12 | 12 | | |
3.1 | 信源编码的分类与基本概念 | | 2 | | |
3.2 | 变长码 | | 2 | | |
3.3 | 离散无失真信源编码定理 | | 2 | | |
3.4 | Shannon码，Fanno码，Huffman码 | | 2 | | |
3.5 | 算术码 | | 2 | | |
3.6 | 通用信源编码 | | 2 | | |
4 | 离散信道容量 | 8 | 8 | | |
4.1 | 信道的数学模型及其分类 | | 2 | | |
4.2 | 互信息与信道容量 | | 2 | | |
4.3 | 细菌试验信道容量的计算 | | 2 | | |
4.4 | 信道编码定理 | | 2 | | |
5 | 纠错编码 | | 6 | | ca1170 |
| | | | | |
5.1 | 纠错码的分类及基本概念 | | 2 | | |
5.2 | 线性分组码 | | 2 | | |
5.3 | 卷积码 | | 2 | | |
6 | 连续信源熵与信道容量 | | 4 | | |
6.1 | 微分熵 | | 2 | | |
6.2 | 连续信道的信道容量 | | 2 | | |
| 合计 | 40 | 40 | | |
| | | | | |
四、教学内容及基本要求
第1部分 绪论
总学时(单位：学时):2 讲课:2 实验:0 上机:0
具体内容：
1）理解信息的定义与特征；
2）了解信息论的发展历程；
3）理解信息论研究的对象、目的和内容；
4）掌握通信系统模型与要素；
重 点：信息的定义和基本特征，信息论的研究内容，通信系统模型。
难 点：信息定义以及内涵。
习 题：结合课堂讲述，在实际生活中寻相关实例说明信息的含义。
第2部分 信息的度量
总学时(单位：学时):8 讲课:8 实验:0 上机:0
第2.1部分 信源的数学模型及其分类（讲课2学时）
具体内容:
1）理解信源的数学模型与分类；
2）理解自信息的定义并掌握相关计算；
3）理解熵、联合熵、条件熵的定义并掌握相关计算。
第2.2部分 相对熵与互信息（讲课2学时）
具体内容:
1）理解相对熵；
2）理解互信息的定义以及与熵的关系并掌握相关计算。。
第2.3部分 信息量的基本性质
1）理解熵的非负性、对称性、可加性；
2）掌握最大离散熵原理；
3）理解两个重要不等式。
第2.4部分 离散平稳信源熵（讲课2学时）
具体内容:
1) 理解离散平稳无记忆信源熵；
2)了解信源剩余度与自然语言的熵。
重 点:
香农熵、联合熵、条件熵、互信息的计算，最大熵原理，两个重要不等式。
难 点:
熵的可加性，最大熵原理，两个重要不等式。
习 题:
各种离散熵的计算等。
第3部分 信源编码问题
总学时(单位：学时):12 讲课:12 实验:0 上机:0
第3.1部分 信源编码的分类与基本概念（讲课2学时）
具体内容：
1) 了解信源编码的基本要求与分类；
2) 理解定长码、唯一可译码、即时码、前缀码的定义；
3） 理解信源编码问题；
3) 掌握唯一可译码、即时码、前缀码的判别方法以及关系。
第3.2部分 变长码（讲课2学时）
具体内容：
1) 理解变长码的平均码长与编码问题；
2） 掌握即时码的树图构造法；
3) 掌握Kraft不等式。
第3.3部分 离散无失真信源编码定理（讲课2学时）
具体内容：
1）定长编码定理；
2）变长编码定理。
第3.4部分 Huffman码，Shannon码，Fanno码，（讲课3学时）
具体内容：
2） 掌握Huffman码的构造方法；
3) 理解Huffman码的最优性。
3） 了解Shannon码，Fanno码的构造方法。
第3.5部分 算术码（讲课2学时）
1）掌握Shannon-Fano-Elias码构造方法；
诚成文化
2）掌握算术码的构造方法。
第3.6部分 通用码（讲课2学时）
具体内容：
1) 掌握LZ码的编码方法;
2) 掌握LZW码的编码方法;
3） 理解通用码的效率分析方法。
重 点:
唯一可译码、即时码、前缀码的判别方法以及关系，变长码的编码问题，哈夫曼码与算数码，LZ码，离散无失真信源编码定理。
难 点:
唯一可译码的判别方法，算术码，离散无失真信源编码定理。
习 题:
唯一可译码、即时码、前缀码的判别，哈夫曼码、算术码、通用码的构造等。
第4部分 信道编码定理
总学时(单位：学时):8 讲课:8 实验:0 上机:0
第4.1部分 信道的数学模型及其分类（讲课2学时）
具体内容:
1) 理解信道的数学模型，掌握信道模型的表述方式；
2) 了解通信中编码的数量与质量关系。
3) 理解信道序列的编码问题。
第4.2部分 互信息与信道容量（讲课2学时）
具体内容:
1) 理解信道疑义度与平均互信息；
2) 理解信道容量和最大入口分布；
3) 掌握几种典型的无记忆信道。
第4.3部分 信道容量的计算（讲课2学时）
具体内容:
1) 理解无噪信道、无损信道的定义。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议