信息论与编码概要1
题目:信息论在密码学中的应用
班级:电子132
姓名:魏溥江
学 :120133102071
信息论在密码学中的应用
关键字：信息论；密码学；保密系统
1 信息论的发展简介
信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
1.1 信息论发展的三个阶段
第一阶段：1948年贝尔研究所的香农在题为《通讯的数学理论》的论文中系统地提出了关于信息的论述，创立了信息论。
第二阶段：20世纪50年代，信息论向各门学科发起冲击；60年代信息论进入一个消化、理解的时期，在已有的基础上进行重大建设的时期。研究重点是信息和信源编码问题。
第三阶段：到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何更有效地利用和处理信息，成为日益迫切的问题。人们越来越认识到信息的重要性，认识到信息可以作为与材料和能源一样的资源而加以充分利用和共享。信息的概念和方法已广泛渗透到各个科学领域，它迫切要求突破申农信息论的狭隘范围，以便使它能成为人类各种活动中所碰到的信息问题的基础理论，从而推动其他许多新兴学科进一步发展。
1.2 Shannon信息论的建立和发展
1948年6月和10月，Shannon在贝尔实验室出版的著名的《贝尔系统技术》杂志上发表了两篇有关《通信的数学理论》的文章。在这两篇论文中，他用概率测度和树立统计的方法系统地讨论了通信的基本问题，首先严格定义了信息的度量—熵的概念，又定义了信道容量的概念，得出了几个重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
Shannon理论的核心是：揭示了在通信系统中采用适当的编码后能够实现高效率和高可靠地传输信息，并得出了信源编码定理和信道编码定理。从数学观点看，这些定理是最优编码的存在定理。但从工程观点看，这些定理不是结构性的，不能从定理的结果直接得出实现最优编码的具体途径。然而，它们给出了编码的性能极限，在理论上阐明了通信系统中各种因素的相互关系，为人们寻找出最佳通信系统提供了重要的理论依据。而其理论到目前主要经历了以下几个方面的发展：Shannon信息理论的数学严格化、无失真信源编码定力和技术的发展、信道纠错编码的发展、限失真信源编码的提出和发展、多用户、 络信息论的发展、信息保密与安全理论的提出与发展，从此以后，纠错码和密码学相结合的研究迅速发展起来。
目前，在Shannon信息论方面，值得注意的研究动向是：信息概念的深化； 络信息理论和多重相关信源编码理论的发展和应用；通信 的一般信息理论研究；记录信道的信息理论研究；信息率失真理论的发展及其在数据压缩和图像处理中的应用；信息论在大规模集成电路中的应用等问题；这些领域都是与当前信息工程的前景—光通信、空间通信、计算机互联 、移动通信、多媒体通信、语音和图像的信息处理等密切相关的。
2 信息论的基本概念
Shannon在1984年提出了信息熵公式：
其中为可能出现的事件，为出现的几率，所有可能出现的事件及其出现几率构成一个信(息)源。一个符 顺序可以看成一个信源。此时，顺序中的每种符 代表一个事件，该符 在整个顺序中所占的比例，即可看成事件出现的几率。表示信源中平均每一事件所包含的信息量，称信源的信息嫡。它是的函数，无量纲。若对数以2为底，常给以数量单位“比特”，以e为底时，单位为“纳特”。近年来信息论研究表明，上式定义的信息嫡并不等于信源的信息含量，只不过代表其中一个方面。确切的说，信息熵是对事件件出现的不肯定程度的量度，在一定程度上也可以说是对信源内消息多样性的量度，即表示消息多样性潜力。所以又可称为潜在信息。
互信息是另一种有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：
其中是联合熵，其定义为：
。
信息论中的冗余度则不只是指重复，而意义更为广泛。定义为：
即信源的熵与该信源可能有的最大偏差。Gatlin认为冗余度R表示信源的信息存储能力，R越大，存储能力越强。大R常常对应较大的信息含量。但同样不能简单的认为R越大，信息含量越大。比如只有一种符 的顺序R=1，而这种符 顺序的
相关资源：本草纲目下载李时珍本草纲目查询软件版v1.4_本草纲目pdf彩图版…
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！