信息论创始人香农及其三大定理

2017-08-15 18:37 来源:网络整理作者：摸金校尉手机版

克劳德·艾尔伍德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。

香农

香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

香农一生中最为伟大的成就就是提出了熵这个概念，在他的研究下终于证明了熵和信息之间有着等价的关系。在香农看来信息量是随机不断的减少的，这个减少的程度也是随机不定的，而信息则是能够减少这种不定性的东西。可以说香农所提出的信息概念相比之前人们的认识有了很大的进步，然而其中仍旧有着一些局限性，但是香农的贡献仍然是十分伟大的，而他对于科学永远好奇、重视完美的精神也是值得人们学习的。

香农

香农定理

对于现代人来说，网络和信息已经成为生活的重要部分，甚至可以说是必要部分。但这些方便人类生活的信息通讯，都是在科学家们的不懈努力之下才有的。信息论的创始人是香农，他对信息的独到见解让人们重新审视逻辑理论。香农最大的贡献当属香农定理，正是有了该定理的出现，信息和符号逻辑等领域的研究才重新找到了正确的方向。

香农将自己的理论细化为三个，所以香农定理有三个。香农第一定理是可变长无失真信源编码定理，让符号的信息量达到最大，用最少的符号传送最多的信息。香农第二定理是有噪信道编码定理，该定理讲的是信息传输率和信道容量的关系，能使信息传输的错误减到最小。香农第三定理，是保失真度准则下的有失真信源编码定理，使码的失真度降低，达到一定的要求。

免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。