历史版本3:克劳德·香农 返回词条

克劳德·香农

1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf  Shannon。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison，1847-1931）还有远亲关系。

香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。在“功成名就”后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。

2001年2月24日，香农在马萨诸塞州Medford辞世，享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基人。

1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。

1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》（继电器与开关电路的符号分析）。他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的Howard Gardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。”

1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《An Algebra for Theoretical Genetics》（理论遗传学的代数学）。这说明香农的科学兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。

在读学位的同时，他还用部分时间跟温尼法·布什（Vannevar Bush）教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》（微分分析器的数学理论），他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值（不能产生精确值）、求调整率的近似值以及自动控制速率的方法。”

1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。

克劳德·香农论文集

香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪（Percy A. MacMahon，1854-1929）1892年在Electrician上发表的论文理论。1948年则创立了信息论（information theory）。

在漫长的岁月，他思考过许多问题。除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》（保密系统的通信理论），正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。

1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃（Warren Weaver，1894-1978）当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功，并刺激了信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。它们通过信道进行传输，每个符号开销有限的信道时间。这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。

在这篇论文中，香农首次引入“比特”（bit）一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”。

克劳德·香农——信息论之父

Morris Liebmann 无线电工程师协会Memorial奖章 1949年

耶鲁大学 (首席科学家) 1954年

Stuart Ballantine弗兰克林协会奖章 1955年

研究合作奖 1956年

密歇根大学 荣誉博士 1961年

莱斯大学 荣誉奖章1962年

普林斯顿大学 荣誉博士 1962年

Marvin J. Kelly Award 1962年

爱丁堡大学 荣誉博士 1964年

匹兹堡大学 荣誉博士 1964年

电子电气工程师协会 荣誉奖章 1966年

美国国家科学奖章 1966年 由前总统Lyndon B. 约翰逊颁发

Golden Plate Award 1967年

美国西北大学，荣誉博士 1970年

Harvey Prize，the Technion of Haifa,，以色列 1972年

牛津大学 荣誉博士 1978年

Joseph Jacquard奖 1978年

Harold Pender奖 1978年

东英格伦大学, 荣誉博士 1982年

卡内基梅隆大学 荣誉博士 1984年

美国声频技术协会 金奖 1985年

Kyoto Prize 1985年

塔夫斯大学 荣誉博士 1987年

宾夕法尼亚大学 荣誉博士 1991年

Eduard Rhein Prize 1991年

《通讯的数学原理》

香农的成就轰动了世界，激起了人们对信息论的巨大热情，它向各门学科冲击，研究规模像滚雪球一样越来越大。不仅在电子学的其他领域，如计算机、自动控制等方面大显身手，而且遍及物理学、化学、生物学、心理学、医学、经济学、人类学、语音学、统计学、管理学……等学科。它已远远地突破了香衣本人所研究和意料的范畴，即从香农的所谓“狭义盾息论”发展到了“广义信息论”。 香农一鸣惊人，成了这门新兴学科的奠基人。20世纪80年代以来，当人们在议论未来的时候，人们的注意力又异口同声的集中到信息领域。按照国际一种流行的说法，未来将是一个高度信息化的社会。信息工业将发展成头号工业，社会上大多数的人将是在从事后息的生产、加工和流通。这时，人们才能更正确地估价香农工作的全部含义。信息论这个曾经只在专家们中间流传的学说，将来到更广大的人群之中。香农这个名字也飞出了专家的书斋和实验室，为更多的人所熟悉和了解。

香农被尊称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《通信的数学原理》作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。在该文中，香农给出了熵的定义：

这一定义可以用来推算传递经二进制编码后的原信息所需的信道带宽。熵的概念量度的是消息中所含的信息量，而去除了消息中固有结构所决定的部分，比如，语言结构的冗余性以及语言中字母、词的使用频度等统计特性。

信息论中熵的概念与物理学中的熵有着紧密的联系。玻耳兹曼与吉布斯在统计物理学中对熵做了很多的工作。信息论中的熵也正是受之启发。

互信息（Mutual Information）是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的互信息定义为：

其中 H（X，Y） 是共有熵（Joint Entropy），其定义为：

　　一:香农第一定理(可变长无失真信源编码定理) 

　　设信源S的熵[shāng]H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。

　　二:香农第二定理（有噪信道编码定理）

　　设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M (M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。

　　三:香农第三定理（保失真度准则下的有失真信源编码定理）

　　设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。

    克劳德·香农（ClaudeElwoodShannon，1916-2001）于1916年4月30日出生在美国密西根州的伽娄德（Gaylord）小镇，当时镇里只有三千居民。香农的父亲是该镇的法官，母亲是镇里的中学校长。他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生(ThomasAlvaEdison，1847-1931)还有远亲关系。　　
　　香农的两大贡献：一是信息理论、信息熵的概念；另一是符号逻辑和开关理论。香农的信息论为明确什么是信息量概念作出决定性的贡献。　　
　　1936年香农在密西根大学获得数学与电气工程学士学位，然后进入MIT念研究生。1938年香农在MIT获得电气工程硕士学位，硕士论文题目是《继电器与开关电路的符号分析》。当时他已经注意到电话交换电路与布尔代数之间的类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并用1和0表示。于是他用布尔代数分析并优化开关电路，这就奠定了数字电路的理论基础。哈佛大学的HowardGardner教授说，“这可能是本世纪最重要、最著名的一篇硕士论文。　　
　　1940年香农在MIT获得数学博士学位，而他的博士论文却是关于人类遗传学的，题目是《理论遗传学的代数学》。说明香农的兴趣十分广泛，后来他在不同的学科方面发表过许多有影响的文章。在读学位的同时，他还用部分时间跟温尼法·布什教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表了《微分分析器的数学理论》，他写道：“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件，有些条件可以生成一个或多个变量的函数，有些条件可使常微分方程得到解。还给出了一些注意事项，给出求函数的近似值、求调整率的近似值以及自动控制速率的方法。”　　
　　1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。香农与JohnRiordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪1892年在Electrician上发表的论文理论。1948年香农在发表了《通讯的数学理论》，创立了信息论。　　
　　在二次世界大战时，香农博士也是一位著名的密码破译者（这使人联想到比他大4岁的图灵博士）。他在贝尔的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《保密系统的通信理论》，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。
　　
　　熵的概念　　
　　香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。信息熵大，意味着不确定性也大。因此我们应该深入研究，以寻求中文信息处理的深层突破。不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。　　
　　众所周知，质量、能量和信息量是三个非常重要的量。人们很早就知道用秤或者天平计量物质的质量，而热量和功的关系则是到了19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。然而，关于文字、数字、图画、声音的知识已有几千年历史了。但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。　　
　　20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。1928年哈特利(R.V.H.Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。从这些词里取了特定的一个就对应一个信息量I。哈特利建议用NlogD这个量表示信息量，即I=NlogD。这里的log表示以10为底的对数。后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。但是就信息传输给出基本数学模型的核心人物是香农。1948年香农长达数十页的论文《通信的数学理论》成了信息论正式诞生的里程碑。在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：
　　
　　　　H=∑-pilogpi
　　
　　如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特（bit）为单位。今天在计算机和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。“比特”的出现标志着人类知道了如何计量信息量。　　
　　香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。　　
　　香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。他的同事D.Slepian说：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。但是，如果你要找他，他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才，在我认识的人中，我只对他一人使用这个词。”　　
　　克劳德·香农在公众中并不特别知名，但他是使我们的世界能进行即时通信的少数科学家之一。他是美国科学院院士、美国工程院院士、英国皇家学会会员、美国哲学学会会员。他获得过许多荣誉和奖励。例如1949年Morris奖、1955年Ballantine奖、1962年Kelly奖、1966年的国家科学奖章、IEEE的荣誉奖章、1978年Jaquard奖、1983年Fritz奖、1985年基础科学京都奖。他获得的荣誉学位不胜枚举。　　
　　贝尔实验室和MIT都尊崇香农为信息论及数字通信时代的奠基人。是他将布尔代数的“真”与“假”电路的“开”与“关”对应起来，并用1和0表示。这是从理论转换到实际产品设计的一个重要的环节。

    第二次世界大战期间跨学科研究繁盛，这种理论上的相得益彰对于创造信息技术的新浪潮来说，意义重大。影响最为深远的科学突破之一是香农的信息论，它是我们今天对于传播的主要理解的基础，特别是新的传播技术的设计基础。信息概念，作为信息的普遍测度标准的比特，以及从香农工作中衍生出来的传播模式，使得我们能够以一种在香农之前不可能存在的方式分析传播系统。在传播学中，信息是一个中心概念，而香农的信息论成为传播学的根本范式。

什么是信息论

信息以某种非同一般的方式运作。一般来说，当它被有选择地分享时，它的价值就增加。它不会因为使用而贬值，尽管它可以过时。最为奇特的是，你可以在不放弃信息的情况下将其分发。因此，它与货币或其他形式的能源，或物质在本质上截然不同。香农的信息概念建立在热力学熵的等式的基础上，并将信息的测度单位定为比特。比特的一个重要优点是：它能够为范围极其广泛的“物质-能量”所使用。

香农的传播模式

香农为贝尔实验室工作，它关注传播系统，特别是电话系统的越来越广泛的信道能力。香农的最初目标是简单的：改进受电子干扰，或噪音影响的电报或电话线上的信息传递。他断定，最好的解决方法不是改进传递线路，而是更有效地包装信息。1984年香农的两篇论文提出了一系列以数学形式表达的定理，涉及到一个讯息从一个地方向另一个地方的传递。香农也阐述了传播所涉及的主要因素：信源、讯息、发射器、信号、噪音、接受到的信号、接受器和信宿。香农的整体理论贡献被普遍称为信息论，尽管香农将之称为“传播的数学理论”。

传播被定义为“一个过程，通过这个过程，一个人的思想影响另一个人”。因此，它被看做是有意图的。在其著作《传播的数学理论》中，韦弗和香农都提供了一种同样的线性传播过程模式（信源、讯息、发射器、信号和噪音等）。以其最简单的形式来说，这个模式表达了一种线性的、从左到右的传播概念。传播学学者用它来关注传播效果，特别是大众传播的效果，尽管香农的意图是要解释传递讯息的信道能力，而不是它的效果。但是，香农模式的线性的、从信源到接受器的性质导致传播学者在这个概念链条的末端加上了效果。他们寻求对效果问题的解释，即在讯息构建过程中展现诸如信源的可靠性和劝服策略等其他变量的基础上，效果是在怎样的程度上发生的。换句话说，他们用香农的概念变量来预测他们的因变量，后者是超出前者的东西。不幸的是，人类传播的社会科学家对于香农模式的使用，导致他们偏离了对主观意义的强调，这些主观意义正是通过个体间的信息交流而产生。讯息的编码和解码是一个社会过程，牵涉到卷入其中的个体间的人类关系，也牵涉到他们的个人信念以及以往的经历。

对于传播学的初学者来说，香农模式在解释一个传播 行为iede基本组成部分（信源、信道、讯息、接受器、噪音和反馈）方面是非常有用的。他的信息论为什么是传播的问题设定了界限。“明确的、逻辑的东西，由一种有意图的、公式化的编码程序所产生，并通向成功的相互理解”。这个传播定义没囊括发生在人们之间的全部种类的相互作用。例如，信息论忽略了非语言的传播。

香农谨慎地限定他的信息论的运用：香农说他的模式限于工程传播或技术传播，不适合人类传播，因为后者是这样一种信息交流类型，在此，一个个体解释一个讯息的意义。在香农的理论中，“信息”这个词是在一种特殊的意义上被使用的，特别是，信息不能和意义混为一谈。事实上，两个讯息，其中一个充满了意义，另一个纯粹是胡说八道，但从现在的观点出发，可以把它们看成完全相等的东西，即都是和信息有关的东西。而这，正是香农在说“传播的符号方面与工程方面无关”这句话所要意味的东西。

韦弗在他们的合著的介绍部分区分了三种层次的传播问题：

A层：传播符号如何能被准确地发射？（技术问题）

B层：被发射的符号如何能够准确地传递意图中的意义？（语义学问题）

C层：被接受的意义如何有效地以意图中的方式影响行为？（效果或行为问题）

香农的信息论对传播学的影响

香农的单向传播行为的模式有助于奠定传播学的学术领域。比起任何其他的理论概念化工作来，它更适合于作为传播学的范式，即为传播行为中的主要组成部分提供了一个单一的、易于理解的明确说明。这些主要组成部分是：信源、讯息、信道、接受器。因此，对于传播行为iede传播研究可以确定出信源变量（诸如可信度），讯息变量（就像使用恐惧诉求）、信道变量（诸如大众媒体与人际信道）和接受者变量（如受众个体的可说服性）。传播研究中的因变量对效果进行测度，诸如接受者一方的认识变化、态度变化等。

香农信息论的第三个要素，也就是在他信息的定义、测度以及他的传播模式之后，是他关于信道能力的命题。香农的命题论述了诸如带或不带噪音的信道、信源的熵、信道能力和连续与不连续的信息等等概念之间的关系。而他关于信道能力的命题却几乎被传播学学者忽视，一个基本的原因是，人类传播学者对于信道能力不那么感兴趣。香农的信道能力的主要因变量与传播学者对于传播效果的基本兴趣不是十分吻合。

香农的理论对于正在崛起的传播学领域产生了巨大的影响。从历史的眼光看，信息论是传播研究发展的一个主要的刺激因素。它使得在此以前的模糊的信息概念变得在数学上可以操纵，将它从涉及认识和传播术语的各种学科的有冲突的要求中解放出来，并赋予传播和信息过程的研究以合法性。信息论对传播学理论影响尽管很强且持久，但并非完全是积极的。香农的传播模式在由传播学学者做了某些改变（诸如增加了反馈）之后，又将传播学学者引向对传播行为进行单向的概念化工作，引向注重对传播效果的确定。但是，因为传播学者就信息论所做的事情而批评香农的理论，这公平吗？“批评香农的模式不适合人类传播的复杂性，犹如因为一艘划艇不是一条鲸而去批评它一样”。

[1] 《九江学院学报》http://www.cnki.com.cn/Article/CJFDTotal-JJSZ200706001.htm

[2]  电大在线 http://media.openedu.com.cn/media_file/netcourse/asx/xdjyjs/public/05xgzy/ren05.html 
http://baike.baidu.com/view/513394.htm