余江｜香农的极限

余江I香农的极限【德不孤必有邻】作者：余江/【开卷有益05】男子甲与女子乙，互相爱慕却异地相隔。为表达思念之情，男子甲决定书信寄予女子乙。男子甲把心中的爱意满满地写在三张信纸上，他把邮件郑重地交给了快递，开始期待着情书能够快快送到女子乙的手里。不料，途中碰到阴雨天，信件受了潮，字迹也变得模糊。当女子乙收到信，打开来，许多内容已经无法辨认。其中的—句，看上去无比关键，却是这样的：“这个月下旬的X5日，老时间，我们在老地方见°”X5,是这个月的15日？还是25日？她捧着信笺仔细琢磨，蓦地注意到“这个月”后面的“下旬”二字，女子乙欣喜地断定，25日就是她与爱人相见的美丽日子……这不是一个普通的爱情故事，是有关一个伟大的信息理论的通俗解释，而创造这个理论的人，汉译的中文名亦极具诗意，他就是将“比特”概念引入信息领域的、现代信息论的创始人、密码学的鼻祖--克劳德■香农(ClaudeElwoodShannon)。汉语中最早关于“信息”的记载，是在南唐诗人李中《暮春怀古人》一诗中，有“梦断美人沉信息，目穿长路倚楼台”的佳句。如今,“信息”一词，早就被普遍熟悉。全球网民30亿，手机用户量将近74亿，互联网每天产生的信息量可以达到1EB，人们的衣食住行无不都与之相关，人类正以爆炸性的速度全面进入到“信息社会”。信息社会里的“信息”，看得见，摸不着，却有大有小，可以计量。比如，我们经常会说，“这个文件有56KB”；“我今天买了一个U盘，容量是15GB的”；“电脑硬盘容量是1TB”等等。KB也好，GB、TB也好，说的都是信息量的大小多少。在19世纪末、20世纪初，信息量的计量与共同单位是什么的课题，困扰着该领域的深度钻石的科学家们。特别是到了20世纪三、四十年代，电话电报、无线通讯的发展，让如何计量信号中信息量的问题更加迫在眉睫。直到克劳德■香农(ClaudeElwoodShannon)将“比特”的概念引入信息领域，并由此系统性地阐释了信息量的概念。然而，这个在世人眼中影响整个信息技术领域的大发现，却只是香农的众多伟大成就中的一部分。香农，到底是什么样的一个人？他又有着怎样的人生轨迹呢？香农的高度■Shannon-香农天资卓越，家境良好，通才硕学，成就斐然。他的婚姻顺利，子孙满堂……没有大起大落的人生，却收获了无比的高度和丰厚。1916年4月30日，香农出生在美国密西根州的Petoskey,并在Gaylord小镇长大。他的家境不错，有着良好的教育环境，父亲是小镇上的法官，母亲是镇里中学的校长，祖父是一位农场主，也是发明家。香农从小受祖父影响，也热衷于小发明小创造。1936年，20岁的香农从密歇根大学毕业，进入麻省理工攻读研究生，四年后，他成功取到了博士学位。求学期间，香农曾师从布什，专事“继电器逻辑”相关研究，博士毕业后，随即进入贝尔实验室工作。香农人生的大部分时间是在贝尔实验室度过的。在这里，香农与数据分析员玛丽(MaryElizabethMoore)相识相知相恋，最终走到一起。完美的婚姻，支撑着他的研究事业，也为他带来了三个儿子和一个女儿。哈里特博士论文《信息的传输》触动并启发了香农，他由此走上长达八年的研究之路，潜心在信息领域中的关键性难题。终于，1948年，香农在《贝尔系统技术杂志》上发表了244页的长篇论著，这就是《通信的数学理论》。而一年以后，他又发表了《噪声下的通信》。这两篇论文的发表，经典地阐明了通信的基本问题，在文章开头的故事中“男子甲与女子乙飞鸿雁传书”恰好形象地描绘出了何谓信息论。男子甲是信息源头，快递是传输信道，女子乙是接受信宿，即通信过程中接收和处理信息的设备或计算机，途中阴雨天气是信道中的干扰，男子甲聪明地增加了富裕的文字表达，有利于女子乙解析情书内容，这个过程可以类比为编码和纠错。香农的信息论所主要讲述的，就是信息源通过信道将信息传输至信宿的过程。香农同时给出了简明数学公式，说明信息传输的速率与信道的宽窄（道路宽窄）、干扰（道路平坦度）等因素相关，这便解决了精确地传送通信符号的基本技术问题。《通信的数学理论》和《噪声下的通信》成为现代信息论的奠基著作，标志着信息论的正式创立。事实上，信息论虽然给出的不是编码算法的具体实现路径，却明确指出了通往编码“成功之路”上需具备的“优秀品质”，以及在特定的“优秀品质”下能够实现的“成功高度”。由此，香农确立了信息传输的极限，这就是“香农极限”，在他的以后，无数的研究者为逼近“香农极限”而绞尽脑汁、夜以继日。香农的信息论极大地促进了信息技术的发展。这个结论首先应用于电话电报，然后是光纤通信，现在又用在无线通信上。今天，当我们拔通越洋电话或是卫星电话，能够与远在千万里之外的亲朋话说家常，是因为通信传输质量的有效改善，而这些改善都与香农的信息论密切相关。香农的丰厚■Shannon-贝尔实验室，不仅是香农甜美爱情和美满婚姻的福地，也是科研成就的幸运宝地。他在这里工作了31年之久，其中专攻通信数学原理领域将近八年，并取得令世人瞩目的成就，奠定了信息技术发展的未来方向。不过，香农的成就远非如此。在信息论创立之后不久，他又证明了“不可破译的密码是可能的”，从而验证信息安全传输的理论，最终在量子物理技术中得以实现，因此人们又称其为现代密码学鼻祖。香还是贝尔实验室知名的“杂耍”达人。他从小就热衷于平衡与控制稳定性相关的游戏，他的平衡兴趣与能力也是十分有名的。在贝尔实验室的大厅，人们时常会看到骑着独轮车、手里抛着三个球的香农，有时，他也会踩着高跷出现在楼道之中，让同事大呼惊叹。香农的家中摆满了钢琴、短笛等各种乐器，他对音乐热爱，若在今日，一定会被赞为“音乐达人”。美国心理生物学家斯佩里博士，专注于研究左右脑的功能划分，逻辑思考主要依赖于“左脑”，右半脑主要负责身体协调、空间形象记忆、直觉、情感、音乐节奏、想像、灵感等。身为“音乐达人”和“杂耍达人”的科学家香农，可谓是左右脑思维同时高效而欢快并用的典范。古人讲，文武之道，一张一弛。香农事业中的伟大成就已是满满的正能量，生活中的兴趣和放松让我认识到有趣如邻家大叔一般的他，我将这一份有趣和丰厚关照进我的生活，使我以一种新的视角去坚持自己的爱好，和开辟新的玩法。在另一侧面，香农的有趣也反映出贝尔实验室自由的科研环境。贝尔实验室是推动美国近代科技崛起和成功的三驾马车之一，另外两驾马车，一是是硅谷、DARPA（美国国防部先进研究项目局），贝尔实验室则是晶体管、数字交换机、通信卫星、以及通信网等许多重大发明的诞生地。贝尔实验室拥有一套非常独特的考核标准和激励制度，成就的认可是根据专家和知名度的鉴定。在这里没有硬性的考核指标，没有解雇的风险，工作部门发现不适合，可以换到其他更合适的部门，工资不变。为了保证其技术的纯洁性、公正性和可信性，贝尔实验室采取谨慎的市场化思路。科研成就最重要的标志就是能得到全球范围内的专家认可，并经得起历史的检验。平台与个人之间是互相成就的，贝尔实验室的科研环境、绩效制度、创新驱动等等给予了香农施展个人才华的空间。香农的信息论也为贝尔实验室在信息技术领域的重要地位增色不少。贝尔实验室为纪念香农的卓越贡献，在大厅门口建立起塑像，供人瞻仰、激励后生。香农的幸运■Shannon-香农进入的研究领域，他并不是第一人。哈里特研究过，维纳研究过，冯诺曼研究过，图灵研究过，我们知道上述名字都是信息技术领域的“大牛”，但是香农却后来者居上，在信息论领域取得突出贡献，成为了“信息论之父”。香农是幸运的，我们往往发现后来者居上，或者跨界者取得辉煌成就，就像诺贝尔奖得主量子物理学家德布罗意，就曾是历史学家。但事实上，牛顿早就说过，如果说我看得远，那是因为我站在巨人的肩膀上。科学的发展不能够以某个独立时间窗去审视，科学是不断的迭代和创新的，正是有了哈里特和维纳的研究，才有了香农信息论的重大突破，从而开启现在信息技术、现代社会的发展。在喟叹香农幸运的同时，我更看到他在贝尔实验室历时八年潜心研究的艰辛和勤奋。尽管他生活中有音乐、有杂耍调剂，但“科研战场”同样是异常激烈和残酷。香农的同事D.Slepia曾经写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。他总是关起门来工作。不过，如果你要找他，他会非常耐心地帮助你。”香农以刚刚毕业博士的身份进入信息领域，凭着扎实的理论基础、艰辛的工作、坚韧的意志，在众多“大牛”曾经攻城掠地过的领域，成就了伟大事业，因为，“在科学上没有平坦的大道，只有在那崎岖的小路上不畏艰险奋勇攀登的人，才有希望达到光辉的顶点。”信息论在中国■Shannon-在中国，有两位数学家和一位新闻系教授是香农信息论功不可没的推手。早在上世纪五十年代，北大数学系教授江泽培和南开大学胡国定教授就开始了信息论的相关研究。两位教授都是在五六十年代求学苏联，后回国致力于信息论相关研究。数学界著名的“胡国定定理”和“多维平稳过程的预测理论”，就是两位教授将信息论在中国推动与发展的重要成果。当我着手查阅江泽培和胡国定两位教授相关资料时，遗憾地发现先生们都已仙逝。不过，令我惊喜的是，国内计算机学杨芙清院士曾经师从江泽培教授，而我对于杨芙清院士熟悉程度缘于她是北大的信息与科学工程学部主任，读书时，我曾经多次与杨院士交流。我能够深深地感觉到两位教授学术生命的延续和传承，而这样的延续和传承是几何级数般的强大。回顾上世纪五十年代,两位教授的研究工作或许只是那个时代中的一个小命题，因为相对于宏大的国家命题和社会命题，技术的细节显得相对微观，也不易获得更多地认同和追随。不过，我们不难发现，当时间流淌过岁月，越是从事贴近真理、贴近社会应用、便捷于人们生活、代表技术未来工作的科学家们，越可以在幽暗的历史长河中亮起星光。两位教授的学术研究和成果，不仅推动了香农的信息论在中国发展，更助力了中国现代信息技术的发展。当下的国内信息产业已经是现代生活的重要支撑，互联网的发展创造了一个又一个的技术型大公司，提供了一个又一个消费时点。如今，“互联网+”战略已经是国家层面战略，它将与传统行业紧密融合，形成全新的商业模式和价值链条，从方方面面变革、创新我们的生活。中国，同样是互联网受益最多的国度。20世纪80年代，复旦大学新闻系教授李良荣，将信息论与传播学中信息的概念引入了中国新闻学，这在后来又发展出一门新的学科“信息新闻学”。可见，香农信息论在中国跨界的应用也是硕果颇丰。信息论在新闻学中的应用，学界争议不断，但人们的探索却从未停止。日前，国内某超大网站的新闻已经可以实现由智能机器人自助形成稿件。这或许是一件趣事，但它让信息论在新闻学中的应用，看得见，又摸得着，实实在在。香农曾来过-Shannon-在《人类的群星闪耀时》一书中，茨威格说：“一个人生命中最大的幸运，莫过于在他的人生中途，即在他年富力强的时候发现了自己的使命。”香农正是在年富力强之时，进入通信领域，并创立了信息论。他，是何其的幸运。晚年的香农患上了老年痴呆，明知那一种吞噬记忆的病，我却兀自想着，他一定可以在某个瞬间，温暖地回想起自己童年时的小小发明，年轻时的求学经历，在贝尔实验室的恋爱和工作……而且，他大可欣慰，甚至可以满足于他创立的信息论带给人类生活的巨大改变 香农曾经来过，那个信息论之父，那个一边骑着独轮车一边抛着球的杂耍达人、那个热爱音乐的温厚的人，那个在“科研战场”上孤