深入新型“计算知识引擎”发布内幕编辑本段回目录
深入史蒂芬·沃尔弗拉姆的新型“计算知识引擎”发布内幕
4月27日晚，暴雨拍打着杰米·威廉（Jamie Williams）隔间旁的小窗。这位物理学家坐了下来，筋疲力尽，却仍沉浸在食品科学的种种细节中。他面前的屏幕显示了一张来自美国农业部的原始数据表格，包含了从黑莓到牛肉等7000种食物的相关数据。他和一个四人的团队正在“审查”这些数据，为一种新的在线搜索做准备。
他梳理那些标识了150种属性（营养成分，热量，碳水化合物等等）的标签，保证各种缩写保持一致，并被电脑识别。他将食物分组以便更有利于自然语言查询。例如，搜索关于“牛奶”营养成分的信息将给出相关均值，而“脱脂乳”的搜索将给出特定的答案。
威廉并没在硅谷的网络企业家的阵营中立足，而是在中西部的一座科学怪人的城堡里：伊利诺斯州香槟市的Wolfram研究院，它位于一座可以俯视华尔格林公司和麦当劳的办公大楼中。这也是史蒂芬·沃尔弗拉姆（Stephen Wolfram）的“藏身处”。沃尔弗拉姆是一位物理学家，数学软件Mathematica的发明人，这款软件是面向数学家、科学工作者和工程师们的一款通用的、最为完整的、技术与图形化软件。
威廉正在致力于一项被公司称作“计算知识引擎”的工作：Wolfram Alpha。对于提出的问题，Alpha计算出答案而并非仅仅列出网页。它包括三个部分，一个在香槟市人工维护的不断扩展的数据库，一个精心制作的计算器，和一个用于查询的自然语言界面。
Alpha 之父： 源自他自己对科学再创新的认识，史蒂芬·沃尔弗拉姆希望避开网页搜索，而是通过计算来回答用户的在线查询，所有资源都来自于公司的数据库。5月15日，他在伊利诺伊州的控制中心发布了他的“知识引擎”Wolfram Alpha。
来源：罗伊·瑞奇
什么是Wolfram系统可以做而谷歌却做不到的呢？例如，你想要知道你奶奶的玉米面包中含有多少胆固醇和饱和脂肪，你需要将黄色的索引卡上标出的成分输入到在线查询框中，Alpha将会开始计算并给出一个美国农业部官方风格的营养标签。Wofram研究院的创建人之一西奥多·格雷（Theodore Gray）说：“当然，你也可以使用谷歌，寻找出标准鸡蛋中的热量等等，但这是多么痛苦呀！你需要数据，并且需要那些已经根据需要转换好单位的数据，然后你要把他们加起来。你可以像几十年前一样去做，到图书馆找到参考文献，现在你可以通过谷歌或者其他搜索引擎开始查找，但我们使这变得更为简单了。”他补充道：“使用传统的搜索引擎，输入‘加入一杯糖，一磅面粉’，它会给出满屏无用的信息。”
这只是可以反映Alpha是做哪一类事情的一个例子：对特定的一类问题，首先通过一个有限集合，提供更深入、精确并且更图像化的答案。搜索“D# 大调”将会给出音乐谱线图，搜索“金星”将得到详细的当天夜空图，搜索成对的公司名将得到两公司的对比图表。它也会增加一些额外信息：搜索“纽约，伦敦，距离”不仅可以得到按照公里、英里和海里计量的距离数值，还有一张标出飞行路线的地图，并有喷气式飞机、声波和光束完成这一行程耗时的对比。询问某个字（以word开头）将会得到词源学的表格和同义词网络等。
为了完成这类工作，它运用数学、科学数据集合和已经嵌入到Mathematica中的一些公式，完成答案的组建。对于一些新的信息，如政府食品数据，仅需少量的重新整合，这也正是威廉目前正在做的。其他的，如实时股票价格，则需要执照。另外的信息，如飞机航班数据，则需要从一些公开的网络资源如维基百科、Freebase中收集，经整理后得出。
沃尔弗拉姆本人却正在波士顿，准备次日下午的首次公众演示（他已经给万维网创始人提姆·伯纳-李（Tim Berners-Lee）和其他技术界领袖，包括微软的比尔·盖茨、谷歌的谢尔盖·布林和亚马逊的杰夫·贝索斯在内的人们演示过）。我坐在格雷的办公室里，这里更像是一个元素周期表的世界而非工作间：镍、铬、硒、硫磺等将近一打样本装饰着玻璃架子。（他自豪的打开一个铅盒，拿出一个昏暗的大约两包扑克牌大的金属板，那是11磅重的非浓缩铀，但仍有一定的放射性。）格雷说：“目前只能搜索基于文本的现有素材，这种想法是有局限性的，代表了想象力的一种失败。”
只是初步：Wolfram Alpha起初范围有限，只拥有一个有些死板用户界面和模糊的信息来源，但公司合伙创建人（素材收集者）西奥多·格雷表示，目前主要的搜索引擎正遭受“大量假的幻想信息”的困扰，并且计算能力非常差。
大厅的另一侧，身为宇航员和MathWorld（目前由Wolfram主持的一种在线参考服务）创始人的埃里克•魏尔斯史甸（Eric Weisstein）正坐在办公室的吊兰植物和蜡纸杯之间（这可以有效地净化空气，他解释到），将一个复杂的单位转换器中已经完成转换的内容输入到Alpha中来检验结果。魏尔斯史甸说：“如果你搜索网页，不说上千，至少也得有上百个网页可以完成英尺到米的转换。但他们不够灵活，不够权威，大多数情况下覆盖面也不足。”
这种计算并不能告诉你一杯牛奶或者一杯面粉中有多少克（答案因物质而不同），更不用说用它们来转换1“捏”（对于盐来讲，是380毫克）或者1“滴”（如果是谷物油，1“标准滴”是56毫克）或者1“大桶”（相当于很多的酒，重248千克），还有更少见的导热系数单位，男士帽国际通用大小单位，或者任何种类的蒲式耳。魏尔斯史甸说：“蒲式耳很重要，1蒲式耳大豆和1蒲式耳小麦是不一样的，也和1蒲式耳容积不同，更别提1蒲式耳质量了。我们已经建成了世界上最好的单位换算器！”
在整座建筑和一些远程的分部里，大约有150名Wolfram员工以相似的方式工作着。我在艾得·佩格（Ed Pegg）的工作间里找到他，他正沉浸在瓷砖的课题中。他手边是一些权威的参考资料，700页的由Grünbaum和谢泼德（Shephard）写的瓷砖与样式，详细描述了人行道砖块的箭尾型和篮筐纹路材料的晶体学样式。
还有更多的花样：伊斯兰瓷砖样式（八边形、六边形、两种星型）；由九边网状楔形组成的双螺旋；基于各种五角型的14种样式。尽管瓷砖的资料不会在引擎发布之前加载使用，佩格仍然创造了样式的组合和计算方法。使用这些工具，图案设计者就可以创造出埃舍尔样式（例如使用交互的鲜花，而非杂色金丝雀）；化学家就可以探究一系列分子如何互相组合；家庭主妇则能够想象出一个新的浴室地板样式。
但首先，Alpha需要发布，而发布时间只有三周了，很多东西仍不确定。自然语言界面能够很好工作么？两台超级计算机（刚刚送达城外的数据中心）能否在发布之日支撑住？或者网站会瘫痪么？像被公认为2008年谷歌杀手的Cuil经历的那样？并且，人们真的在乎光速从纽约到伦敦用多少个毫秒么？在香槟市，开发人员正努力消除这些可能的隐患。威廉透露到：“想到问题从来不会停止，就令人感觉不安，尽管这仅仅是发布。”
格雷走进威廉的工作间，两人聚在电脑屏幕前，静静地观察了一会儿。
“为什么搜索两杯面粉和两个鸡蛋，它就不工作了？”格雷最后问到。
“嗯，这有个错误”威廉回答。
缓慢的语义学
1993年，马里兰大学一位刚毕业的俄罗斯学生来到Wolfram研究院实习，他非常聪明并对计算机充满兴趣，在Mathematica软件的核心方面做了一些实际工作。随后，他离开研究院前往斯坦福大学拿到了自己的硕士学位，并和他人一起创建了谷歌。如今，谷歌要处理约64%全美国的搜索。但是，从前的那个Wolfram实习生瑟吉•布因（Sergey Brin）并不是很开心。他统领了一个产业，身价120亿美金，在瑞士达沃斯的世界经济论坛年会上叱咤风云。
然而，搜索技术并没跟上他的个人提升的步伐。“我仍然希望，我们能够在更多重要领域取得进展。”布因在谷歌2008年度报告中写到：“完美的搜索需要近乎和人一样的智能，许多人仍然觉得这很遥远。然而，我相信，很快我们就会拥有一个搜索引擎，可以比今天的那些更多地理解我们的需求和文件的要求。有人声称已经可以做到这点，谷歌的后台系统也已经比外观部分更智能，但整个业界仍然因不能达到我希望的成果而感到羞愧。”
近年来，在网络搜索的一些主要领导角色中――从Excite（已破产）到Alta Vista（2003年被雅虎收购）到如今的顶尖五玩家（谷歌，雅虎，微软，Ask和AOL）――其核心方法仍然相同。他们创建大量的网页索引，即他们的软件为了找到最匹配的查询结果，将不断“爬满”数十亿计的网页，收集短语、关键字、标题和链接。
谷歌的成功之处在于它排列网页的方法，部分基于对链接之间结构的分析来产生较优的结果。虽然网页在过去的十年中已经翻了10000倍，但搜索引擎在找到相应答案并进行智能组合方面仍未取得相应的进步。语义学网页――一个期待已久的系统，其中的信息被标记并可以进行上述处理――仍然是遥遥无期。
去年，雅虎发布了“搜索猴子”（SearchMonkey），让网页发布者通过增加标签来使搜索引擎软件提高搜索质量，如“这是个地址”、“这是个电话号码”等等。（所以现在，如果你在雅虎上搜素一个饭店的地址，你可能不仅得到该饭店网页的连接，还会列有该饭店地址，电话号码的宣传单，还有一系列编辑好的评论。）雅虎实验室主管普拉巴卡尔·格海文（Prabhakar Raghavan）说：“‘搜索猴子’所做的就是，发掘了语义学网页的潜力并将它公布于众以便发布者可以参与进去。” 谷歌最近也开始研究相似的技术，并称其为“丰富片段”（rich snippets）。
即使由伯纳•李（Berners-Lee）领导的国际标准制定实体--世界万维网协会（World Wide Web Consortium，W3C)--已经制定了一系列措施，来促进推广语义学网页，但这个想法仍在互联网上传播缓慢。位于阿姆斯特丹的领导着世界万维网协会语义学研究的伊凡·赫尔曼（Ivan Herman）表示，即使世界万维网协会的标准被广泛采用，他们也不能在计算上有太多指导性。他说：“数据、数值计算和数学处理如何结合起来，仍然没有明确的定义，这当然是我们需要展开工作的领域。”
虽然目前的搜索引擎正逐步推广，并向新的领域扩张（地图、照片、视频、新闻），学习回答简单问题（“纽约的人口是多少？”），甚至进行简单的转换（“10英镑等于多少千克？”），但它们并不深入和高效。华盛顿大学计算机科学家和语义学网页研究员丹尼尔·威尔德（Daniel Weld）说：“虽然谷歌很棒，但我更愿意使用企业号飞船上那样的计算机，你可以对其询问一些高层次的问题，它会给出答案并加以解释，然后你可以提问说‘为什么你认为这是对的？’它就会给你答案的出处。”
当史蒂芬·沃尔弗拉姆看到这点时，他正在组建以真正智能的方式回答提问的基础构架――尽管起初只是偏向于一些怪异领域。他说：“我们无需面对网站普遍存在的员工变迁问题，我们咬牙坚持：‘让我们自己来处理这些数据吧！’如果语义学网页已经存在，而我们仅需要收集数据，那就太棒了！那会是完美的结合，但事实不是这样。”
演示
4月28日下午3点，，离发布还有两周的时间， 49岁的沃尔弗拉姆站到了哈佛法学院的讲台。他有着灰白色头发，略现秃顶，一脸紧张神情。他衣着朴实，像往常一样穿着一件土黄色牛津大学衬衫、卡其裤子、和耐克运动鞋。他首次向公众（网络播放）展示Wolfram Alpha。操着一口柔软的英国口音，他很快简介了引擎的一些技巧，例如键入字符Gs，Cs，As和Ts来得到DNA序列里出现的碱基详细数据。
过去20年间，沃尔弗拉姆已经因他的才智和极端自信而出名。作为一个出生在伦敦的天才，他跳过了本科学位，直接从加州理工学院拿到了物理学博士学位，当时他才20岁，两年之后，他获得了麦克阿瑟基金会“杰出人物”奖。他在加州理工、普林斯顿高级研究院、和伊利诺伊大学都有杰出的成就。
但在20世纪80年代中叶，他离开了学术领域，组建了Wolfram研究院。1988年，公司发布了第一版Mathematica软件。该软件包含了丰富的数学函数库和在二维、三维显示数据的图形化工具，并有着翔实的数据库，囊括了宇宙天体、化学化合物、次原子微粒、社会经济学事件、金融证券、人类基因及蛋白质、和一些简单的生平传记等信息。它提供了很好的可视化工具：集合形状，分子图，轨道描绘。
第一版Mathematica软件发布14年之后――期间他并没有公布任何研究成果――Wolfram出版了一本1200页的书，《一种新的科学》（A New Kind of Science），之后常称其为NKS。书中，他假定了许多复杂系统和问题――从动植物分类学到量子力学――都可以简化成简单的规则。在《纽约时报》上，乔治•约翰逊（George Johnson）声称，“没有人在看待世界的方法上带来如此巨大的影响。”
但沃尔弗拉姆的自我评价——这本书“已经被看作是科学历史上重要的模范式变革的起步”――却吸引的不止是眼球。麻省理工学院计算机科学家斯科特·阿伦森（Scott Aaronson）说：“形容词 Wolframian已经进入到词典，意思是将每个人都知道的事情展示出来，并看作是现实自然界的重要发现。”阿伦森并不否认Mathematica是一个很“酷”的软件，但他认为，NKS虽然作为通俗科学上有价值，但却“对我所了解的计算机科学和物理领域本质上没有影响。”
对于沃尔弗拉姆来讲，Alpha融入NKS成为了人类科学的勇敢探索之一。他曾经发布过一张两页的列表，将Alpha放在了以算数与书面语言的发明为开始，逐步到亚历山大图书馆，牛顿和大英百科全书的创建这一整段历史的最后。他将Mathematica定位在1989年互联网发明之前；NKS位于维基百科和Web2.0之间，而把最后一段的 Wolfram Alpha表述成：“定义了一种新的基于知识的计算。”
对Alpha的重要性的实际验证，部分来自于沃尔弗拉姆在哈佛法学院的演讲。在下午3：17分，谷歌的官方博客公布了一项新的服务，允许人们搜索并比较一些公共数据，包括联邦人口统计和劳动力数据。这项服务不仅返回网页链接，而且会有谷歌自己绘制的图表。（例如搜索“俄亥俄州失业率”，将会得到一张数据图表和一些用来和其他州失业率比较的方法。） 博客声称，它开创了允许键入各种领域的“感兴趣的公共数据”的新方法，包括“饼干的价格、二氧化碳的排放量、气喘发病率、高中生毕业率、面包师的工资、野火发生的数目和其他一些项目”。
谷歌自从收购了图像技术公司Trendalyzer开始，已经开发此项业务两年之久。公司表示，发布的时机完全是巧合。但很明显，这个产业巨头也同沃尔弗拉姆和他的同事们一样，也意识到了网页搜索的不足。
两周之后，Wolfram发布的前夜，谷歌在“搜索学”技术会上，宣布了另外一项数据决策服务，谷歌平方（Google Squared）。这项技术在谷歌实验室网站上可以使用，能将来自不同的网络资源组合，并打包成漂亮的表格。例如，搜索“过山车”，可以得到从亚瑟王神剑到Montezooma的复仇等美国主要娱乐公园的一张表格，表格的每列有拇指大小的照片，描述了过山车的高度、长度。用户可以点击结果，来删除原始表格中的错误，并修改搜索结果。谷歌副主席玛瑞莎·迈耶（Marissa Mayer）在会议中表示，谷歌平方“给搜索指引了全新的方向”。她补充道：“将杂乱的信息组织起来并结构化地展示是计算机科学上的难题。”
谷歌也表示，他们将在搜索结果中提供更好的实时数据。如果你搜索“旧金山大地震”，谷歌和Alpha相似，都将会从美国地理调查中挑选出最新的相关报告。（这点和航班、或比赛比分的实时数据相同）谷歌研究主管皮特•诺维格（Peter Norvig）告诉我，这项技术代表了公司在搜索、组合和数据展示方面的努力前景。“总之，我想说，我们的方法将更加面向开放系统，而非封闭的、被引导的系统。”诺维格还说：“但我真的很欣赏Wolfram Alpha提供的更包容的用户界面和数据分析工具。我们想更进一步，也许和他一决雌雄将激励我们更多更快地研发软件。”
搜索引擎Ask的技术执行副主席斯科特·金姆（Scott Kim）更直接地认为，Wolfram将会产生一定影响。他提到Alpha时说：“我认为，它开阔了人们的视野，普通公众的视野，让人们知道可以从计算引擎中得到些什么，它是怎样集成到搜索引擎当中的。这绝对是未来搜索的一部分，但仍有很长的路要走。”
发布
在香槟附近的新数据中心里，演出主角史蒂芬•沃尔弗拉姆确认了两台超级计算机由蓝绿两个LED灯点亮，并为自己建立了略高的指挥部。他已经安排了网上直播。5月15日晚上10：30，暴风预警覆盖了伊力诺依州大部，他用鼠标点击了“开始”的按钮，随后，安装在墙上的大屏幕显示了计算机群迅速启动并运行。他说：“从统计的角度讲，肯定会出现一些差错，问题是故障究竟是什么。”尽管有一些电压波动和早期超级计算机曾出现过载，沃尔弗拉姆还是避免了类似Cuil公布时出现的系统崩溃。
然而，他的引擎本身也面临着性能上的巨大问题。尽管当它“知道”一些事情时，它的表现是那么完美而优雅，但是当有更多的未知摆在面前时，（并且很难猜测出它知道什么），Wolfram Alpha网页经常出现对你的输入不确定去做什么的情况，这主要因为它组织好的数据间存在着巨大的空隙。Alpha是一个图书馆，而那些书架却只是部分被填充，在历史、政治、文化、体育、社会科学和流行文化方面仍是空白。网站本身也受一个缺乏灵活性的自然语言界面的困扰。
例如，你搜索“艾萨克·牛顿生日”，你会得到牛顿的生日（1642年12月25日；你也会知道那天月亮正处在由新月向满月的变化阶段）。但如果你输入“艾萨克·牛顿出生”，Alpha就会卡住。阿伦森和我测试了它，发现它不能回答“谁发明了互联网？”并且不知道各州的国民生产总值，只有一些国家层次的数据。但它能够解决任何数学问题，包括地球表面积是多少。阿伦森查询“爱尔兰的国民生产总值除以42的余弦是多少？”得到了一个对数坐标下的使用从1970年到2007年相关生产总值数据进行相关计算的表格。
最后，是一些标注上的问题。点击链接可以得到各种资源：中央情报局的世界概况、“科学史上的今天”的网页、美国地质勘测调查、道琼斯指数、和物种目录（一个国际维护全球已知物种的索引），但并没有指明哪个资源提供了哪项事实。（格雷表示，公司正在努力工作，增加这类对特定的事实和计算结果进行标注的标签。）
但如果你给Wolfram Alpha足够的宽容，也就是你询问它所了解的项目和它理解的一些使用过的搜索词，并且不关心最初的来源，它会表现得翔实、智能、并有着惊人的图形效果。对物质的搜索会给出化合物组成图，对天体的搜索会给出夜空图（视角是根据你的计算机的IP地址对应的地理位置而定）。它可以做普通人都想做的（例如产生定制的营养标签）和那些只有极客（geek：智力超群善于钻研行为方式特立的人）关心的事情（如由布尔代数等式产生一系列真值表）。
加州伯克利大学的计算机科学家马蒂·赫斯特（Marti Hearst）告诉我：“Wolfram Alpha在搜索技术上是巨大的进步，它提高了人们对那些存储在数据库中的内容应该如何搜索的期望。”赫斯特是《搜索用户界面》一书的作者，但她补充道，它距“完成伟大目标还有很长的路要走。”
搜饼：对于那些它可以处理的问题――尤其是在数学、科学和工程方面的计算问题――Wolfram Alpha使用了许多原创的技巧。给出煎饼成分后（1），引擎就给出了许多可能选项（2），给出如何解释输入内容（3），然后就能得到一个综合营养标签（4）。在这些场景的背后，Wolfram的Mathematica软件首先进行了必要的单位转换（例如，将“一撮盐”转换成“380毫克盐”），但提供的“信息来源”（5）并没追踪具体的参考来源。
沃尔弗拉姆声称，他们会继续努力，其中的一些问题可以通过增加更多的数据来解决。为了改进处理过程，网站包含了人们提交个人事实、整体的结构化数据集、甚至算法和模型的链接。不像维基百科――那里增加和编辑信息是免费开放的，只有一些团体提供彼此相互的制衡――Wolfram Alpha计划保持一个更加集中的管制方式，即它的“专家管理团队”将在数据添加至资料库前进行检验。
但有些人认为，没有自动的或者共享驱动的处理过程，在不对网页进行类似搜索引擎一样的索引下，扩展数据将非常困难。华盛顿大学的威尔德说：“在某些方面，如果没有原始数据的驱使，计算就不会那么有用了。谷歌平方很符合趋势，可能赢得这场比赛。”
事实上，即使承认他的引擎仍然只是雏形，一些怀疑者仍质疑Wolfram的方法是否比一些特定的应用程序更见效。互联网协会的伊凡·赫尔曼说：“尽管我是数学家出身，对数学的东西怀着极大的敬意，但我仍不确定是否可以通过数学公式和计算来解决这世界上的所有不幸。”诺维格回应了这番言论：“这里某些的数据集合是适用于某些方法的。如果你要讨论金的原子量，如果不同的实验室都在研究，他们可能关注小数点后的5或6位，但谁在乎呢？”
诺维格说：“许多事情的意见无法统一，它要取决于数据是什么，你要做怎样的计算。但对于非数值的数据，做哪种运算就显得不很明确了。”威尔德又补充道：“设想一个问题，‘谁是最危险的恐怖分子？’这个问题很难，有人是恐怖分子么？我们怎么衡量危险程度？对谁来讲是危险的？计算是很难对这种问题做出解答的。”
然而，在某些情况下，Wolfram对计算的沉溺却能对某些特定用户产生比只想市场占有率的公司提供更好的服务，那些公司很自然地对帮助大众找到更好的搜索结果感兴趣，那是他们已经在做的。雅虎的瑞格海文说：“例如，在评估散布在多家网站的某个旅馆时，给出一个简要的等级评价更符合用户意图，而不是关注于他们想要东欧巴尔干半岛国家人口总和。总会有人提出神秘的问题，但我们必须专注于满足99%的用户要求。”
开张两周，Wolfram Alpha已经处理了10亿次询问，并收到了55000次反馈，表明了人们对更深层次解答的兴趣。沃尔弗拉姆说：“Wolfram Alpha将要做的，是，让人们能够将科学与工程的成果应用到日常生活中，正如网络和搜索引擎已经使数十亿人成为参考资料管理员一样。”一个火狐浏览器的插件已经发布，使得搜索者在谷歌搜索结果旁边显示Alpha结果。沃尔弗拉姆表示，他的引擎将会不断升级。发布后的三周，他就宣布了第一次对代码和数据的大范围升级，包括了对自然语言界面的改进、增加了更多附属国家（如威尔士）的数据、搜索特定时间的股票价格的功能，“尤其增加了更多澳洲的数据。”
沃尔弗拉姆说，，在20年间对Mathematica开发上投资了数十亿美金之上，他已经在Wolfram Alpha上投入了数千万美金。搜索结果的旁边已经开始出现广告，他也计划提供带有更多功能的专业定制版本。程序接口（称做API）使得开发人员可以构建使用WolframAlpha搜索的应用程序。他告诉我：“我们会看到这究竟是一项慈善事业尝试还是商业。”
就连阿伦森也赞成，真正的裁判是群众，但他说；“数百万的人们将会尝试它，要么肯定，要么否定，这才是实际测试。这不是对自然现实的深奥的解释，这是项实用的服务，测试是为了得到这个答案：人们认为它到底有没有用？”
