作者: Hugh A. Chipman是阿卡迪亚(Acadia)大学数学与统计学系教授。 电子邮件:hugh.chipman@acadiau.ca V. Roshan Joseph是佐治亚理工学院斯图尔特(Stewart)工业与系统工程系教授。 电子邮件:roshan@gatech.edu 译者:庹睿、熊世峰(来自中国科学院数学与系统科学研究院)。 校对:李国英(来自中国科学院数学与系统科学研究院)。
摘要: 吴建福(Chien-Fu Jeff Wu)于一九四九年一月十五日出生在中国台湾。他于一九七一年获得台湾大学理学学士学位,一九七六年获得美国加州大学伯克利分校统计学博士学位。他曾在美国威斯康星大学麦迪逊分校(University of Wisconsin-Madison)(一九七七至一九八八年)、滑铁卢大学(一九八八至一九九三年)、密歇根大学(一九九五至二零零三年;一九九五至一九九八年担任系主任)任教,目前是佐治亚理工学院工业与系统工程系的可口可乐讲席教授。他著名的研究工作有 EM 算法的收敛性、重抽样方法、非线性最小二乘法、敏感性试验和工业统计学等,其中包括实验设计、稳健参数设计和计算机实验,以及早在一九九七年由他首创、现已得到公认的“数据科学”这一术语。
建福(Jeff)获得了多项大奖,包括统计学会主席委员会(COPSS)总统奖(一九八七年,译者注:这是全球统计学四十岁以下学者的最高成就奖,由国际数理统计学会和北美四大统计学会合办,每年一位。被比作统计学界的“Fields Medal”)、Shewhart奖章(二零零八年,译者注:这是美国质量学会为该领域的杰出领袖人物而设立的最高奖励,面向全球,每年一人)、R.A.Fisher讲座(二零一一年,译者注:这是全球统计学家终身成就的最高奖项,每年1人)和Deming讲座奖(二零一二年,译者注:这是国际工业商务统计与管理科学界的最高奖项,每年1人)。他是中国台湾“中央研究院”院士(当选于二零零零年)和美国国家工程院院士(当选于二零零四年),并获得了许多其他奖项和荣誉,包括滑铁卢大学的荣誉博士学位。
迄今为止,建福已经指导了四十五名博士生,其中许多人是统计科学领域十分活跃的研究人员。他发表了一百七十多篇评审论文和两本书籍。他是《中华统计学杂志(Statistica Sinica)》的第二任主编(一九九三至一九九六年)。建福在一九七九年和苏珊·张(Susan Chang)结婚,他们有两个孩子,Emily 和 Justin。
关键词和短语: 工业统计、数据科学、实验设计、计算机实验、EM算法、重抽样方法。
早年时期
Joseph(以下简记为J):请告诉我们你早期的训练和职业。
Wu(以下简记为W):我在台湾出生长大。总的来说,我在那里的生活很快乐,平静祥和,教育几乎是免费的。
我高中毕业时,面临第一个选择。我应该选择历史还是数学专业?我对历史很感兴趣,很容易地记住历史事件,能毫不费力地把它们连接起来。我也喜欢地理。这些特性都与成为一名历史学家相关。然而,我决定不学习历史,因为历史可能与政治相关。
所以我选择了数学。我对这个专业同样充满热情。一九七六年,我考上了台湾大学的数学专业。大多数指导老师都缺乏经验。我给你举个例子。在那个时候,作为大学二年级学生,我们学习了“三高”(台湾和世界各地都这样称呼):高等代数、高等分析和高等几何。这三门课程的所有指导老师都只有台湾大学的硕士学位。他们可能只比学生们多了解那么一点点。好在,我们的教科书都是用英语写的,而且都是美国或欧洲最好的作者写的。这些书是我真正的老师。在那段时间里,我的同学们都有很高的积极性,而且学习非常努力。请注意,那是一个快速变化的年代–台湾正在飞速发展。学生们自己举办讨论班,我们经常选择超出我们水平的教科书,所以,尽管我们不能理解所有内容,但我们热情高涨。
图1,读高中时的吴建福, 一九六六年。
Chipman(以下简记为C):学生们选择讨论班?
W:是的。它甚至不是一门学分课程。但我们还是做了。尽管大学不能提供太多的师资或设施,我们还是做得很好。现在的学习环境好多了,台湾的教授大多有西方国家顶尖大学的博士学位。
C:你是如何被统计学吸引的?
W:我在大学本科时始终喜欢数学。但在大四的时候,我有幸见到了周元燊(Y. S. Chow),当时他从哥伦比亚大学到台湾进行访问。他主讲了一门概率论的研究生课程。我上了这门课,而且是最好的学生。事实上,我解决了他提出的一个问题。于是,我把它写成了一篇论文,提交给了《统计学年鉴(Annals of Statistics)》,最终它被接受了。但我不知道的是,他把我的论文还寄给了台湾“中央研究院”的一个新杂志(《数学研究所通报(Bulletin of the Institute of Mathematics)》)(Wu, 1973) 。我知道后就不得不撤回我的《统计学年鉴》论文,因为它已经在这个新杂志上发表了。对于一个年轻人来说,这是非常令人沮丧的。记住,我当时还只是在攻读学士学位。然后我服了两年兵役。因此,这是我简历上的第一篇论文。
J:而那本来应当是一篇《统计学年鉴》论文……
W:但现在来看还好吧。那篇论文实际上让我有机会进入伯克利分校进行深造。我是第一个从台湾本科直接到伯克利分校统计学专业并获得资助的学生,得到这个机会是不容易的。我认为这不仅仅是因为高分,而且因为那篇论文。
接触概率论让我能够探索统计学领域。我有两年在军队服役的经历,即一九七一至一九七三年。当时我利用业余时间阅读了Ferguson 1967年《数理统计(Mathematical Statistics)》。我解答了练习中的所有问题,也许只有一个没有解答,所以我知道我可以轻松地自学数理统计。我想我可能仍然保存着这本习题解答,因为我搬家时并没有把它扔掉。我阅读的第二本书是Cochran(科克伦)和 Cox (考克斯)的《实验设计(Experimental Design)》(1957),这更耐人寻味。它与 Ferguson 的书具有完全不同的风格。我必须承认,我没有深刻理解这本书中的统计思想和方法论,但我马上意识到这正是我所擅长。虽然当时我对统计学了解不多,但我喜欢其中方法论的直觉思维。
C:所以你很欣赏这本书的数学方面,也能看到其中深刻的哲学思想。
W:是的,这些观点正是统计学与数学的不同之处。我意识到了这一点,但还无法阐明其原因。回想起来,我认为我对历史的兴趣发挥了作用,并与我后来在统计学上的成功有关:历史经常给你一个不同的研究视角,无论是现有的方法还是一个新的领域。
影响
C:谁对你的研究工作产生了最重要的影响?
W:有很多,简明扼要,我只提其中的三个。
我从统计学家George Box(博克斯)说起,因为他代表了一个巨大的变化。当我还是伯克利分校的学生时,我基本上是一名数理统计学家。我阅读了一些其他的研究工作,但当时伯克利分校的整个培训更倾向于数学。我到了威斯康星州之后,立即受到了George Box的影响。他是一位伟大的学者,也是一位伟大的教师。他对研究工作的看法和热情有感染力。我从Box那里确实学到了Fisher的统计学观点以及Fisher的传统。他是Fisher的女婿。我和Box并不是很亲密的朋友。我总觉得对他有点害怕,但我很尊敬他,所以,即使我不同意他的意见,我也不会公开说些什么,除非他非常严厉地攻击我。我就是那么尊敬他。
下一个人是我的导师,Peter Bickel。在他擅长的那些领域里,我从来没有做出过什么大事。但是我想回忆一些我的学生时代Bickel所做的某些事情,我对这些事情仍然记忆犹新。在我读研究生的第二年,Bickel在休假,所以我有一些空闲时间去四处看看和探索。我选修了Jack Kiefer主讲的一门最优设计课程,当时他只在伯克利分校访问一个学期。然后,我发现了一些研究问题。这些问题并不是来自Kiefer,但他的课程让我对最优设计感兴趣了。我自己找到了一个问题,还有一个与Henry Wynn提出的问题相关的问题。当Bickel结束假期回来的时候,我基本上完成了这些研究工作。他给了我一个不同的问题,是一个我不能解决的难题。于是,带着些许不安,我向他展示了我在最优设计方面的工作。我有点担心。你知道,这是一个大牌教授,而我做了一些完全不同的研究。我一眼就看出他并没有生气。他很高兴我做了一些不是在他的领域的新东西。他还愉快地修改了我的英语。我非常感谢他这么支持我。
C:所以他意识到你所做的工作的重要性。
W:我肯定他和Jack Kiefer谈过了。
多年以来,Bickel和我成为了好朋友,我是说老师和学生,但也是好朋友。Bickel的职业标准和行为使他成为我应当效仿的榜样。他是老一代的知识分子,而且他的学术水平很高。与他谈话总是关于研究或其他知识上的内容。当我和他共进晚餐时,整个晚上都是如此兴奋,因为我们谈论的话题从时事到哲学和历史。和我一样,他对历史了解很多。Bickel就是这样的人。
我和Jack Kiefer之间的交往比较短暂。他是一个有魅力的人,也是一位自成一派的伟大学者。当我还是研究生二年级学生的时候,他访问伯克利一个学期。他使我的研究方向转到最优设计。在我年轻的时候,就被他的名字吸引了,那是因为数学。但更重要的是,我相信人们必须做正确的设计,因为首先必须正确地收集数据,然后才能进行推断。我不知道我研究最优设计是不是一个好的决策,但这并不重要,因为还很年轻,而且是做了令人兴奋的事情。
这里讲一个故事。Kiefer实际上已经同意了讲授一门关于序贯分析的课程。当我得知时,去拜访了他。那时我还年轻,也许有些大胆甚至鲁莽。我说:“其他人也可以教序贯分析。但是,最优设计,你是奠基人,是创造者。没有任何人能像你那样来讲授最优设计。你愿意教这门课程吗?”他有点吃惊。但是,他还是非常友好地欣然接受了。他说:“好吧,我愿意,但你得找到八个人来选修这门课程。”于是我就去找了八个人作为学分课程来选修这门课。上课开始了,我想在几周之内,八个人里面大约有四个退出了。但还有一些访问学者。我记得有三位访问教授(Alistair Scott、Henry Wynn和另一位)坚持到了最后。所以有四个学生和三个访问学者学习了这门课程。当然,我学到了很多东西。
Jack Kiefer去世的时候很年轻,只有五十七岁。他非常支持我,总是很愿意回答我的问题或提供帮助。我记得,有一次我在康奈尔大学访问期间,我问过他这样一个问题:“我似乎在做不同的事情,不同的课题,这是好事还是坏事?”他说:“如果这是你的天性告诉你要做的,那就去做吧!”
C:当你在威斯康星大学麦迪逊分校的时候,你的研究重点转到了工业统计和质量改进,特别是实验设计和分析。在二十世纪八十年代,麦迪逊分校的研究团队是怎样的?
W:麦迪逊分校有一个很好的研究环境,有Box作为领导人。在工程统计方面,还有其他一些关键人物,比如Bill Hunter、Norman draper和Brian Joiner。我从他们那里学到了很多,我希望要是和他们合作一篇论文就好了,但我没有。那是我的成长岁月,因为我从伯克利分校这个非常数学的环境到了威斯康星州,而后者在方法论和应用之间更加平衡。在一九八三年至一九八五年期间,Taguchi的稳健参数设计方法进入了美国。这对麦迪逊学派来说是一个新的挑战和机遇。一九七七年至一九八八年期间我就在麦迪逊。
麦迪逊是我的幸运之地,不仅是因为我的职业生涯。更重要的是,我遇到一位叫Susan Chang的年轻女士。我们在一九七九年结婚。我们的两个孩子Emily和Justin就出生在麦迪逊,Susan给了我很多时间去从事我的工作,因为她看到了我受到终身职位的压力,至少在开始阶段是这样。对于第一个孩子,我很少帮她换尿布。我可不认为这是一件光彩的事。
C:当你阅读Cochran和Cox的著作的时候就开始对实验设计产生兴趣,而你的论文是关于最优设计的。你的兴趣在麦迪逊分校期间发生了怎样的变化?
W:尽管我在伯克利分校的研究重点是最优设计,我还担任过一门研究生实验设计课程的助教。所以我自学了古典实验设计。然而,是在麦迪逊分校,我才真正开始欣赏Fisher的统计方法,其中包括实验设计。就是在那里,我开始从事实验设计方面的主要研究工作。那里的环境帮助了我。我比麦迪逊分校的其他人更偏重数学一点。所以我的研究兴趣是多样的:我做了一些应用研究,而且我也做了一些非常数学的工作,比如最小低阶混杂设计以及刀切法和自助法等重抽样推断。
个人历史
J:请分享在你重要工作背后的有趣故事好吗?
W:我先从 EM 算法开始谈起。不知怎么的,这篇论文(Wu, 1983)给了我很多的名声,虽然我不值得这些名声。当我访问一些地方时,比如一个生物统计系,人们可能不知道我的工作,但他们知道我就是那个 EM 小伙。我并不是 EM 小伙,我只是碰巧做了一些证明。
当时的情况是这样的:Persi Diaconis从斯坦福大学到威斯康星州进行访问。我第一次从他那里得知,在著名的论文(Dempster, Laird and Rubin, 1977)里,繁琐的证明是错误的。我阅读了这篇论文,很快意识到为什么证明是错误的。我试图与王永雄(Wing Wong)合作来提供一个正确的证明。他在芝加哥大学,但经常来麦迪逊分校。但是我们没有取得多少进展就放弃了。
后来,我自己从新捡起这个问题。有一个晚上,我清楚地记得:我正在照顾我的女儿Emily(图2),当时她还不到一岁。我一直在思考这个 EM 算法。突然,我想到了在伯克利分校学到的一个定理,全局收敛定理。由于我已经在尝试用一个不同的方法来证明收敛性,所以这个数学问题一直在我的脑海里,我立即领悟到二者之间的密切联系。我离开Emily,跑上楼,并开始写作。当时我都不知道她在楼下怎么样。
图2,吴建福与Emily在他们麦迪逊的家中,一九八二年。
我怎么知道这个定理的?那是我在加州大学伯克利分校攻读博士学位的第三年。当时我正在撰写论文,但没有多少进展。我还需要多学一些优化方法,这大约占论文的一半。于是我选修了电子工程系的一门课程。主讲老师使用了她的导师撰写的一本书,她的导师是伯克利大学的电气工程与计算机科学系的一名教授。除了我们学过的标准内容之外,这本书的前面部分有一个Zangwill 的结果,叫做“全局收敛定理”(Zangwill,1969)。不知怎么的,我记得这个定理,但在之前它一直隐藏在背后。一旦我意识到了这种联系,我能在一周之内就写完了那篇收敛性论文。
这篇论文的发表遭到了一些挫折。论文投到《统计学年鉴》被拒绝了。我很快意识到评审人是谁。 EM 算法有很多前辈,如果有人声称“我证明了它”,他们会有自己的意见。一位评审人说:“不,不,不,它已经被证明了,”即使最初的证明是错误的。我觉得很难对抗一个负面的决定,所以我又投到了美国工业和应用数学学会的《应用数学杂志》(SIAM Journal of Applied Mathematics)。它也被拒稿了。我可以说至少一两个审稿人犯了错误,他们说的是与《统计学年鉴》的评审同样的意见。
当时,我是《统计学年鉴》的编辑委员会成员。出于某种原因,我鼓起了勇气,写信给主编David Hinkley。我写道,我觉得这篇论文没有得到恰当的对待。我对审稿意见给了一个很长的答复,且改写了这篇论文。而且我请求也许应该有一个新的编委来处理这篇论文。于是他把论文寄给了一个新的编委。文章很快获得了回复,并且收到了非常正面的评价,只作了一些细微的修正就被接受了。这个新的编委知道证明这个定理的难度。当你的论文被正确的人员审阅的时候,就会被接受。这就是这篇论文发表前后的过山车历史。我总是告诉人们,如果你真的相信某件事情,你就应该为它而战斗。
J:现在,这是被引用最多的论文之一。
W:是的,这是我的论文中被引用最多的一篇论文。当然,也有其他人的论文有更多的引用。我不会将 EM 算法列入我的五篇最原创的论文之中。我只是给出了一个证明,但不管怎样,它赋予了我早期的名声。
在我真正的原创工作中,我想提另一个,它有一个更有趣的故事。这是与Mike Hamada合作的关于复杂别名的论文,发表在《质量技术期刊(Journal of Quality Technology)》上(Hamada and Wu, 1992)。很长一段时间以来,我知道因子设计可以分为两种类型:正规的和非正规的。正规设计具有很好的、轮廓鲜明的别名关系,这是因为它的群论结构。对于其他类型的设计,我用了“非正规”这个术语,例如,在吴和Hamada合著的书里(Wu and Hamada 2000, Wu and Hamada 2009)。
我受到了那些涉及非正规设计的一些实际实验的挑战,比如Taguchi方法普遍采用的18次和36次实验的设计。一九八六年夏季,我参加了由George Box、Vijay Nair、贝尔实验室的人员和其他人员组成的代表团(图3)去日本访问。我很清楚地记得,有一天下午在名古屋,受到日本中央质量协会的接待。所有的报告都是案例研究,而且使用的大多数正交表都是18次或36次试验。几乎没有其他类型的设计,因为日本研究人员遵循Taguchi方法,而这两种设计是Taguchi推荐的。如你所知,田口方法从来没有提倡在数据分析中融入交互作用,所以这些分析也都没有考虑交互作用。然而,一个一个的案例,其结果是成功的,我也确信这些分析是正确的。我在笔记中写道:“为什么?”我认为这可能与非规则设计的理论性质有关。当你做研究时,你需要有一个理论参考。然后,当你看到一些现象时,你就会把它放入那个框架中。
图3,访问日本,一九八六年,自左至右:Raghu Kacker,Genichi Taguchi,George Box,Madhav Phadke,Anne Shoemaker,Vijay Nair,和吴建福。
我回到了麦迪逊分校当时Mike Hamada是学校里的一个博士生。我跟他说了这个想法,于是我们试着去做。但没有取得多少进展。部分原因是他灰心了:他拜访了系里的一些教授,非常有名的教授,他们都对这个想法嗤之以鼻。他们说:”这些设计,包括Plackett-Burman设计,都有复杂的别名,所以很难分析。”
后来我们都到了加拿大,去了滑铁卢。但我还记得这个问题,因为我从来没有放弃过。有一天,我又提起了这个话题。Mike提醒我,当他做分析的时候,他最终得到了很多、很多的模型。通过观察计算机输出,我们注意到了其中许多模型是不兼容的,它们包含交互作用却不包含父辈的主效应。我们很快想到,如果我们把这些排除出去,结果会如何呢?那天晚上他重新做了分析。第二天早上,当我见到他时,他笑容满面。最后选择的模型显然是两个真实应用中的最佳模型。在我上实验设计课时,我提到了这种排除模型的新方法。但我还没有想到一个好的名字。我告诉全班学生,我将给20加拿大元作为取一个好名字的奖励。在接下来的课堂上,Randy Sitter想出了“效应遗传(effect heredity)”这个名字,于是我给了他20加拿大元。
这个故事就是这样。这篇论文大约有300个引用(谷歌学术),但是我不使用引用来评判研究工作。我认为我们应该注重论文思想的学术价值,而不是引用数量。在这种情况下,论文被顺利地接受了,但我们的发现之路是曲折的。
这个故事的寓意是要意识到有一个参照系统。在日本听讲演时,由于盛夏的炎热,我感到困倦。当我听到了某些内容,我立刻清醒过来。当你做研究时,你需要有好奇心,但还需要有一个参照系统。如果你没有任何参照系统,比如不知道设计有正规和非正规的两个类别,你可能就不会抓到这个机会。因为我知道了这种分类,这是我的好奇心的参照系统。直到后来,我才把这两个设计类别的想法写出来,也是在“吴-Hamada”的书籍出版之后人们才将设计这样分类。
C:你对历史和统计学两门学科都感兴趣,但选择了统计学。你对历史的兴趣如何影响了你对统计学的看法?
W:保持一个历史的视角对研究是有好处的。当我研究一个现有的方法时,我通常知道谁已经做了什么,所以我可以很快把这些人和想法联系起来。对于我的同龄人而言,我通常也知道他们的能力和个性,也看到这些在他们的工作中的体现。重要的是要能够看到你所进行的研究的重要性,以及如果过去的一些研究工作已经显示出其重要性,为什么是重要的。这种观点将会给你一些想法去选择好的研究方向。
有些领域比其他领域具有更多的历史背景。当我在做自助法方面的研究时,已经显示出其重要性了。同样,刀切法和一般的重抽样推断也是重要的。其他新的领域在开始的时候并不明显。对我来说,开始时不明显的三个例子是最小低阶混杂设计、稳健设计和不确定性量化。对于一个新的领域,你可能没有许多直接的参考文献,但是,你有其他人所做的相关工作。你须要有能力将从前的工作与潜在的新工作联系起来,并利用你的历史视角进行一些推测。
建立
J:请给我们讲一讲你长期职业生涯中一些有趣的故事。
W:好的,我有一些有趣的经历。我这里说两个。
一九八八年,我从威斯康星大学到了滑铁卢大学。那时我还年轻,不到四十岁,我的事业已经很成功。一九八七年,我获得了统计学会主席委员会(COPSS)奖。所以许多美国朋友都很惊讶,因为美国是排名第一的地方。为什么要去加拿大?当我在滑铁卢接受采访时,我发现他们会给我一个非常独特的机会。滑铁卢大学将让我建立自己的研究小组。这不是金钱的问题。
最后,我在那里只待了五年,但是我指导了一些优秀的学生,包括Hugh。对于这五年来,我总是感到很温暖。这是非常有回报的五年,我工作也非常努力。例如,他们给了我一个很大的办公室,我还要了两个相邻的办公室供我所有的学生使用。没有其他教授能够这样。在加拿大,极少有教授晚上还在办公室里工作,但在滑铁卢,晚饭后,我会回到办公室去工作。虽然我没有期望,但是我的很多学生也在办公室里工作,我常跟他们交谈到晚上十一点钟。我做了一些与别人不同的事情,而该部门也给了我最大的支持。那是让人十分怀念的岁月。
我的第二次经历有些不同。二零零三年,我从密歇根大学转到了佐治亚理工学院。这里有很多吸引我的地方。这里气候温暖。我在寒冷的地方里待了这么多年,我对此感到有点厌倦。我发现在工程领域中建立一个统计学科是非常诱人和有趣的。所以我决定试一试。我认为在某种意义上我已经成功了。让我们把它放到历史的视角来看:我认为这是第一次在工程学院里有了既大又成功的统计学科。当我在威斯康辛大学的时候,George Box一直想在工程领域中设立统计学,但当时的时机不成熟。在过去,学术界有各自的领地。由于Box具有化学背景,他试图在化学工程领域中建立统计学。我认为那不是恰当的地方。在我看来,只有在工业工程领域才能设立统计学。与其他工程领域不同,工业工程专家不做实验。工业工程专家、运筹学家和统计学家在数学方面有共同点。数学将这些团队联合起来,使统计学有生存繁荣的空间。例如,在佐治亚理工学院,统计学家在工业工程领域中有自己的身份。有人可能会说:“计算机科学怎么样?”我不认为在计算机科学领域能建立统计系。计算机科学的创业精神可能与统计学更具定量性的方法不相容。
我发现,在工业工程领域中统计学的定位是非常重要的,因为佐治亚理工学院工业工程里统计学团队的几乎每个成员都和物理科学、工程或信息技术方面有合作。我认为这是我对这个领域最重要的贡献之一。统计学已经在其他院系里有了一席之地。在医学或公共卫生学院里有许多生物统计项目。在社会科学中也有一些统计项目。现在,在机器学习方面,统计学和计算机科学之间也有了一些合作,比如卡内基梅隆大学,加州大学伯克利分校,等等。在佐治亚理工学院,我们的模式非常不同。我发现,统计学作为工业工程而不是其他学院的一部分,是非常令人满意的。
C:你培养了很多学生。这在你的职业生涯中起了什么样的作用?
图4,吴建福及其一些学生以及学生的学生2014年7月在中国云南庆祝吴建福六十五岁生日的一个会议上。
W:首先,我想说我是如何培养学生的。我遵循中国的哲学“根据他们的能力来教学生”(因材施教)。我不让我的学生相互竞争。我不让下一个学生做上一个学生的延伸工作。如果他们做了,他们会陷入争斗。我很高兴我的很多学生能在一起工作。
我的学生在我的职业生涯中起到什么作用?显然,最重要的是我看到他们成功而获得精神上的满足。我和他们中的许多人关系密切。有些人会给我打电话咨询有关职业发展方面的建议:“我是否应该接受这个职位?”“我该如何进行谈判?”我总是乐于给他们提供建议。
如果你有一群优秀的人,在一个相关领域里工作,这有助于推进这个领域。我来列举三个这样的领域。首先,我在实验设计上的工作,尤其是最小低阶混杂设计,就是这样的。有好几个学生成为主要参与者。另一个例子是我在工程统计方面的工作,有另一组学生参与。在我最近的关于计算机实验和不确定性量化的研究工作中,也有另一组学生,这一组与工程统计学的那组有一些重叠。
J:你对《中华统计学杂志(Statistica Sinica)》的创建起到了重要作用。请告诉我们这方面的故事好吗?
W:是的,《中华统计学杂志》。背景是这样的。一群华裔统计学家意识到他们的同龄人在统计研究方面有了很好的发展。芝加哥大学的刁锦寰(George Tiao)是这群人的领导。我们认为有必要创建一个期刊,以亚洲研究人员作为主要贡献者,而这样的期刊也可能对亚洲的研究产生影响。当我是第二任主编时,我遵循了这个想法。我告诉我的编辑委员会,我们的梦想就是使之成为亚洲的《生物计量(Biometrika)》,尽管这需要一个很长的时间才能实现。这是我的口号。
我记得我们是怎么选择《中华统计学杂志》这个名称的。我们在乔治(刁锦寰)家里开了整整一个下午的会议,试图选择一个名称。“中国统计学杂志”似乎不太合适。因此,赵明德(Min-Te Chao)使用了拉丁语名称:“中华统计学杂志”。
“Sinica”比“Chinese”更加微妙。每个人都跳了起来,说道:“就是这个名称了。”当时赵明德是台湾统计科学研究所的所长。
我们过去没有,现在也不希望这个杂志成为一个民族杂志。我想我们已经做到了:我们有很多人在这个期刊上发表文章;对任何群体都没有偏好。很明显,有很多中国作者,但如今,在《统计学年鉴》、《美国统计协会杂志(JASA)》和《生物计量》上也有很多中国作者。是吧,中国人大量涌入。毕竟,中国有十三亿人口。
C:还有Peter Hall(彼得·霍尔)也做过主编。
W:是的,没错。这是一个很好的例子。
刁锦寰是创刊主编,而我是第二任主编。我记得这是我工作中最繁忙的时间。从一九九五年到一九九八年,我同时要处理三件事情:编辑杂志、与Hamada一同撰写实验设计的书(第一版是650页)和担任密歇根统计系的系主任。我不知道我是怎么应付下来的。对我来说,帮助创办一份新杂志并使其成功比作为一个已经建立并名列前茅的杂志主编更有意义。一般来说,一位主编想要对一个已经建立的杂志做出重大调整是非常困难的。
工业统计
C:如今的质量改进并不像二十世纪八十年代和九十年代那样备受瞩目。在工业领域,诸如实验设计和分析、可靠性和工艺监测等核心技术是否仍然具有重要的作用?作为研究领域又如何?
W:让我从实验设计和分析开始。我觉得,实验设计和分析永远不会消逝。为什么?因为这个领域总会有新的观点和工具出现以应对实践中提出的新挑战。让我们来看看历史:实验设计起始于Fisher和他的合作者在农业上的工作。然后,在化学工程领域里,有George Box和威斯康星学系。在二十世纪八十年代中期有Taguchi启发产生的质量工程。我认为,从一九九五年到二零零五年是实验设计和分析处于比较安静的一段时期,但最近又显现出强大的生命力。
我想给出实验设计和分析中的两个新兴领域。它们会给你提供一些关于实验设计如何能够成长并迎接挑战的想法。
第一个领域是计算机实验。计算机实验采用空间填充设计,而这不同于因子设计或最优设计。空间填充设计已经存在了很长一段时间。但最近,有了空间填充设计的新类型,比如嵌套设计。它们是为多精度计算机实验开发的。在低精度下比在高精度下具有更多的点。在高精度下,这些点是一个子集,因此是嵌套式的。另一类设计被称为切片设计,这是为具有定性和定量因素的计算机实验而开发的。对于定性因素,你需要做切片。多精度设计和切片设计的开创者都是钱智光(Peter Qian)(Qian 2009; 2012)。
由于不确定性量化领域的迅速发展,我认为将会有其他新方法出现,尤其是在高维度的情况。我们知道应用数学家做不确定性量化的方法;他们使用稀疏网格。但是,稀疏网格保留了张量积结构,即使是对于一个十维问题也需要很多点。在实际问题中,比如设计一个燃烧系统,有100至1000个输入变量。在这样非常高维度的情况,没有方法来选择优良设计。你可以选择空间填充法,但这不允许你进行快速计算。空间填充设计抛弃了张量积结构,所以无法进行快速多项式近似。机器学习假设数据已经存在,并且很廉价。但是当数据非常昂贵的时候又如何呢?在一些实际情况,有限元计算可能需要几周的时间来运行。
C:这就提出了一个相关的问题。在计算机实验的设计中,你认为是计算方法还是数学理论是产生设计的主要方法?或者两者都发挥作用?
W:我觉得两者都发挥作用。我相信,对于更大型的设计,计算方法将会更重要。一个很好的例子是Roshan最近的一项叫做Max-Pro的研究工作,它对高维度的设计可能是非常有用的(Joseph, Gul, and Ba 2015)。然而,对于我刚才提到的非常高维度的挑战,我认为深入的数学研究将是有必要的。具体说,怎样保留某些能够进行正交多项式近似的张量积结构,同时又具有一些空间填充的性质。或者,你利用Kriging法来对相关矩阵求逆。但是这需要用一种巧妙的方式来求逆。我还没有如何解决这个问题线索。我认为解决这个问题的好方法将不仅是计算机实验的一个重大进步,也是应用数学的一个重要进步。
第二个实验设计和分析的新兴方向的例子是全新的。它是为互联网或电子商务而设计的实验。我刚开始在这个领域开展研究。我最近的一位博士生在他的论文里做了简要的论述。我知道,像谷歌、亚马逊和易趣(eBay)等公司都在使用实验设计和分析(DAE)。我认为学者们可以做更基础的或更有影响力的工作。我不去讲那些技术细节。但在这种情况下,当客户进入网页时,通常的目的是为了优化收益或提高转化率。你可以用因子结构来更改网页设计。但这要复杂得多。人们持续地访问页面,所以这也是一个序贯设计的优化问题。业界目前使用随机规划等方法来解决这个问题。我推测,在这个领域里,实验设计和分析将与优化和机器学习密切结合。
再来谈谈可靠性,这是你提到的工业统计的第二个领域。许多人会说,可靠性已经不活跃了,没有任何突破,可能没有未来。我不同意最后一点。我来解释一下当前研究的局限性,这也是我为什么没有在这个领域进行研究的一个原因。我做了长期观察,发现大多数可靠性研究都是关于“失效时间”数据的建模。然而,对于一个高精准度的产品而言,通过实验几乎观察不到失效,所以你几乎没有什么信息。除非有不同的想法能够跳出这个框框,否则你将永远无法绕过这个限制。这就是在过去几十年里没有看到太多突破的原因。这个领域也有一些好的研究工作,但没有什么成果会让你说“哇!”。
我认为,如果能采取一个不同的方式,可靠性将会有光明的前途。如果我们使用有限元模拟来生成失效数据将会怎样呢?这里举一个例子。假设你想预测飞机机翼的失效。即使有风洞实验,你能观察到多少次失效?你必须要做的有限元。甚至有限元也需要一段很长的时间。这需要很多的重复计算,直到某种情况发生。或者,你可以模拟材料疲劳。虽然这种模拟非常耗时,但使用一种快速机器或一个集群也还是可行的。你可以从计算机模型里生成一些失效数据。然后,在这些数据之上构建一个仿真器,这是一个代理模型。这种仿真器可用于可靠性研究。我认为这可能是可靠性的发展方向。如果统计学家不想这样做,那么,一些受过良好数学和统计学训练的聪明的工程师将会率先到达这个目的地。
我对统计过程控制(SPC)不太乐观。
J:你在职业生涯的早期从事最优设计方面的工作,但后来你转到了其他领域。你对最优设计有什么想法?
W:正如我说的,我曾经着迷于最优设计和这个术语。我在早期的时候撰写了一些关于最优设计的论文(包括在《统计学年鉴》里发表的两篇),如此而已。我改变研究方向的原因是我很快认识到最佳设计过于依赖模型。例如,在最优设计的早期工作中,只有很少的支持点,因而不允许进行任何模型验证。在Box, Hunter, and Hunter合著的书(Box, Hunter, and Hunter, 1978)的第一版里,有一页(第471至472页)严厉地攻击了最优设计。这有点不公平,但他们的观点的确成立。我曾经觉得最优设计变得更加数学化了,但也有一些结果呈现出新的曙光。
这是一个有趣的历史转折以及计算是如何神奇的例子。由于有了像JMP这样的商业软件,最优设计已经强势回归了。为什么?考虑当设计区域是非矩形的时候。我从宝洁公司(Proctor and Gamble)的一位朋友那里听说,他很少见到一个矩形的设计区域;每个区域都因物理或工程上的限制而被砍掉了一角。因此,他们几乎总是使用最优设计。多年以后,最优设计又大规模地回来了。
我想指出一些别的东西。在最优设计的早期,最漂亮的理论是Kiefer and Wolfowitz(沃尔福威茨)的一般等价性定理(1960),但这只适用于权重都是连续情况的连续设计。也只有在这种情况你才能得到一般性结果,因为你可以求导,有了导数你才可以做计算。如果是一个离散设计,那么,就必须具体问题具体分析。现在,来看看JMP软件设计的真实成功。它们与一般等价性定理一点关系也没有。当然,我很尊重Kiefer,但历史不会仁慈。后来,算法变得很关键,而算法不一定是非常高深或是快速的,但它使最优设计成为一种实用工具。反思从理论到计算的这一转变,随着时间的推移,我对最优设计的认识发生了巨大的变化。
J:在这个大数据的时代,你认为小样本容量实验设计仍然重要吗?
W:首先,我想说,仍然有很重要的“小数据”问题,其中设计是至关重要的。在“小数据”问题上,获得数据的成本是非常昂贵的,如同现实系统的有限元模拟。例如,一个喷油器引发燃烧的模拟可能需要几周的时间,所以你不可能运行很多次。
再回到大数据的话题。实验设计的概念,如果不纠结于具体细节,仍然是有用的。例如,假设你想抽取一个子样。你不做随机抽取,而想以一种非常聪明的方式来抽取样本。这个问题完全不同于调查抽样,抽样调查涉及的是人群或野生动物。这是一个巨大的挑战。我知道一些计算机科学家正在研究抽取子样的方法,我相信会有进一步的进展。
大数据的另一个方面是,有大量的数据并不意味着你可以很好地预测。各家公司可能拥有庞大的数据库,例如像孟山都(Monsanto)公司这样的植物育种公司。他们使用数据挖掘来选择可能有前景的种子。但种子的农田试验常常会失败。因此不像通常的预测和选择那么简单。对于大数据,即使我们可以进行计算或推断,也未必能找出因果关系。我们可以回忆一下在观察研究中类似的挑战,其中的数据是被动收集的。而且,在经济学、社会科学和计算机科学领域里,大量的知识已经积累起来了,比如Heckman(1999)、Pearl(2009)和Rubin(例如 Imbens and Rubin, 2015)等人的研究工作。但大数据是一种不同的现象。
数据科学
C:你是第一个使用术语“数据科学”的人之一。请告诉我们你是如何创造这个术语的。
W:那是一九九七年,我在一次公共演讲中使用了“数据科学”一词(在密歇根大学的H. C. Carver演讲)。至少在那之前的五、六年,我对“统计学”这个术语已经感到不满意了。它并没有反映我们所做的一切。
“统计学”这个词的历史很有趣。追溯到欧洲的根源,它的意思是“国家的状态”。当国家开始征税时,他们需要对所统治的人口有一个良好的计数。看看统计学在中文、日语或北印度语中的翻译,它们的意思都是一样的。有一个很好的例子:在中文里,这是非常生动的。我有“统计”和“会计”。“统计”,我用中文写“tongji”(图5),其意思是收集和计数。中文“会计”如图6所示。你可以看到它们的第二个字符是相同的。
图5,“统计”的中文写法。
图6,“会计”的中文写法。
我记得在过去,当我告诉别人我是统计学家时,他们会说:“哦,你是一个会计。”我对此很不高兴。在亚洲的许多部门里,比如在社会科学和商学院里,会计和统计是一个叫做会计/统计(会统)的系。对此我并不满意,因为统计学比描述性统计字面上所具有的含义要多得多。我记得孔子在他著名的哲学巨著《论语》中说过:“名不正,言不顺”。这可以翻译成“如果名称是不正确的,那么它字面上所说的与其真实含义是不一致的”。实际上,这些我在H. C. Carver讲座上已经说过。这就是我的动机,我想改变这个名称。
我已经想到了一个更好的名字,那时我正好被聘为H. C. Carver学院主席,需要发表一个公开的就职演讲,于是机会来了。我的演讲题目是“统计学等于数据科学吗?”。那里,我把统计学表述为数据收集、数据分析和决策的三部曲。显然我是在讨论分析统计学,而不是描述性统计学。我建议将我们的名称从“统计学”改为“数据科学”,同时将“统计学家”改为“数据科学家”。我记得,我在演讲中甚至开玩笑地说,只要把名称改成数据科学家,薪水就会更高。如今变成现实了。这很有趣。
C:我们都应该称自己为数据科学家而不是统计学家吗?
W:现在,我认为数据科学有一个更广泛的含义,原因是大量的计算机科学家倾向于并有能力接管一个新的领域。我的感受是复杂的:我认为我们需要保留我们的传统,但我们不想抵制一个新的趋势。我们可以称自己为统计科学家,但我不认为这一术语会传播开。在当前的环境中,“统计科学家”听起来有点怪。我更喜欢统计学家或数据科学家。我注意到,我的最近进入产业界的博士生,他们都有“数据科学家”的头衔。我们不能对抗这种趋势。
C:当你在一九九七年发表H. C. Carver演讲时,你对统计学提出了一些大胆的改革:让我们统计学家的教育更加平衡和科学驱动,把更多的注意力放在复杂的大数据上,并与其他学科交叉。你觉得这些变化已经发生了吗?这是否仍然是统计学应当前进的方向?
W:统计系已经发生了一些变化,但不是大规模的。例如,我建议更改课程大纲,使之更实用或者与应用相关。我看到了为什么更加关注应用很困难的一个原因,我想在这里好好谈谈。我们的传统课程大纲要求三个一般领域:数理统计、概率论和计算或应用统计学。在许多系里,有三项博士学位资格考试。但这需要头两年的研究生课程学习,只是为了学习和通过考试。通过了考试以后,学生就几乎没有时间来积累研究经验。而且,大多数统计学专业的学生并没有,也没有能力编写大型计算机程序。我认为这是我们在大数据挑战中输给计算机科学家的一个重要原因。因为我们无法处理大数据,我们在开始之前就失败了。很长的一段时间以来,我一直在问这样一个问题:为什么我们要坚持每一个博士生都参加并通过概率论的资格考试呢?他们中的大多数将进入产业界。即使在那些成为学者的人中,也只有少数人从事概率研究。我们的资格考试应该具有一个更灵活的体制和课程要求。在美国和加拿大的一些统计系已经采取了这种灵活的体制,但大多数仍然没有。
现在来谈谈问题的第二部分,关于统计学应该前进的方向。我认为,我那时所说的话仍然是正确的,当然在最近几年,又有新的挑战,比如大数据,以及在计算中我称之为基于物理和数据的统计模型。显然,还有各种新挑战,远远超出了我当时所能预见到的。
C:在你的一些研究工作中,用算法来解决数学或统计问题。你对算法在研究中所起的作用有什么想法?或者说在统计学研究中考虑算法有什么重要性?
W:在统计学领域我们总是需要算法,即使有一个理论解。在大多数情况下,理论解并没有显式表达。如今,算法变得更加重要。我不是很懂算法的人,因为我的专业不是计算机科学。我在很多论文中都是出于必要而开发了算法。我相信,当一个问题或数据很复杂的时候,几乎就没有理论解。你需要算法。
J:你更喜欢用算法来解决问题,而不是等到从数学上找到了优雅的方式再来解决它。
W:当然,如果你处理实际问题,你需要马上解决,不能等。
C:所以计算是统计工具箱中的一部分。这也与你所说的统计学专业学生的培养有关。
W:目前的体制没有足够的时间来磨练计算能力。如果你为了通过概率论考试而努力了一年,你怎么能学会编写计算代码,或掌握计算呢?
C:有趣的是,即使统计学家有算法,我们也更倾向于依赖理论框架。相比之下,计算机科学家很快就会开发出一种算法,如果足够好,他们就完成了。
W:我有个解释。在统计世界中,数理统计实际上是由渐近理论主导的。你要证明定理。这是为什么呢?因为,如果你在《统计学年鉴》上发表文章,你的职业生涯就会更好。有些《统计学年鉴》的研究工作是很重要的。但有些《统计学年鉴》上的工作并非如此。有些工作需要繁琐和艰苦的推导工作,我称之为“荣耀的epsilon-delta”。但这就是这种体制的奖励方式。当我听一些研究报告时,五至十分钟之后,我就知道渐近结果会是什么样子。另一方面,确实有很多重要的理论进展。漂亮的理论表述能提供新的观点或解决那些我们不理解的问题。所以有一些好的渐近结果,但也有一些不那么好的渐近结果。
C:所以,虽然理论是统计学的一个支柱,而且可以把我们和其他数据科学家区分开来,但并不是所有的理论都是必要的。
W:我同意,我们需要坚持我们的根源,因为我们需要理解一些理论性质;否则,我们和计算机科学家没有什么不同。我想说的是,有一些不那么有趣的渐近性论文,而它们充斥着各种期刊。这可以创造很多的就业机会,但无助于推进这个领域。当人们做研究时,他们从历史的视角思考了吗?
统计学:过去和未来
C:自从你开始在威斯康星大学工作以来,统计学领域发生了什么样的变化?是更好了还是更坏了?
图7,Emily, Justin,吴建福和Susan在印度尼西亚巴厘岛合影,二零零八年。
W:自一九七七年以来,显然有了长足的进步。我仅从众多的例子中列举几个。在理论和方法论方面,我们有重抽样方法,特别是自助法,还有因果推断。在应用领域,生物统计学从二十世纪八十年代早期以来取得了巨大的进步。在计算统计方面也有不少进步,比如机器学习和广泛使用的统计软件。现在,我们面临大数据的挑战。所以,统计学从来都没有安静过。
C:你认为哪些是统计学研究的新兴领域?或者统计学能够在哪些领域做出重要的贡献?
W:在我这个年纪,预测未来是不合适的。预测往往是错误的。所以我只关注我熟悉的一个领域。之前,我提到过计算机实验和不确定性量化。这是应用数学和统计学的交叉研究领域。不确定性量化研究的一个主要部分,是基于计算机运行的模拟输出,例如有限元分析,建立计算高效的仿真器。记住,有限元方法是用来求解一组偏微分方程,而这组方程是描述物理过程的。因此,我认为,对于统计学家而言,一个未来的光明的方向是更好地理解物理学,并将这些知识与建模和计算的研究工作紧密结合起来。在传统的统计学中,已经有一些结合物理学的研究,但其局限性要大得多。通常,你对物理学有一些了解,就给经验模型增加一些约束,比如非线性最小二乘。在不确定性量化中,情况则不同。为了理解偏微分方程的解决方案,你经常须要了解物理学。我认为这是一个非常有趣的新方向,因为它超越了不确定性量化。在这里,我想给一个提醒。统计学领域里的大部分工作是建立经验模型,包括当前机器学习和大数据的工作。我不是说建立经验模型不重要,这很重要。但是基于物理学的数据驱动方法将来会很重要。
C:你谈到了基于物理学的模型。那么其他科学领域呢?你的意思是专门基于物理学还是基于科学?
W:我是说物理知识。这可以是生物学、化学、分子学等等。另外,在物理科学中,基础模型可能是相当深奥的,而我们实际上还没有探讨过。
C:统计学家们是否必须要学所有这些内容,或只是找到良好的合作者?
W:我自己的经历是我不擅长物理。找到良好的合作者并向他们学习是很重要的。但是,像Roshan这样的人则不同的;他有一些机械工程方面的背景知识。我们还应该把更多有科学背景的人带入统计学,包括物理学和其他学科背景,特别是工程和物理学背景。
C & J:谢谢你今天给我们这个机会和你交谈。
W:这是我的荣幸。
注:
本访谈于二零一五年四月二十一日在美国佐治亚州的亚特兰大市进行。
本文原载于《数学译林》2017年, 3, 232-247,译自《Statistical Science》,Vol. 31(2016),No.4,p. 624-636。此次转载已获得受访人许可。
参考文献
Box, G. E. P., Hunter, W. G. and Hunter, J. S. (1978). Statistics for Experimenters. John Wiley & Sons, New York.
Cochran, W. G., and Cox G. M. (1957). Experimental Designs. John Wiley & Sons, New York.
Dempster, A. P., Laird, N. M., and Rubin, D.B. (1977) Maximum likelihood from incomplete data via the EM algorithm. Journal of the Royal Statistical Society, Series B, 39, 1-38.
Ferguson, T. S. (1967). Mathematical Statistics: A Decision Theoretic Approach. Academic Press, Cambridge.
Hamada, M. S. and Wu, C. F. J. (1992). Analysis of designed experiments with complex aliasing. Journal of Quality Technology, 24, 130-137.
Heckman, J. L. (1999). Causal parameters and policy analysis in economics: A twentieth century retrospective. National Bureau of Economic Research, No. 7333.
Imbens, G. W. and Rubin, D. B. (2015). Causal Inference in Statistics, Social, and Biomedical Sciences. Cambridge University Press, Cambridge.
Joseph, V. R., Gul, E., and Ba, S. (2015). Maximum projection designs for computer experiments, Biometrika, 102, 371-380.
Kiefer, J. and Wolfowitz, J. (1960) The equivalence of two extremum problems. Canadian Journal of Mathematics. 12, 363-6.
Pearl, J. (2009). Causality. Cambridge University Press, Cambridge.
Qian, P. Z. G. (2009), Nested Latin hypercube designs, Biometrika, 96, 957-970.
Qian, P. Z. G. (2012), Sliced Latin hypercube designs, Journal of the American Statistical Association, 107, 393-399.
Wu, C. F. (1973). A note on convergence rate of the strong law of large numbers. Bulletin of the Institute of Mathematics, Academia Sinica, 1, 121-124.
Wu, C. F. J. (1983). On the convergence properties of the EM algorithm. Annals of Statistics, 11, 95-103.
Wu, C. F. J and Hamada, M. S. (2009). Experiments: Planning, Analysis, and Optimization. Second Edition. John Wiley & Sons, New York. (First Edition, 2000).
Zangwill, W. I. (1969) Nonlinear programming: A unified approach, Prentice-Hall, New Jersey.
发表/查看评论