MIT大牛林达华
受Alan邀请，MichaelJordan来这里访问一些日子。今天听了一个他的seminar，是关于分类的——这是我以前做的领域，内容是f-divergence,surrogate
loss function，以及它们的理论上的联系。这主要是他的学生Wainwright完成的工作，在google上可以很容易搜到相关的文章。
Loss function是传统的classification和regression研究的对象，而divergence则是信息论和信息几何中用于度量两个分布之间的距离的。这个工作揭示了lossminimization和divergencemaximization的对偶关系，并且指出了两个不同的lossfunction在所有数据分布中给出相同的最优解的条件（就是所谓的universalequivalent）。在某种意义上说，这是对于分类问题的一个统一理论。
在Jordan的许多工作中，有一个概念的应用是特别值得注意的，那就是convexduality——这是optimization中的一个核心概念，但是在这些工作中，被巧妙地用于揭示许多内在的理论联系。除了上面的loss和divergence之间的联系之外，convexduality也被用于exponentialfamily的分析。对于Exponentialfamily的分布，它们的log-partitionfunction和negativeentropy是互为对偶的，相应的，这种分布的canonicalparameter和meanstatistics之间也形成一对对偶的参数，因而在某些情况下，求均值的问题，就可以转化为寻求Fenchelconjugate的convexoptimization的问题。
无论是Alan还是M.Jordan，他们似乎最关心的都是探讨理论上的课题，最感兴趣的是在数学上具有某种普遍意义的结论，而对于实际应用没有表现出特别的关注。就以上面提到的divergence和loss
function为例，它们在NIPS 2005发了一篇文章。整篇文章列出10条定理，但是从头到尾没有一个字的实验。
我平常和Alan开会，他唯一关心的也只是数学上的事情，从不过问实验结果。他的学生们写paper一般也就用一些随机生成数据完成实验，甚至压根就没有实验——他们最关心的是要把定理证明出来。
还有一个让我印象深刻的例子是，一个多月前参加CSAIL Studentworkshop，一位做算法理论的学生present他的一个新结果：大概是把一个指数复杂度的算法改进成一个多项式复杂度的算法，但是多项式的次数高达接近1000次（抛开实用价值，把指数复杂度降为多项式复杂度，在理论上确实属于重大进展）。他讲完后，台下另外一个同学问他这个东西有什么应用，他很cool的回答说：I
don’t care application! 当时，全场一片掌声和笑声。。。
在这里接触到的这种研究风格，和我以前在MSRA和HK时以实际效能为导向的风格大相径庭。在微软的时候，做出一个东西来，mentor首先是想要看demo，用什么理论是其次的。后来，汤老师当我的导师的时候，看paper也是首先翻到实验结果那里。这一切在来到CSAIL后正好反过来了。当然，MIT是一个非常多元的研究环境，也有着大量工程性很强的实用项目。但是，我自己所处的这个“小圈子”确实是有着非常浓郁的理论色彩，以至于我自己的学习和研究也呈现出偏向纯理论的趋势。但是，我想只要我一天不离开Vision，这种“转型”也就不可能彻底，CV无论从哪个角度说，都是一门应用学科，这点和它上游的Learning不太一样。
——————————————————————————————
也许，这能在一定程度上说明了为什么在很多地方，我们的计算机领域被分成两块：计算机科学(ComputerScience)，和计算机工程(ComputerEngineering)。它们之间的gap似乎一直难以愈合。除了技术因素外，更多的也许是因为它们背后所传承的根本不同的理念。科学，探索世界的本原，是一种抽象过程；而工程，追求实用，是一种具体过程。缺乏对实际应用的关怀的纯理论研究，似乎在营造空中楼阁，可是，E=mc^2在它被提出之日，有谁能预测它对世界历史的改变会如此之大呢。