文章以诙谐的笔调描述了一个基于vision+ learning的自动paperreview算法, 文章的算法很简单（前提是你对
MachineLearning或者ComputerVision有一点了解），把8页的pdf文档并排成一张长的image，然后就在上面抽feature。做自然语言处理的朋友们请不要激动，这是Vision的paper，自然用的是Vision圈子自己的方法。好了，抽什么feature呢？主要是HOG(HistogramofGradients)，这是一种纯粹用于描述视觉观感的feature。显然，大段的文本，曲线图，图像，表格，数学公式，它们的feature应该是不太一样的。然后作者用AdaBoost做featureselection训练得到一个分类器：纯粹根据paper的视觉观感来判断paper的好坏。,
说到训练分类器，自然需要一个训练集。这篇文章的作者收集了CVPR2008, ICCV 2009和CVPR2009的全部1196篇paper构成正样本。那么负样本从何而来呢？被拒的paper显然作者是拿不到的。于是他很聪明的利用了一个众所周知但是大家却不会公开明言的事实：workshop接纳的很多是在主要会议被拒收的paper。这样，很不幸的，workshop上发表的文章被用作负样本。
正样本的“视觉”特点：
1.里面有几段公式，看上去文章显得似乎很专业，也显得作者似乎数学不错；
2.实验部分里面多少要有几个曲线图，即使那几个曲线图说明不了什么。但是，只要有几个曲线图在那里，起码表示我做的是“科学实验”；
3.最好在文章开头或者最后一页排列一堆图像。其实，我也注意到很多作者喜欢排列很多dataset里面的图像到paper上——即使那是一个publicallyavailable的standarddataset——我不知道这样做的意义何在——除了审美效果。
4.最好写满8页，代表分量足够。
负样本的特点：
1.不够页数。在submission阶段，写不满6页的文章被录用的机会很小。虽然最后很多本来8页的文章还是能很神奇地被压缩到6页，如果作者想省掉200美元的附加页费。题外话，我也一直不明白为什么多一页要多交100美元注册费。
2.有很大的数字表，就是m行n列，排满数字那种。这篇文章表明，排列了很多曲线图和柱状图的文章比排列了很多数字表的文章有更大概率被接收。
3.没有漂亮插图。
这篇文章的结果，我也做一些补充评论。
1.CVPR和ICCV的录用结果，对于文章的视觉观感，有着显著的统计相关。从我自己做Reviewer的经验，以及和其它reviewer的交谈来说，这个确实在一定程度上影响了reviewer的第一印象，甚至是评价基调。一篇文章在firstglance给人以专业和有内涵的感觉，会有利于它在reviewer心中树立良好印象。这与学术无关，但是，很不幸，却是一个普遍存在的事实。
对于NIPS这种理论取向的会议，虽然不需要那么多漂亮的图表，但是，文章要“长得”像这些会议的文章。让人觉得写文章的是一个有经验的研究者，而不是一个打酱油的。
2.Workshop的文章和CVPR/ICCV主会似乎存在明显差距，以至于一个如此简单的分类器都能够在区分它们的任务中取得不俗的成绩。另外，作者使用workshoppaper作为负样本的做法虽然是个人选择，但是，起码在一定程度上反映了这个community对于workshop的态度。
3.近年来CVpaper的投稿量的高速增长，已经严重影响了review的质量。一方面，会议不得不邀请许多没有很多经验的学生参与到review的过程，即使文章是发到seniorresearcher的手中，最终还是会被传递到他的某个刚入行的学生那里作为学习reviewing的“牺牲品”。我甚至听说过有reviewer为了应付duedate，把文章交给秘书或者亲戚来审，其结果可想而知了。另外，reviewer也没有足够的时间来仔细的审读paper。很多情况下，读完abstract和intro，大概翻翻实验结果以及文章的插图，已经基本形成对文章的定性。如果reviewer喜欢这篇paper，它会根据作者的claim对文章表示赞赏；如果不喜欢这篇文章，就会找一些似是而非的理由把文章拒掉。
当然了，最后我们还有rebuttal，然后由ACmeeting来确定文章的生死。AreaChair大多是成名学者，个人的学术水平还是由一定保证的。但是，他们非常繁忙，ACmeeting虽然目的是给每篇文章一个decision，但是在一些AC的心目里，这主要是一个旅游和social的机会。大部分的finaldecision就是根据review结果照本宣科（一个不成文的规矩是reviewrating的中位数是2作为录取划线标准）。另外，AC大概会看看abstract和rebuttal，然后酌情裁量。