现在的位置: 首页 > 综合 > 正文

一类监督学习问题

2014年03月05日 ⁄ 综合 ⁄ 共 749字 ⁄ 字号 评论关闭

假定我们有一组object n个O1,O2,...On,每个Object有m个特征,f1,f2,...fm 。我们已知的数据如下

1)我们知道每个object的特征取值

例如 f1(Obj1) = 0.5 f2(Obj1) = 0.2 ... fm(Obj1) = 0.1

2)我们知道每个Object的两两比较结果,Pij表示objecti > objectj 或者说前者好于后者

例如object 1 大于 object2 的概率 P12

这类监督学习,相当于绕了个弯子,并不是直接知道 F: Rm -> R ,而是只知道两两比较的结果

如果直接知道每个Object的优秀值,那么就是可以直接回归学习出函数F: Rm -> R

通常这种情况,采用交叉熵代价函数

也就是 令 oij = F(Obj1) - F(Obj2)   可以理解成logistic regression 的两组输出结果的差值

Cij = C(oij) = -Pij*log(Pij) - (1-Pij)*log(Pij)

其中Pij 是我们已知的标注结果,也就是监督结果,Pij 是F函数输出的差值oj,经过sigmoid函数转化后的结果 Pij= exp(oij) / 1+ exp(oij)  (sigmoid函数)

简化后,得到

Cij = -Pij*oij + log(1+exp(oij)) 

优化的目标也就是让所有的Cij尽可能的小。也就是学习出的函数F,能够满足大部分我们已知的(2),即两两比较的结果。

这种代价函数Cij的好处

1)在Pij = 1 ,即人工标注强烈要求i〉j的情况下, oij越大,则Cij越小,oij越小,Cij越大

2)在Pij = 0 ,即人工标注认为ii和j差不多, oij越大,则Cij越大,oij越小,Cijj越大

2)在Pij = -1 ,即人工标注认为ii<j, oij越大,则Cij越大,oij越小,Cijj越小

符合直观,如下图

抱歉!评论已关闭.