现在的位置: 首页 > 综合 > 正文

svm、经验风险最小化、vc维

2013年10月03日 ⁄ 综合 ⁄ 共 312字 ⁄ 字号 评论关闭

“支持向量机方法是建立在统计学习理论的VC 维理论和结构风险最小原理基础上”

结构化风险

结构化风险 = 经验风险 + 置信风险

经验风险 =  分类器在给定样本上的误差

置信风险 = 分类器在未知文本上分类的结果的误差

置信风险因素:

样本数量,给定的样本数量越大,学习结果越有可能正确,此时置信风险越小; 
分类函数的VC维,显然VC维越大,推广能力越差,置信风险会变大。 

提高样本数量,降低VC维,降低置信风险。

以前机器学习的目标是降低经验风险,要降低经验风险,就要提高分类函数的复杂度,导致VC维很高,VC维高,置信风险就高,所以,结构风险也高。---- 这是SVM比其他机器学习具有优势的地方。 

svm能达到降低vc维,最主要那个是核函数的引入。

抱歉!评论已关闭.