计算机视觉
图像处理

关于线性SVM以及非线性SVM的问题

支持向量机 (SVM)是一个类分类器,正式的定义是一个能够将不同类样本在样本空间分隔的超平面。换句话说,给定一些标记(label)好的训练样本 (监督式学习),SVM算 法输出一个最优化的分隔超平面。SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分 类间隔最大。SVM考虑寻找一个满足分类要求的超平面,并且使训练集中的点距离分类面尽可能的远,也就是寻找一个分类面使它两侧的空白区域 (margin)最大。过两类样本中离分类面最近的点且平行于最优分类面的超平面上H1,H2的训练样本就叫做支持向量。

 

   (1)广义最优分类面

 

        SVM常用于研究小样本问题,这里所说的“小样本”是相对于无穷样本而言的,故只要样本数不是无穷,都可称为小样本,更严格地说,应该称为“有限样本”。

 

一、原理

支持向量机是基于线性划分的。但是可以想象,并非所有数据都可以线性划分。如二维空间中的两个类别的点可能需要一条曲线来划分它们的边界。支持向量机的原理是将低维空间中的点映射到高维空间中,使它们成为线性可分的。再使用线性划分的原理来判断分类边界。在高维空间中,它是一种线性划分,而在原有的数据空间中,它是一种非线性划分。

二、SVM的应用领域

其应用领域非常广,分类、回归、密度估计、聚类等等,而在分类的应用方面特别广,在分类应用中,SVM可以选择线性核,多项式核,高斯核,依据问题而定,对于特征维数较高的问题,常用线性核。

(1)线性核的优点(即线性SVM):

a、预测函数f(x) = w’*x+b非常简单,分类速度快 。线性分类器的w系数可以事先计算出来。(非线性分类器在高维空间时支持向量数会非常多,分类速度远低于线性分类器)

b、 线性SVM的推广性有保证,而非线性,如高斯核有可能过学习。

(2)非线性SVM

若在应用中,所需要处理的特征维数特别低,样本数远超过特征维数,则选用非线性核,如高斯核是比较合理的。如果两类有较多重叠,则非线性SVM的支持向量特别多,选择稀疏的非线性SVM会是一个更好的方案,支持向量少分类速度更快,如下图。

转载注明来源:CV视觉网 » 关于线性SVM以及非线性SVM的问题

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 0超赞 0无聊 0扯淡 0不解 0路过

评论 20

评论前必须登录!