计算机视觉
图像处理

一些知识点的初步理解1

一些知识点初步理解(集成学习,ing…)

      最近在看一些集成学习方面的知识,其中南京大学的周志华教授写的几篇关于集成学习综述性的文章还不错。看了下对集成学习有了一个初步的了解,如下:

     集成学习是机器学习中一个非常重要且热门的分支,是用多个弱分类器构成一个强分类器,其哲学思想是 “三个臭皮匠赛过诸葛亮”。一般的弱分类器可以由决策树,神经网络,贝叶斯分类器,K-近邻等构成。已经有学者理论上证明了集成学习的思想是可以提高分类 器的性能的,比如说统计上的原因,计算上的原因以及表示上的原因。

一、集成学习中主要的3个算法为:boosting,bagging,stacking.

其中boosting的弱分类器形成是同一种机器学习算法,只是其数据抽取时的权值在不断更新,每次都是提高前一次分错了的数据集的权值,最后得到T个弱分类器,且分类器的权值也跟其中间结果的数据有关。

Bagging算法也是用的同一种弱分类器,其数据的来源是用bootstrap算法得到的。

Stacking算法分为2层,第一层是用不同的算法形成T个弱分类器,同时产生一个与原数据集大小相同的新数据集,利用这个新数据集和一个新算法构成第二层的分类器。

二、 集成学习有效的前提:1.每个弱分类器的错误率不能高于0.5。2.弱分类器之间的性能要有较大的差别,否则集成效果不是很好。

三、 集成学习按照基本分类器之间的关系可以分为异态集成学习和同态集成学习。异态集成学习是指弱分类器之间本身不同,而同态集成学习是指弱分类器之间本身相同只是参数不同。

四、 怎样形成不同的基本分类器呢?主要从以下5个方面得到。

  1. 基本分类器本身的种类,即其构成算法不同。
  2. 对数据进行处理不同,比如说boosting,bagging,stacking, cross-validation,hold-out test.等。
  3. 对输入特征进行处理和选择
  4. 对输出结果进行处理,比如说有的学者提出的纠错码
  5. 引入随机扰动

五、 基本分类器之间的整合方式,一般有简单投票,贝叶斯投票,基于D-S证据理论的整合,基于不同的特征子集的整合。

六、 基础学习性能的分析方法主要有bias-variance分析法

七、 目前有的一般性实验结论:

Boosting方法的集成分类器效果明显优于bagging,但是在某些数据集boosting算法的效果还不如单个分类器的。

使用随机化的人工神经网络初始权值来进行集成的方法往往能够取得和bagging同样好的效果。

Boosting算法一定程度上依赖而数据集,而bagging对数据集的依赖没有那么明显。

Boosting算法不仅能够减少偏差还能减少方差,但bagging算法智能减少方差,对偏差的减少作用不大。

八、未来集成学习算法的研究方向:

  1. 集成学习算法的可理解性要提高。
  2. 怎样构造有差异的基础分类器。
  3. 与SVM的结合。
  4. 提高boosting的鲁棒性,即降低其对噪声的敏感。
  5. 完善出集成学习的一般理论框架。

九、参考文献:

Zhou, Z.-H. (2009). “Ensemble.” Encyclopedia of Database Systems,(Berlin: Springer): 988-991.

Zhou, Z.-H. (2009). “Boosting.” Encyclopedia of Database Systems,(Berlin: Springer): 260-263.

Zhou., Z.-H. (2009). “Ensemble learning.” Encyclopedia of Biometrics(Berlin: Springer): 270-273.

廖英毅 “集成学习综述.” soft.cs.tsinghua.edu.cn/~keltin/docs/ensemble.pdf.

 

一些知识点的初步理解_2(流形学习,ing…)

一. 流形学习的英文名为manifold learning。其主要思想是把一个高维的数据非线性映射到低维,该低维数据能够反映高维数据的本质,当然有一个前提假设就是高维观察数据存在流形结构,其优点是非参数,非线性,求解过程简单。

二. 流形学习的可行性是因为:1.从认知心理学的角度来讲心理学家认为人的认知过程是基于认知流形和拓扑连续性的;2.许多高维采用数据都是由少数几个隐变量所决定的,所以可以用少数的低维数据来刻画高维数据。

三. 流形学习所需的数学背景知识:微分流形,黎曼流形,微分几何,切向量场,拓扑空间,光滑映射等。

四. 经典流形学习算法:

Isomap:等距映射。前提假设为低维空间中的欧式距离等于高维空间中的侧地线距离,当然该算法具体实施时是高维空间中较近点之间的测地线距离用欧式距离代替,较远点距离用测地线距离用最短路径逼近。

LLE:局部线性嵌入。前提假设是数据所在的低维流形在局部是线性的,且每个采样点均可以利用其近邻样本进行线性重构表示。

LE:拉普拉斯特征映射。前提假设是在高维中很近的点投影到低维空间中的象也应该离得很近。

HLLE:局部等距映射。前提假设是如果一个流形局部等距与欧式空间中的一个开集,那么由这个流形到开集的映射函数为一个线性函数,线性函数的二次混合偏导数为0,所以由hessian系数构成的二次型也为0.

LPP:局部保留投影。在LE算法的基础上,假设一个从原空间到流形空间的映射矩阵P,然后通过某种方法求出P,最后得到了一个显示的投影映射。

LTSA:局部坐标表示。其基本思想是流形的局部几何先用切坐标表示,那么流形中的每一个点处的切空间可以和欧式空间中的一个开子集建立同构,也就是切映射。

MVU:局部等距。构造一个局部的稀疏欧式距离矩阵,同构保持距离来学习一个核矩阵。

Logmap:侧地距离和方向。思想是已知流形空间中一点的坐标和方向,通过切平面找到法坐标,形成一个指数映射。

……

五.流形学习存在的问题:

抗干扰噪声能力差,低维空间的维数不好确定,需要存在流形结构这一假设,采样需要稠密采样,测试数据的out-of-samples问题。

六.流形学习未来的发展方向:

提高鲁棒性,可视化手段提高,低维空间维数的确定,与统计学习结合等。

七.参考文献:

1.中科院计算所ppt,《流形学习专题》。

2.中科院自动化所计算机视觉课件ppt,《流形学习》。

3.雷迎科 (2011). 流形学习算法及其应用研究, 中国科学技术大学.

4.网上的疯狂转帖(没真实作者来源),通俗易懂。也放一个转帖:http://blog.csdn.net/zhulingchen/archive/2008/02/26/2123129.aspx.

5. 徐蓉, 姜峰, et al. (2006). “流形学习概述.” 智能系统学报 1(1): 44-51.

转载注明来源:CV视觉网 » 一些知识点的初步理解1

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 0超赞 0无聊 0扯淡 0不解 0路过

评论 3

评论前必须登录!