计算机视觉
图像处理

机器学习(五)PCA数据降维

一、PCA相关理论

PCA算法又称主成分分析,是一種分析、簡化數據集的技術。主成分分析经常用于减少数据集的维数,同时保持数据集中的对方差贡献最大的特征。PCA的数学定义是:一个正交化线性变换,把数据变换到一个新的坐标系统中,使得这一数据的任何投影的第一大方差在第一个坐标(称为第一主成分)上,第二大方差在第二个坐标(第二主成分)上,依次类推。

PCA不仅仅是对高维数据进行降维,更重要的是经过降维去除了噪声,发现了数据中的模式。PCA把原先的n个特征用数目更少的m个特征取代,新特征是旧特征的线性组合,这些线性组合最大化样本方差,尽量使新的m个特征互不相关。从旧特征到新特征的映射捕获数据中的固有变异性。

二、PCA算法实现

对于PCA数据降维算法一开始经常和SVD奇异分解搞混了,其实这两个可以说扯不上关系,SVD分解是一种矩阵分解的解法,可以用于求取一个非方阵矩阵的特征值和特征向量。下面先从PCA算法流程讲起:

(1)对于给定的二维数据点集P(x,y),求取这些散乱点的重心坐标

(2)把散乱点的重心坐标平移到原点,同时构造新数据矩阵:

注意上面每个点,需要写成列向量的形式,这样构造的M矩阵是一个2行,n列的矩阵

(3)构造协方差矩阵,协方差矩阵为:

由于M矩阵是的矩阵,则最后的协方差矩阵为的矩阵,存在两个特征值和特征向量。

(4)求解A矩阵的特征值,特征向量,那么特征值最大对应的特征向量,为数据点位置方差变化最快的方向,如下图,直线的方向向量即为A矩阵的最大特征向量的方向,而A矩阵的另外一个特征向量,即为垂直于该直线的方向向量。

 

(5)设求解出的A矩阵的特征向量为,上图的二维特征向量就是直线的法向量和垂直于该直线的法向量。接着把所有的原来数据点P(x,y),投影到这些特征向量上,得到对应的系数,其实这一步很简单,只需要把P(x,y)与特征向量点乘,即

即可转换到特征空间的投影坐标B,也就是相当于转换到相对以特征向量为坐标轴方向的相对坐标系下。

那么同理,如果要把数据从相对坐标系转换到世界坐标系下就要用公式:

这就是PCA算法,数据重建的公式。

(6)数据降维,说的简单一点就是丢弃掉一些特征向量,然后进行重建数据,比如所我现在要把上面的二维数据降为1维,那么我重建数据的公式就要由:

变为

也就是说与数据重建的结果无关,数据存储的时候,只需要存一维坐标,然后由重建降维后的数据,而原来每个样本点的需要存储(x,y)两个数据,这就是所谓的数据降维。

  1. x=importdata(‘x.txt’);
  2. y=importdata(‘y.txt’);
  3. data(:,1)=x;
  4. data(:,2)=y;
  5. plot(data(:,1),data(:,2),‘.k’);
  6. %计算平均值
  7. [m n]=size(data);
  8. meanx=sum(data(:,1))/m;
  9. meany=sum(data(:,2))/m;
  10. covariation=data;
  11. covariation(:,1)=covariation(:,1)-meanx;
  12. covariation(:,2)=covariation(:,2)-meany;
  13. %协方差矩阵
  14. comatrix=covariation’*covariation;
  15. %矩阵分解 通过svd计算的结果需要转换,才能得到特征向量,
  16. % 而eig是不需要转换的,不过eig好像没有对特征向量的值进行排序
  17. [s v d]=svd(comatrix);
  18. [u1,eigD] = eig(comatrix)
  19.  for i=1:n
  20.      u(:,i)=1/sqrt(v(i,i))*comatrix*d(:,i);
  21.  end
  22. hold on;
  23. plot([0+meanx,u(1,2)+meanx],[meany,u(2,2)+meany],‘-y’);
  24. %计算特征空间中的坐标
  25. figure(2);
  26. hold on;
  27. for i=1:m
  28. newpca(i,1)=covariation(i,:)*u(:,1);
  29. newpca(i,2)=covariation(i,:)*u(:,2);
  30. end
  31. plot(newpca(:,1),newpca(:,2),‘.k’);
  32. % x=u(1,2)*u1(2,1);判断是否平行
  33. % y=u(2,2)*u1(1,1);
  34. % plot([0+meanx,u1(1,1)+meanx],[meany,u1(2,1)+meany]);
  35. % plot([0+meanx,u1(1,2)+meanx],[meany,u1(2,2)+meany]);

 

当然对于真正的数据,往往不仅仅是2维的,可以有更高维的向量,比如在机器学习领域,对于一张的图片,每一个样本的维数就是400维,存在着大量的冗余数据,因此降维是很有必要的。

转载注明来源:CV视觉网 » 机器学习(五)PCA数据降维

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 0超赞 0无聊 0扯淡 0不解 0路过

评论 3

评论前必须登录!