计算机视觉
图像处理

BP网络分类双螺旋线

这个也是本学期模式识别的一个小作业题。

实验目的:采用神经网络的方法对二维双螺旋样本点进行分类。

实验数据:由于本次的实验数据是双螺旋,需要用数学公式产生,其产生方法见参考文献[1].

即由下面的公式产生:

  实验数据分为2部分:训练数据和测试数据。由于双螺旋曲线有自己的方程表达式,我们产生的测试数据不能与训练数据一 样,否则训练出来的网络没有说服力,因此我们在程序中2个样本集在双螺旋曲线上的采样间隔不同,且起始位置不同,这样保证了测试样本和训练样本的数据集没 有重叠,训练出来的模型的分类能力更具有说服力。

  下图是试验过程中产生的训练样本和测试样本分布图:

  

  其中训练样本200个,每条螺旋线100个;测试样本数据也为200个,每天螺旋线100个。

试验方法:本次试验我采用了2种方法,第一种是利用matlab自带的ANN工具箱函数,来训练出一个BP神经网络;另一种方法是不采用matlab自带的工具箱,而自己用代码实现                一个BP神经网络,最后给出了2者的对比。

 

方法一:采用matlab自带神经网络工具箱

实验说明:采用的是matlab自带的BP神经网络,隐含层只有1层,该层有8个神 经元。程序代码中的studytra_data, studytra_label为训练数据,分别是2*200的矩阵。                  predict_test_data, predict_test_label 为测试数据,也是2*200的矩阵。网络形成用的是feedforwardnet函数,BP网络训练采用的是train函数。

实验结果:

  实验预测的结果如下所示:

  

  即第一条螺旋线的预测精度为92%,第二条螺旋线的预测精度为68%.

程序代码(matlab):

  1 %% 产生双螺旋数据
  2 
  3 studytra_num=100;  %训练样本数目
  4 predict_test_number=100;    %测试样本数目
  5 
  6 i=(1:1:studytra_num)';
  7 %双螺旋数据点的产生方程
  8 alpha1=pi*(i-1)/25;
  9 beta=0.4*((105-i)/104);
 10 x0=0.5+beta.*sin(alpha1);
 11 y0=0.5+beta.*cos(alpha1);
 12 z0=zeros(studytra_num,1);
 13 x1=0.5-beta.*sin(alpha1);
 14 y1=0.5-beta.*cos(alpha1);
 15 z1=ones(studytra_num,1);
 16 
 17 %% 事实证明BP神经网络在训练数据时与输入数据正负样本的顺序是有关系的
 18 % 如果一开始的一半数据都是正(负)样本,后面的全是负(正)样本,则训练出来的
 19 %效果不好,所以这里需要随机打乱
 20 k=rand(1,2*studytra_num);
 21 [m,n]=sort(k);
 22 
 23 studytra=[x0 y0 z0;x1,y1,z1]; %1条螺旋线数据点,200*3的矩阵
 24 trian_label1=studytra(n(1:2*studytra_num),end)';   %训练数据类别,1*200的行向量
 25 studytra_data1=studytra(n(1:2*studytra_num),1:end-1)'; %训练数据属性,2*200的矩阵
 26 
 27 %把1维的输出变成2维的输出,studytra_labe2为200*2的矩阵
 28 for i=1:2*studytra_num
 29     switch trian_label1(i)
 30         case 0
 31             studytra_label2(i,:)=[1 0];
 32         case 1
 33             studytra_label2(i,:)=[0 1];
 34     end
 35 end
 36 
 37 [studytra_data,studytra_datas]=mapminmax(studytra_data1);%studytra_data为2*200的矩阵
 38 studytra_label=studytra_label2'; %studytra_label为2*200的矩阵
 39          
 40 plot(x0,y0,'r+');
 41 hold on;
 42 plot(x1,y1,'go');
 43 
 44 
 45 %% 产生双螺旋测试数据
 46 
 47 i=(1.5:1:predict_test_number+0.5)';    %每类51个样本
 48 %双螺旋数据点的产生方程
 49 alpha2=pi*(i-1)/25;
 50 beta2=0.4*((105-i)/104);
 51 m0=0.5+beta2.*sin(alpha2);
 52 n0=0.5+beta2.*cos(alpha2);
 53 s0=zeros(predict_test_number,1);
 54 m1=0.5-beta2.*sin(alpha2);
 55 n1=0.5-beta2.*cos(alpha2);
 56 s1=ones(predict_test_number,1);
 57 
 58 predict_test=[m0 n0 s0;m1,n1,s1]; %1条螺旋线数据点,3*102的矩阵
 59 predict_test_label1=predict_test(:,end)';   %测试数据类别,1*102的行向量
 60 predict_test_data1=predict_test(:,1:end-1)'; %测试数据属性,2*102的矩阵
 61 
 62 %把1维的输出变成2维的输出,studytra_labe2为200*2的矩阵
 63 for i=1:2*predict_test_number
 64     switch predict_test_label1(i)
 65         case 0
 66             predict_test_label2(i,:)=[1 0];
 67         case 1
 68             predict_test_label2(i,:)=[0 1];
 69     end
 70 end
 71 
 72 predict_test_label=predict_test_label2'; %predict_test_label为2*102的矩阵
 73          
 74 %%  画出测试数据双螺旋曲线
 75 plot(m0,n0,'c+');
 76 hold on;
 77 plot(m1,n1,'yo');
 78 legend('训练数据螺旋线1','训练数据螺旋线2','测试数据螺旋线1','测试数据螺旋线2');
 79 
 80 predict_test_data=mapminmax('apply',predict_test_data1,studytra_datas);
 81 
 82 %% 至此,训练和测试数据如下所示:
 83 studytra_data  ;    %2*200的矩阵
 84 studytra_label  ;   %2*200的矩阵
 85 predict_test_data   ;    %2*200的矩阵
 86 predict_test_label   ;   %2*200的矩阵
 87 
 88 % %%  调用matlab的神经网络工具箱函数用来训练,方法1
 89 % net=newff(minmax(studytra_data),[10,2],{'tansig','purelin','studytragdm'})
 90 % inputWeights=net.IW{1,1};
 91 % inputbias=net.b{1};
 92 % layerWeights=net.LW{2,1};
 93 % layerbias=net.b{2};
 94 % 
 95 % net.studytraParam.show=50;
 96 % net.studytraParam.lr=0.05;
 97 % net.studytraParam.mc=0.9;
 98 % net.studytraParam.epochs=1000;
 99 % net.studytraParam.goal=1e-2;
100 % 
101 % [net,tr]=studytra(net,studytra_data,studytra_label);
102 
103 
104 %% 调用matlab的神经网络工具箱函数用来训练,方法2
105 net=feedforwardnet(8);
106 %注意此时进入train函数的样本每一列为一个样本的属性,列数为样本数,且命名时最好不要含有train,test字样,否则matlab会报错
107 net=train(net,studytra_data,studytra_label);
108 %view(net);
109 predict_label=sim(net,predict_test_data);
110 
111 
112 % %% 用训练到的模型预测数据
113 % for i=1:2*predict_test_number
114 %     for j=1:midnum
115 %         I(j)=predict_test_data(:,i)'*w1(j,:)'+b1(j);
116 %         Iout(j)=1/(1+exp(-I(j)));%Iout为1*3的行向量
117 %     end
118 %     predict_test(:,i)=w2'*Iout'+b2;%predict_test为2*102的矩阵
119 % end
120 
121 
122 %% 预测结果分析
123 for i=1:2*predict_test_number
124     output_pred(i)=find(predict_label(:,i)==max(predict_label(:,i)));    %out_pred为1*102的矩阵
125 end
126 
127 error=output_pred-predict_test_label1-1;    %
128 
129 
130 %% 计算出每一类预测错误的个数总和
131 k=zeros(1,2); %k=[0 0]
132 for i=1:2*predict_test_number
133     if error(i)~=0    %matlab中不能用if error(i)!=0 
134         [b c]=max(predict_test_label(:,i));
135         switch c
136             case 1
137                 k(1)=k(1)+1;
138             case 2
139                 k(2)=k(2)+1;
140         end
141     end
142 end
143 
144 
145 %% 求出每一类总体的个数和
146 kk=zeros(1,2); %k=[0 0]
147 for i=1:2*predict_test_number
148     [b c]=max(predict_test_label(:,i));
149     switch c
150         case 1
151             kk(1)=kk(1)+1;
152         case 2
153             kk(2)=kk(2)+1;
154     end
155 end
156 
157 
158 %% 计算每一类的预测正确率
159 accuracy=(kk-k)./kk

 

方法二:自己实现BP神经网络的训练和测试函数

 

实验说明:实现BP神经网络的方法参考的是文献[2],主要分为下面6个步骤:

  1. 网络的初始化
  2. 隐含层输出计算
  3. 输出层输出计算
  4. 误差计算
  5. 权值更新
  6. 阈值更新

同样,训练和测试样本都为2*200的矩阵,且训练过程中设置的循环次数为200次,只有1个隐含层,且神经元个数为5个。

实验结果:

  实验预测的精度如下所示:

  

即第1条螺旋线的预测精度为94%,,第2条螺旋线的预测精度为37%。

实验代码(matlab):

  1 %% 产生双螺旋数据,每类100个样本点,共200个样本
  2 train_num=100;
  3 train_circle_number=5000;
  4 test_number=100;
  5 i=(1:1:train_num)';
  6 
  7 %双螺旋数据点的产生方程
  8 alpha1=pi*(i-1)/25;
  9 beta=0.4*((105-i)/104);
 10 x0=0.5+beta.*sin(alpha1);
 11 y0=0.5+beta.*cos(alpha1);
 12 z0=zeros(train_num,1);
 13 x1=0.5-beta.*sin(alpha1);
 14 y1=0.5-beta.*cos(alpha1);
 15 z1=ones(train_num,1);
 16 
 17 %% 事实证明BP神经网络在训练数据时与输入数据正负样本的顺序是有关系的
 18 % 如果一开始的一半数据都是正(负)样本,后面的全是负(正)样本,则训练出来的
 19 %效果不好,所以这里需要随机打乱
 20 k=rand(1,2*train_num);
 21 [m,n]=sort(k);
 22 
 23 train=[x0 y0 z0;x1,y1,z1]; %1条螺旋线数据点,200*3的矩阵
 24 trian_label1=train(n(1:2*train_num),end)';   %训练数据类别,1*200的行向量
 25 train_data1=train(n(1:2*train_num),1:end-1)'; %训练数据属性,2*200的矩阵
 26 
 27 %把1维的输出变成2维的输出,train_labe2为200*2的矩阵
 28 for i=1:2*train_num
 29     switch trian_label1(i)
 30         case 0
 31             train_label2(i,:)=[1 0];
 32         case 1
 33             train_label2(i,:)=[0 1];
 34     end
 35 end
 36 
 37 train_label=train_label2'; %train_label为2*200的矩阵
 38          
 39 plot(x0,y0,'r+');
 40 hold on;
 41 plot(x1,y1,'go');
 42 %legend();
 43 
 44 %% BP神经网络结构的初始化
 45 %网络结构,2个输入,3个神经元,2个输出
 46 innum=2;
 47 midnum=5;
 48 outnum=2;
 49 
 50 [train_data,train_datas]=mapminmax(train_data1);
 51 
 52 %输入输出取值阈值随机初始化
 53 %w1矩阵表示每一行为一个隐含层神经元的输入权值
 54 w1=rands(midnum,innum);%rands函数用来初始化神经元的权值和阈值是很合适的,w1为3*2的矩阵
 55 b1=rands(midnum,1);%b1为3*1的矩阵
 56 %w2矩阵表示每一列为一个输出层神经元的输入权值
 57 w2=rands(midnum,outnum);%w2为3*2的矩阵
 58 b2=rands(outnum,1);%b2为2*1的矩阵
 59 
 60 %用来保存上一次的权值和阈值,因为后面的更新方差是递归的,要用到
 61 w1_1=w1;w1_2=w1_1;
 62 b1_1=b1;b1_2=b1_1;
 63 w2_1=w2;w2_2=w2_1;
 64 b2_1=b2;b2_2=b2_1;
 65 
 66 %学习率的设定
 67 alpha=0.05;
 68 
 69 %训练10次就ok了,而不管训练后的结果如何
 70 for train_circle=1:train_circle_number  ;
 71     for i=1:2*train_num; %200个训练样本
 72        %% 输入层的输出
 73         x=train_data(:,i);%取出第i个样本,x(i)为2*1的列向量
 74         %% 隐含层的输出
 75         for j=1:midnum;
 76             I(j)=train_data(:,i)'*w1(j,:)'+b1(j);  %I(j)为1*1的实数
 77             Iout(j)=1/(1+exp(-I(j)));   %Iout(j)也为1*1的实数
 78         end     %Iout为1*3的行向量   
 79         %% 输出层的输出
 80          yn=(Iout*w2)'+b2;   %yn为2*1的列向量,因此此时的传函为线性的,所以可以一步到位,不必上面
 81         
 82         %% 计算误差
 83         e=train_label(:,i)-yn; %e为2*1的列向量,保存的是误差值
 84         
 85         %计算权值变换率
 86         dw2=e*Iout; %dw2为2*3的矩阵,每一行表示输出接点的输入权值变化率
 87         db2=e'; %e为1*2的行向量
 88         
 89         for j=1:midnum
 90             S=1/(1+exp(-I(j)));
 91             FI(j)=S*(1-S);  %FI(j)为一实数,FI为1*3的行向量
 92         end
 93         
 94         for k=1:1:innum
 95             for j=1:midnum
 96                 dw1(k,j)=FI(j)*x(k)*(e(1)*w2(j,1)+e(2)*w2(j,2));    %dw1为2*3的矩阵
 97                 db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2));   %db1为1*3的矩阵
 98             end
 99         end
100         
101         %% 权值更新方程
102         w1=w1_1+alpha*dw1'; %w1仍为3*2的矩阵
103         b1=b1_1+alpha*db1'; %b1仍为3*1的矩阵
104         w2=w2_1+alpha*dw2'; %w2仍为3*2的矩阵
105         b2=b2_1+alpha*db2'; %b2仍为2*1的矩阵
106         
107         %% 保存上一次的权值和阈值
108         w1_2=w1_1;w1_1=w1;
109         b1_2=b1_1;b1_1=b1;
110         w2_2=w2_1;w2_1=w2;
111         b2_2=b2_1;b2_1=b2;
112     end
113 end
114 
115 
116 %% 产生双螺旋测试数据
117 %% 产生双螺旋数据,每类100个样本点,共200个样本
118 i=(1.5:1:test_number+0.5)';    %每类51个样本
119 
120 %双螺旋数据点的产生方程
121 alpha2=pi*(i-1)/25;
122 beta2=0.4*((105-i)/104);
123 m0=0.5+beta2.*sin(alpha2);
124 n0=0.5+beta2.*cos(alpha2);
125 s0=zeros(test_number,1);
126 m1=0.5-beta2.*sin(alpha2);
127 n1=0.5-beta2.*cos(alpha2);
128 s1=ones(test_number,1);
129 
130 test=[m0 n0 s0;m1,n1,s1]; %1条螺旋线数据点,3*102的矩阵
131 test_label1=test(:,end)';   %测试数据类别,1*102的行向量
132 test_data1=test(:,1:end-1)'; %测试数据属性,2*102的矩阵
133 
134 %把1维的输出变成2维的输出,train_labe2为200*2的矩阵
135 for i=1:2*test_number
136     switch test_label1(i)
137         case 0
138             test_label2(i,:)=[1 0];
139         case 1
140             test_label2(i,:)=[0 1];
141     end
142 end
143 
144 test_label=test_label2'; %test_label为2*102的矩阵
145          
146 %%  画出测试数据双螺旋曲线
147 plot(m0,n0,'c+');
148 hold on;
149 plot(m1,n1,'yo');
150 legend('训练数据螺旋线1','训练数据螺旋线2','测试数据螺旋线1','测试数据螺旋线2');
151 
152 test_data=mapminmax('apply',test_data1,train_datas);
153 
154 % %% 用训练到的模型对训练数据本身进行预测
155 % for i=1:102
156 %     for j=1:midnum
157 %         I(j)=train_data(:,i)'*w1(j,:)'+b1(j);
158 %         Iout(j)=1/(1+exp(-I(j)));%Iout为1*3的行向量
159 %     end
160 %     predict(:,i)=w2'*Iout'+b2;%predict为2*102的矩阵
161 % end
162 % 
163 % test_data=mapminmax('apply',train_data1,train_datas);
164 % test_label=train_label;
165 % test_label1=trian_label1;
166 
167 %% 用训练到的模型预测数据
168 for i=1:2*test_number
169     for j=1:midnum
170         I(j)=test_data(:,i)'*w1(j,:)'+b1(j);
171         Iout(j)=1/(1+exp(-I(j)));%Iout为1*3的行向量
172     end
173     predict(:,i)=w2'*Iout'+b2;%predict为2*102的矩阵
174 end
175 
176 %% 预测结果分析
177 for i=1:2*test_number
178     output_pred(i)=find(predict(:,i)==max(predict(:,i)));    %out_pred为1*102的矩阵
179 end
180 
181 error=output_pred-test_label1-1;    %
182 
183 
184 %% 计算出每一类预测错误的个数总和
185 k=zeros(1,2); %k=[0 0]
186 for i=1:2*test_number
187     if error(i)~=0    %matlab中不能用if error(i)!=0 
188         [b c]=max(test_label(:,i));
189         switch c
190             case 1
191                 k(1)=k(1)+1;
192             case 2
193                 k(2)=k(2)+1;
194         end
195     end
196 end
197 
198 
199 %% 求出每一类总体的个数和
200 kk=zeros(1,2); %k=[0 0]
201 for i=1:2*test_number
202     [b c]=max(test_label(:,i));
203     switch c
204         case 1
205             kk(1)=kk(1)+1;
206         case 2
207             kk(2)=kk(2)+1;
208     end
209 end
210 
211 
212 %% 计算每一类的正确率
213 accuracy=(kk-k)./kk
214

 

实验总结:

可以看出,自己实现的BP网络其预测效果教matlab自带的差些,这主要是其中一些算法没有进行优化,比如说初始权值的选取,自己实现时是随 机产生的,这样的话不同的权值在相同迭代次数的情况下效果显然不同。另外本次试验的训练样本数才200个,也比较少,且中间层神经网络只有5个,进一步影 响了试验的效果。

所以下一步的工作是,不管是matlab自带的工具还是自己写的函数,对参数的寻优过程要做一定的优化。

 

参考文献:

  1. W Zhao, DS Huang,The structure optimization of radial basis probabilistic neural networks based on genetic algorithms.
  2. Matlab中文论坛,MATLAB神经网络30个案例分析。

转载注明来源:CV视觉网 » BP网络分类双螺旋线

分享到:更多 ()
扫描二维码,给作者 打赏
pay_weixinpay_weixin

请选择你看完该文章的感受:

0不错 0超赞 0无聊 0扯淡 0不解 0路过

评论 2

评论前必须登录!