逻辑回归_手写数字识别_OneVsAll

• github地址:https://github.com/lawlite19/MachineLearning_Python
• 逻辑回归具体的内容请参考上篇博客

1、随机显示100个数字

• 我没有使用scikit-learn中的数据集&＃xff0c;像素是20*20px&＃xff0c;彩色图如下 
   
  灰度图&＃xff1a; 
  
• 实现代码&＃xff1a;

# 显示100个数字
def display_data(imgData):sum &＃61; 0&＃39;&＃39;&＃39;显示100个数&＃xff08;若是一个一个绘制将会非常慢&＃xff0c;可以将要画的数字整理好&＃xff0c;放到一个矩阵中&＃xff0c;显示这个矩阵即可&＃xff09;- 初始化一个二维数组- 将每行的数据调整成图像的矩阵&＃xff0c;放进二维数组- 显示即可&＃39;&＃39;&＃39;pad &＃61; 1display_array &＃61; -np.ones((pad&＃43;10*(20&＃43;pad),pad&＃43;10*(20&＃43;pad)))for i in range(10):for j in range(10):display_array[pad&＃43;i*(20&＃43;pad):pad&＃43;i*(20&＃43;pad)&＃43;20,pad&＃43;j*(20&＃43;pad):pad&＃43;j*(20&＃43;pad)&＃43;20] &＃61; (imgData[sum,:].reshape(20,20,order&＃61;"F")) # order&＃61;F指定以列优先&＃xff0c;在matlab中是这样的&＃xff0c;python中需要指定&＃xff0c;默认以行sum &＃43;&＃61; 1plt.imshow(display_array,cmap&＃61;&＃39;gray&＃39;) #显示灰度图像plt.axis(&＃39;off&＃39;)plt.show()

2、OneVsAll

• 如何利用逻辑回归解决多分类的问题&＃xff0c;OneVsAll就是把当前某一类看成一类&＃xff0c;其他所有类别看作一类&＃xff0c;这样有成了二分类的问题了
• 如下图&＃xff0c;把途中的数据分成三类&＃xff0c;先把红色的看成一类&＃xff0c;把其他的看作另外一类&＃xff0c;进行逻辑回归&＃xff0c;然后把蓝色的看成一类&＃xff0c;其他的再看成一类&＃xff0c;以此类推… 
  
• 可以看出大于2类的情况下&＃xff0c;有多少类就要进行多少次的逻辑回归分类

3、手写数字识别

• 共有0-9&＃xff0c;10个数字&＃xff0c;需要10次分类
• 由于数据集y给出的是0,1,2...9的数字&＃xff0c;而进行逻辑回归需要0/1的label标记&＃xff0c;所以需要对y处理
• 说一下数据集&＃xff0c;前500个是0,500-1000是1,...,所以如下图&＃xff0c;处理后的y&＃xff0c;前500行的第一列是1&＃xff0c;其余都是0,500-1000行第二列是1&＃xff0c;其余都是0…. 
  
• 然后调用梯度下降算法求解theta
• 实现代码&＃xff1a;

# 求每个分类的theta&＃xff0c;最后返回所有的all_theta
def oneVsAll(X,y,num_labels,Lambda):# 初始化变量m,n &＃61; X.shapeall_theta &＃61; np.zeros((n&＃43;1,num_labels)) # 每一列对应相应分类的theta,共10列X &＃61; np.hstack((np.ones((m,1)),X)) # X前补上一列1的偏置biasclass_y &＃61; np.zeros((m,num_labels)) # 数据的y对应0-9&＃xff0c;需要映射为0/1的关系initial_theta &＃61; np.zeros((n&＃43;1,1)) # 初始化一个分类的theta# 映射yfor i in range(num_labels):class_y[:,i] &＃61; np.int32(y&＃61;&＃61;i).reshape(1,-1) # 注意reshape(1,-1)才可以赋值#np.savetxt("class_y.csv", class_y[0:600,:], delimiter&＃61;&＃39;,&＃39;) &＃39;&＃39;&＃39;遍历每个分类&＃xff0c;计算对应的theta值&＃39;&＃39;&＃39;for i in range(num_labels):result &＃61; optimize.fmin_bfgs(costFunction, initial_theta, fprime&＃61;gradient, args&＃61;(X,class_y[:,i],Lambda)) # 调用梯度下降的优化方法all_theta[:,i] &＃61; result.reshape(1,-1) # 放入all_theta中all_theta &＃61; np.transpose(all_theta) return all_theta

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22

4、预测

• 之前说过&＃xff0c;预测的结果是一个概率值&＃xff0c;利用学习出来的theta代入预测的S型函数中&＃xff0c;每行的最大值就是是某个数字的最大概率&＃xff0c;所在的列号就是预测的数字的真实值,因为在分类时&＃xff0c;所有为0的将y映射在第一列&＃xff0c;为1的映射在第二列&＃xff0c;依次类推
• 实现代码&＃xff1a;

# 预测
def predict_oneVsAll(all_theta,X):m &＃61; X.shape[0]num_labels &＃61; all_theta.shape[0]p &＃61; np.zeros((m,1))X &＃61; np.hstack((np.ones((m,1)),X)) #在X最前面加一列1h &＃61; sigmoid(np.dot(X,np.transpose(all_theta))) #预测&＃39;&＃39;&＃39;返回h中每一行最大值所在的列号- np.max(h, axis&＃61;1)返回h中每一行的最大值&＃xff08;是某个数字的最大概率&＃xff09;- 最后where找到的最大概率所在的列号&＃xff08;列号即是对应的数字&＃xff09;&＃39;&＃39;&＃39;p &＃61; np.array(np.where(h[0,:] &＃61;&＃61; np.max(h, axis&＃61;1)[0])) for i in np.arange(1, m):t &＃61; np.array(np.where(h[i,:] &＃61;&＃61; np.max(h, axis&＃61;1)[i]))p &＃61; np.vstack((p,t))return p

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19

5、运行结果

• 10次分类&＃xff0c;在训练集上的准确度&＃xff1a; 
  

6、使用scikit-learn库中的逻辑回归模型实现