基于KNN的手写识别和源码分析

经过一段时间的学习，我对机器学习有了个大概的了解。现在打算重新回看先前的学习资料并重写一部分算法。为了便于上手，选择了一本相对简单并且有python源码的<机器学习实战>，书本上给的是python源码，我计划用我熟悉的matlab重写一遍，并给原来的python代码加上注释，便于后来者观看，书上的第一个算法便是这一次的主题–最邻近算法(K Nearest Neighbour)。

算法描述

KNN可以说是机器学习中最简单的算法之一，KNN的算法是基于一种自然而然的思想构造的，简单说来就是物以类聚，人以群分。KNN的伪代码如下:
对未知类别属性的数据集中的每个点一次执行以下操作:
（1）计算已知类别数据集中的点与当前点之间的距离；
（2）按照距离递增次序排序；
（3）选取与当前距离最小的k个点；
（4）确定前k个点所在类别的出现频率；
（5）返回前k个点出现频率最高的类别作为当前点的预测分类。
可以看到算法很简单，但是其中也有两个参数需要确定，一个是距离的选择，距离的选择有很多常见的有欧氏距离，马氏距离，汉明距离等等，个人认为欧式距离已经足够，影响算法准确性的主要是特征的选择。第二个参数是k的选择，k可以通过交叉验证的方法进行确定。

实例分析

算法介绍后我们需要解决一个具体的问题，即手写识别。我们遇到的问题是，对于人脑来说，我们所看的数字是一幅图像，而在电脑看来这是一个二维或三维数组，那我们怎么对数字进行识别?
根据书本提供的资料，我们可以从trainningDigits中获取大约2000个例子，每个例子如下图所示。同样目录testDigits中包含了大约900个测试数据。接下来我们将使用目录trainningDigits中的数据训练分类器，使用目录testDigits中的数据测试分类器的效果。

因为算法比较简单，我们直接看代码，先看python代码:

from numpy import *
import operator
from os import listdir
def classify0(inX, dataSet, labels, k):
    #采用KNN判断类别
    dataSetSize = dataSet.shape[0]#计算训练样本样本数
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    distances = sqDistances**0.5#以上4行计算距离
    sortedDistIndicies = distances.argsort()#对距离计算结果进行排序，默认为升序
    classCount={}
    for i in range(k):#计算最近K个距离所属类别
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
    sortedClassCount = sorted(classCount.iteritems(), key=operator.itemgetter(1), reverse=True)#得到最后的类别
    return sortedClassCount[0][0]

def img2vector(filename):
    #从text文本中读取数据
    returnVect = zeros((1,1024))
    fr = open(filename)
    for i in range(32):
        lineStr = fr.readline()
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])
    return returnVect

def handwritingClassTest():
    hwLabels = []
    trainingFileList = listdir('trainingDigits')           #加载训练集
    m = len(trainingFileList)
    trainingMat = zeros((m,1024))
    for i in range(m):
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]     #去掉.txt后缀名
        classNumStr = int(fileStr.split('_')[0])#获取其所属类别
        hwLabels.append(classNumStr)
        trainingMat[i,:] = img2vector('trainingDigits/%s' % fileNameStr)
    testFileList = listdir('testDigits')        #加载测试集
    errorCount = 0.0
    mTest = len(testFileList)
    for i in range(mTest):
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]     #去掉.txt后缀名
        classNumStr = int(fileStr.split('_')[0])
        vectorUnderTest = img2vector('testDigits/%s' % fileNameStr)
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)#采用最邻近算法进行分类
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr)
        if (classifierResult != classNumStr): errorCount += 1.0#计算样本错误个数
    print "\nthe total number of errors is: %d" % errorCount
    print "\nthe total error rate is: %f" % (errorCount/float(mTest))#计算错误率
handwritingClassTest()

可以看到主要有三个函数，classify0负责计算未知样本所属分类，img2vector负责将text文本转化为向量，handwritingClassTest则是识别的入口函数，handwritingClassTest将逐个读取测试样本，并统计最后的错误率。
接下来是matlab代码:

function KNN_digits
%调用KNN算法，计算手写输入情况
%% 读取测试样本及其标签
testDigits=dir('testDigits');
fprintf('Loading testDigits....\n');
testDigits(1:2,:)=[];%名字中带有表示此文件和上一文件夹的字符
Cell_name={testDigits.name};%将单元数组中的某一字段取出放入一个单元数组中
Char_name=cell2mat(Cell_name);%将单元数组变成一字符串
index=regexpi(Char_name,'\d_\d');%利用正则表达式找到合适的字符
labels=Char_name(index);%利用索引将指定字符取出
test_real_Labels=abs(labels)-48;%获得样本的标签
size_testDigits=size(testDigits);
test_Features=zeros(size_testDigits(1),1024);
for i=1:size_testDigits(1)
    readname=strcat('testDigits\',testDigits(i).name);
    Middle_text=textread(readname,'%s');%读取样本
    Middle_text=cell2mat(Middle_text);
    Middle_text=abs(Middle_text)-48;
    test_Features(i,:)=reshape(Middle_text,[1,1024]);%将样本转化为1024维的向量
end

%% 读取训练样本及其标签
trainingDigits=dir('trainingDigits');
fprintf('Loading trainingDigits....\n');
trainingDigits(1:2,:)=[];%名字中带有表示此文件和上一文件夹的字符将其去掉
Cell_name={trainingDigits.name};%将单元数组中的某一字段取出放入一个单元数组中
Char_name=cell2mat(Cell_name);%将单元数组变成一字符串
index=regexpi(Char_name,'\d_\d');%利用正则表达式找到合适的字符
labels=Char_name(index);%利用索引将指定字符取出
train_Labels=abs(labels)-48;%获得样本的标签
size_trainingDigits=size(trainingDigits);
train_Features=zeros(size_trainingDigits(1),1024);
for i=1:size_trainingDigits(1)
    readname=strcat('trainingDigits\',trainingDigits(i).name);
    Middle_text=textread(readname,'%s');%读取样本
    Middle_text=cell2mat(Middle_text);
    Middle_text=abs(Middle_text)-48;
    train_Features(i,:)=reshape(Middle_text,[1,1024]);%将样本转化为1024维的向量
end

%% 利用KNN算法进行预测
fprintf('正在进行计算\n');
test_Labels=Knn(test_Features,train_Features,train_Labels,3);
%计算错误率
error=0;
for i=1:size(test_Features,1)
  %  fprintf('识别数字为%d,实际数字为%d\n',test_Labels,test_real_Labels);%可以选择注释
    if test_Labels(i)~=test_real_Labels(i)
        error=error+1;
    end
end
error_ratio=error/size(test_Features,1);
fprintf('选取的测试样本为%f\n',size(test_Features,1));
fprintf('错误的样本数为%d\n',error);
fprintf('错误率为%f\n',error_ratio);

function test_Labels=Knn(test_Features,train_Features,train_Labels,k)
% function :运用knn算法进行分类
% input:    test_Features:  train sample Features,m-by-p matrix
%           train_Features: test sample Features,n-by-p matrix
%           train_Labels:   test sample labels  ,n-by-1 vector
%           k:              the k in nearest neighbors
% 
% output:   test.Labels:    the train sample labels,m-by-1 vector
%%  运用Knn算法进行预测
test_Labels=zeros(size(test_Features,1),1);
distance=Getdist(test_Features,train_Features,'o');
[~,index]=sort(distance,2);
for i=1:size(test_Features,1)
    Labels=train_Labels(index(i,1:k));
    tabLabels=tabulate(Labels);
    [~,ind]=max(tabLabels(:,2));
    test_Labels(i)=tabLabels(ind,1);
end

end
function dist=Getdist(start_matrix,end_matrix,method)
% Function :   根据参数method，计算两个矩阵之间的距离    
% Input:    start_matrix:The vector to calculate distance,a 1-by-p  matrix
%             end_matrix:The end matrix to calculate distance,a m-by-p    matrix
%             metho:To determine use which distance
%                
%Output:   dist:a matrix n-by-m matrix,one row is the vector to The end_matrix distance   
%
% 
%% 根据要求计算距离
size_start_matrix=size(start_matrix);
size_end_matrix=size(end_matrix);
dist=zeros(size_start_matrix(1),size_end_matrix(1));
switch method
    case  'o' 
        for i=1:size_start_matrix(1)
        dist(i,:)=sum((repmat(start_matrix(i,:),[size_end_matrix(1),1])-end_matrix).^2,2);
        end
    case  'm'
end

end

end

代码和样本集的下载地址:http://download.csdn.net/detail/zhj_matlab/9666115
为了让这个算法更有趣，我用matlab写了个GUI，界面如下:

感兴趣的同学可以下载，也可以把识别方法改成其他算法，地址:
http://download.csdn.net/detail/zhj_matlab/9667174