这篇是基于Kaggle上的一个post。
最近蛋疼突然想到拿以前写的一个小网络去刷Kaggle的www.sgo7.com,结果登录了一看,前几名都是1.0000了。对于这种明目张胆的作弊行为,我显然是不屑的,甚至有一个队伍居然提交了68次才刷出1.0000,说明作弊都很不专业,于是打算手欠一把,也刷个1.0。
因为此前并不是很了解MNIST,我的假设是,Theano里附带的www.sgo7.com数据和Kaggle的是一致的,当然后来在MNIST官网确认了这一点。于是在整个7W数据上做了个简单的5-fold训练,模型是LeNet5加了一层,每次的验证集都和其他不一样,因为GPU太挫,每次只训练1~2个epoch,只要验证错误率小于1%就算通过,然后用得到的5个模型做投票,提交之后,结果如下: